🐄 Как мы видим то, что хотим видеть Когда-то давно, в одном маленьком городке жил фермер по имени Матвей. Он был убежден, что его коровы давали больше молока, когда он надевал свою «счастливую шляпу». Это была старая, потрепанная шляпа, которую он носил в особо важные дни. Матвей заметил, что каждый раз, когда он надевал эту шляпу и шел доить коров, молока действительно казалось больше. Он начал рассказывать об этом соседям, а затем и в местной таверне, где ему предложили провести «научный эксперимент». Его друг Коля из таверны предложил ему случайным образом надевать шляпу в течение недели и записывать количество молока. Матвей согласился, но с одним условием: он сам будет вести учет. Через неделю он триумфально заявил: «Счастливая шляпа работает!». Он предъявил свои записи, которые подтверждали его убеждение. Однако его друг Коля, который знал кое-что о предвзятости, решил посмотреть на записи. Коля заметил интересную деталь: Матвей был более внимателен и аккуратен, когда надевал шляпу. В дни без нее он торопился, часто забывал кормить коров перед доением, а иногда просто не записывал данные. Оказалось, что Матвей не только видел в результатах то, что подтверждало его убеждения, но и бессознательно «улучшал» условия, когда считал шляпу счастливой. Это классический пример эффекта подтверждения (confirmation bias): мы склонны искать, замечать и запоминать только те факты, которые подтверждают наши уже существующие убеждения. Эффект подтверждения в ваших научных экспериментах (а. к. а. АБ тестах), проявляется со следующими симптомами: ♦️ Избирательное внимание к данным. Вы ищите и замечаете только те метрики, которые подтверждают вашу гипотезу и игнорируете остальные. ♦️ Преждевременные выводы. Вы останавливаете тест сразу, как только видите положительный результат, не дождавшись статистической значимости. ♦️ Отрицание альтернативных объяснений. Если метрика выросла, вы считаете, что это исключительно заслуга вашего изменения, не принимая во внимание сторонние факторы. ♦️ Фокус на одном сегменте. Вы можете замечать успехи только у одной группы пользователей (например, новых), игнорируя, что для старых клиентов опыт ухудшился. Как избежать подобной ловушки? 🔹 Четко формулируйте гипотезу. Еще до теста пропишите, какое изменение и каких метрик будут считаться успехом. И придерживайтесь этих критериев. 🔹 Анализируйте данные объективно. Смотрите на все сегменты и метрики, а не только на те, которые удобны. Если есть ухудшения – ищите причины. 🔹 Дождитесь нужного размера выборки. Не останавливайте тест, пока разница не станет действительно значимой. 🔹 Привлекайте коллег. Покажите результаты аналитикам или команде, чтобы получить независимое мнение. Они могут заметить то, что вы упустили. В АБ-тестах важно не доказать, что вы были правы, а выяснить, что лучше для продукта и пользователей.