🙌 Зачем мыть руки перед подведением итогов по АБ? В 1840-х годах венский врач…

🙌 Зачем мыть руки перед подведением итогов по АБ? В 1840-х годах венский врач Игнац Земмельвейс заметил странную вещь: в клинике, где медики занимались приемом родов после анатомических вскрытий, смертность рожениц от родильной горячки доходила до 30%. А вот в другом отделении, где работали акушеры без вскрытий, умирали единицы. Что сделал Земмельвейс? Он начал заставлять врачей мыть руки в растворе хлорной извести перед осмотром пациенток. И смертность… резко упала — до 1-2%. Казалось бы, вот оно — идеальное решение и спасение огромного количества жизней. Но большинство коллег восприняли это как личное оскорбление. «Мы уважаемые врачи, какие грязные руки?!» Земмельвейса высмеивали, отказывали в публикациях, уволили и в конце концов поместили в психиатрическую клинику, где он и умер. Так появился Эффект Земмельвейса — когда люди отвергают очевидные факты, потому что они противоречат устоявшимся убеждениям. И даже сегодня, мы сталкиваемся с этим эффектом каждый день в продуктах: 🔹 А/Б-тест показывает, что старая версия продукта работает лучше, чем блестящий редизайн, над которым полгода корпела не одна команда? — «Ну нет, так не может быть, это что-то с данными не так» 🔹 Добавили фичу в продукт и упал Retention? — «Пользователи просто ещё не осознали, что им она нужна» 🔹 Ожидали рост метрик, а стат. значимости не видим? – «Давайте ещё неделю погоняем? Или пересчитаем другим методом?» А сколько хороших инсайтов ушло в стол, потому что «это не соответствует нашему видению продукта». Мы зачастую сильно эмоционально привязаны к своим идеям. Поэтому не верим результатам, когда они противоречат ожиданиям. И не потому что данные плохие — а потому что эго страдает. Но как показывается практика, несмотря на то, что мы верим практически в каждую свою гипотезу – только 1 из 10 АБ дает положительный результат. Т. е. в реальности, наши ожидания сильно далеки от действительности. И нужно принять этот факт, если вы хотите быть по-настоящему data и experiment-driven. Строго следуйте методологии проведения АБ. Уважайте то, что говорят данные. Не будьте коллегами Земмельвейса.