📊 Что такое репрезентативность в A/B? Репрезентативность определяет возможность корректно перенести выводы с выборок на всю исследуемую аудиторию (генеральную совокупность). Когда говорят о репрезентативности, чаще всего вспоминают размер выборки. Но на практике этого недостаточно. В A/B-тестах у репрезентативности есть две стороны: 1️⃣ Количественная репрезентативность Она отвечает на вопрос: достаточно ли у нас наблюдений, чтобы заметить эффект нужного размера (MDE) при заданных уровнях ошибок I и II рода? 2️⃣ Качественная репрезентативность Отвечает на другой вопрос: содержит ли выборка представителей всех сегментов совокупности и в соответствующей пропорции? Например, если в генеральной совокупности: - 60% мобильных пользователей; - 40% десктопных. А в выборках оказалось: - 85% мобильных; - 15% десктопных. То такая выборка уже не отражает структуру аудитории. И даже если наблюдений много – вывод будет смещен (нерепрезентативен). Чтобы результаты теста можно было переносить на всю аудиторию, важно, чтобы сегменты были представлены в тех же долях, что и в генеральной совокупности. ⚠️ Репрезентативность всегда оценивается относительно конкретной аудитории. Если тест идет только на новых пользователях или только на Android, то и оценивать репрезентативность нужно именно относительно этой аудитории, а не всего продукта. По этой же логике нельзя переносить результаты теста на Android-пользователях на iOS-аудиторию. ⚠️ В A/B-тесте важно не только то, насколько выборка похожа на исследуемую аудиторию (ГС), но и то, насколько группы A и B сопоставимы между собой. Если из-за ошибки сплитования в одной из групп окажется значимо больше, например, heavy-пользователей, результат тоже будет смещен. --- Репрезентативность в A/B – это и про количество, и про качество. Поэтому важно смотреть не только на размер выборки, но и на то, кого именно она отражает. А на какую тему вы бы хотели следующий пост? Напишите в комментариях 👇 #абтесты