🎰 Многорукие бандиты и АБ-тесты В классическом АБ-тесте мы делим трафик пополам (или иной пропорции) и ждём, пока наберётся необходимая выборка для принятия решения. Проблема в том, что проигрывающий вариант всё это время создает альтернативные издержки, «сжигая» деньги и трафик. Многорукие бандиты (multi-armed bandits, MAB) предлагают другой подход. Это семейство алгоритмов, которые динамически перераспределяют трафик между вариантами в ходе тестирования, постепенно отдавая больше трафика тому, кто показывает лучшие результаты. Как это работает: В начале трафик распределяется равномерно. Алгоритм наблюдает за целевой метрикой каждого варианта. Постепенно «лучшие» версии получают больше трафика, а «слабые» – отмирают. При этом алгоритм оставляет небольшой процент на исследование, чтобы не упустить возможного «позднего фаворита». Всего выделяют два подсемейства бандитов: 🔎 Классические бандиты (MAB) Это базовый алгоритм: он смотрит только на результаты вариантов (например, конверсию) и перераспределяет трафик в пользу лучших. Работает хорошо, когда у нас однородная аудитория и мы хотим выделить один вариант-победитель. Но он «не знает», что разные пользователи могут реагировать по-разному. 🎯 Контекстные бандиты (CMAB) Здесь алгоритмы уже учитывает контекст – характеристики пользователя или ситуации. Например: время суток, регион, устройство, историю поведения. Благодаря этому контекстные бандиты могут показывать разные варианты разным сегментам аудитории, находя не общий «лучший вариант», а лучший вариант для конкретного пользователя. Например: Тестируем баннер с акцией. Классический бандит быстро отдаст весь трафик более кликабельному баннеру. А контекстный – может понять, что для iOS работает лучше один дизайн, а на Android – другой. ➕ Плюсы бандитов: + Меньше упущенной выгоды по сравнению с классическим АБ-тестом; + Подходит для систем, где нужно постоянно оптимизировать. Например, они часто применяются в рекламе или рекомендациях. ➖ Минусы бандитов: - Сложнее в реализации и интерпретации; - Алгоритм может «поддаться шуму» и преждевременно выделить победителя; - Сложнее контролировать уровень ошибок I и II рода. --- Многорукие бандиты — это не замена АБ-тестам. Это другой инструмент. Если нужно статистически доказать, что вариант А лучше варианта B на заданных ошибках I и II рода – это все же к АБ-тестам. Когда важно быстро максимизировать метрику на общей аудитории – помогут классические бандиты. А когда аудитория разнородная и «один победитель для всех» не работает – контекстные бандиты. Хотели вы больше узнать про бандитов на практике? А про многоруких?) Тогда поставьте этому посту 🔥 #абтесты