📐 Как связаны продвинутые методы в А/В и линейная регрессия? Раньше я рассказывал, что A/B тест можно представить как линейную регрессию: Yᵢ = β₀ ​+ β₁Tᵢ ​+ εᵢ где β₀ – среднее значение метрики в контроле, β₁ – исследуемая разница между тестом и контролем. Многие «продвинутые» методы в A/B являются продолжением этой же идеи. На картинке выше я показал, что добавляется в каждом методе и в чем его главная идея. Если присмотреться, то мы добавляем информацию, которая помогает объяснить вариацию outcome, не связанную с treatment. Задачу предсказания ожидаемого outcome по pre-treatment данным можно рассматривать как обычную ML задачу. А значит, нам открывается доступ ко всему ML инструментарию: -> feature engineering по истории пользователя; -> бустинги, нейросети и любые другие модели вместо одной pre-treatment метрики; -> кросс-валидация и подбор гиперпараметров; -> понятные метрики качества прогноза. Чем больше вариации outcome, не связанной с treatment, мы объясняем, тем точнее измеряем сам treatment effect.