💩 Как улучшить F1-micro и насрать рекламодателю — в прямом смысле Вас тоже бесит, когда вы ищете один товар, а рекламный алгоритм настойчиво подсовывает совсем другой? Обычно мы видим эту проблему со стороны пользователя. А сейчас покажу, как она выглядит со стороны рекламодателя, которому алгоритм привёл совсем не тех пользователей. В @mirabistro нет-нет да заходят люди исключительно ради туалета. Мы находимся в центре, пешеходный трафик огромный. Я думал, что это неизбежные издержки локации. Туалет у нас — комплиментарная услуга для гостей. 👀 Неделю назад сижу в бистро и наблюдаю: заходит человек и сразу направляется в туалет. У этого сегмента, кстати, есть устойчивый поведенческий паттерн. Они закрывают не только дверь туалета, но и дверь в зону с раковиной. Как будто пришли не руки помыть, а помыться целиком. Через минуту заходит второй. Два одинаковых события подряд меня уже насторожили. 💡 И тут меня осенило: дело в таргетинге. 📈 Недавно я купил продвижение в одном картографическом сервисе. Как аналитик, первым делом полез смотреть, как люди находят бистро и по каким запросам переходят в карточку. Среди запросов был «туалет», хотя мы вообще-то кафе. Давайте разберёмся, что пошло не так при обучении поискового алгоритма. __Достоверно я этого не знаю, но с__ большой__ вероятностью — всё было именно так.__ 1️⃣ Поставили цель на квартал выбить XX% по F1-micro. 2️⃣ В датасет поискового движка долили запросы про туалеты. 3️⃣ Кафе, в которых есть туалет, разметили как релевантные ответы — то есть на уровне таргета фактически приравняли кафе к туалету. 4️⃣ При micro-усреднении все true positive складываются в общую копилку, поэтому новая категория помогла вытянуть итоговый F1 Классический случай: офлайн-метрику оптимизировали, заборы успешно покрасили, менеджеры получили бонусы, а на рекламодателей оказалось насрать — в прямом смысле слова, но хотя бы чужими силами. 😆 Публиковать статистику сервиса я не хотел, но 8% туалетного трафика это уже не смешно.