Интересный феномен. Если мультимодальной модели по-тихому отключить картиночный вход и оставить только текстовый промпт, она может считать, что картинка у неё на входе есть и вывести неплохой результат чисто из текста. Что очевидным образом может привести и к разным интересным проблемам. Mirage: The Illusion of Visual Understanding __Mohammad Asadi, Jack W. O’Sullivan, Fang Cao, Tahoura Nedaee, Kamyar Fardi, Fei-Fei Li, Ehsan Adeli, Euan Ashley__ Статья: https://arxiv.org/abs/2603.21687 Ревью: https://arxiviq.substack.com/p/mirage-the-illusion-of-visual-understanding # TL;DR ЧТО сделали: Авторы систематически исследовали «эффект миража» — феномен, когда мультимодальные модели генерируют детальные визуальные описания и цепочки рассуждений для изображений, которых им вообще не показывали. Для борьбы с этим предложили B-Clean — фреймворк пост-фильтрации бенчмарков, удаляющий вопросы, на которые модель может ответить, опираясь исключительно на текстовые эвристики. ПОЧЕМУ это важно: Высокие скоры на стандартных бенчмарках принято считать доказательством сильного визуального понимания. Статья доказывает, что эти цифры сильно раздуты языковыми прайорами и структурными багами самих датасетов. В критичных сферах вроде медицины это создаёт режим тихого сбоя: если картинка не прогрузилась, модель просто выдумывает диагноз по тексту, уверенно имитируя визуальный анализ. Для практиков: Обязательно тестируйте свои пайплайны с отключенной модальностью картинки. Для надёжного продакшена необходимо внедрять архитектурные проверки на этапе инференса, которые будут блокировать ответ, если он не подкреплён реальными доказательствами из изображения. Смотреть миражи тут: https://t.me/gonzo_ML_podcasts/3037
Интересный феномен. Если мультимодальной модели по-тихому отключить картиночный…
Из этого канала
- #5090Агентские бенчмарки сильно перекошены в пользу того, что легче измерить, и не…
Агентские бенчмарки сильно перекошены в пользу того, что легче измерить, и не отражают реальное распределение на рынке труда.
- #5093Агенты переписывают свой харнесс. Анализ полных логов лучше выхолощенного…
Агенты переписывают свой харнесс. Анализ полных логов лучше выхолощенного реворда.
- #5097Самодистилляция — интересный феномен, мне она всегда нравилась. В текущей…
Самодистилляция — интересный феномен, мне она всегда нравилась. В текущей работе предложили простой вариант самодистилляции на невалидированных сэмплах,…
- #5081Интересная работа про природу вещей — трансформеры имеют встроенный байес к…
Интересная работа про природу вещей — трансформеры имеют встроенный байес к выучиванию факторизованных представлений.
- #5077"А вот красивая работа. Иногда чтобы хорошо сжать, надо сначала хорошо разжать!…
"А вот красивая работа. Иногда чтобы хорошо сжать, надо сначала хорошо разжать! Сначала дистиллируем всех специализированных учителей в одного БОЛЬШОГО…