Уже давно и много раз обсуждали, что LMArena теряет смысл — большая часть запросов достаточно общая, «от любителей», и даже маленькие модели научились на них достаточно неплохо отвечать. И это не говоря про то, что отдельные модели просто тюнят под арену, искусственно завышая оценку. Одним из решений могут стать арены с куда меньшим набором участников (~сотня человек), которые являются экспертами в своих областях. Следуя этой идее Allen AI Institute представили SciArena — платформу для оценки моделей в задаче генерации ответа с опорой на литературу. Сначала в ответ на запрос отрабатывает retrieval agent — агент, который находит 30 абзацев из разной научной литературы, которая может быть уместна для ответа. Эта часть одинакова для всех моделей, все входные данные одни и те же. А дальше две случайные модели генерируют по источникам ответ, расставляя цитаты. Дальше есть стадия пост-процессинга, где унифицируется формат ответа / расставление цитат, но это не так интересно. В итоге 102 доверенных исследователя, работающих в разных дисциплинах, суммарно сделали более 13000 запросов и отметили, какие из результатов им нравятся. OpenAI o3 сильно вырывается вперёд: — 59% побед против C4 Opus — 80% побед против Gemini 2.5 Pro Авторы посмотрели 200 ответов о3, чтобы понять, почему так: (1) более детальная проработка цитируемых статей: модель o3 последовательно предоставляет более глубокие объяснения и более богатые технические идеи, извлеченные из справочной литературы; (2) более профессиональная и точная терминология: модель o3 имеет тенденцию использовать специфичный для предметной области словарь и технически точные формулировки, уменьшая двусмысленность и повышая ясность; (3) четкое структурированное представление: ответы o3 лучше организованы, улучшая как читаемость, так и синтез сложной информации; (4) более полный охват: для таких типов вопросов, как «Проблемы и ограничения» и «Оценка современного уровня техники», ответы o3 заметно более полны, охватывая более широкий круг вопросов, которые могут быть интересны пользователям. Блогпост, статья