Пользователи настолько недовольны Llama-4 Maverick, что начали сомневаться, что рейтинг на lmsys арене честный Подозрений было так много, что в ответ организаторам арены пришлось опубликовать 2к+ реальных баттлов, в которых участвовала Maverick. Они содержат промпт юзера, два ответа разных моделек (включая Maverick) и итоговое предпочтение пользователя. Посмотреть можно тут. Все вроде честно, но есть некоторые вопросы к разметчикам. Посмотрите на пример выше: Llama отвечает менее правильно, зато развернуто и со смайликами, и пользователь голосует за нее. А, ну и да, все это не считая того, что на арене версия Maverick вообще другая. Она кастомизирована под оптимизацию с учетом человеческих предпочтений. На HF и в любых других чатах такой чекпоинт недоступен, там лежит просто Instruct. Организаторы lmsys говорят, что не знали об этом и обещают в ближайшее время добавить на арену реальную версию.