LLM Бенчмарк Anthropic Fable 5 на бизнес-задачах __c максимальным reasoning__ Если кратко, то эта новая модель считает себя слишком умной и на задачах, которые требуют точных ответов, иногда начинает нести больше отсебятины, нежели другие frontier модели. Из-за этого у нее такая просадка в Software Engineering задачах. По итогу она заняла вполне себе достойное десятое место. Правда, если сравнивать стоимость с другими моделями в TOP-10, то можно найти модели подешевле и поумнее для внедрений в бизнес. Задачи на бенчмарке собраны из тестов и evals, которые мы собрали во время работы над внедрениями LLM в бизнес в корпорациях и стартапах в США и Европе. Про бенчмарки подробнее написано тут, включая ответы на все те вопросы, которые задавали люди первую пару лет публикации этого бенчмарка. Полная версия бенчмарка за Июнь 2026 - тут. За LLM бенчмарк теперь отвечает @AigizK, поэтому если интересует какая-то популярная модель (вроде xiaomi/mimo-v2.5-pro, что была под капотом у TOP-20 ECOM1 агента), то это уже обращаться к нему. Ваш, @llm _under_hood 🤗
LLM Бенчмарк Anthropic Fable 5 на бизнес-задачах c максимальным reasoning Если…
Из этого канала
- #867Что стоит обсуждать при разговоре о разработке с AI агентами? Вот примерно…
Что стоит обсуждать при разговоре о разработке с AI агентами? Вот примерно такой план набросали мы с Айгизом для подготовке к созвону в пятницу.
- #868"Апдейты по вебинару ""Разработка с AI-агентами: что реально работает"" Первый…
"Апдейты по вебинару ""Разработка с AI-агентами: что реально работает"" Первый вебинар будет завтра 12 июня.
- #869Тут подвезли новую интересную уязвимость для ECOM1-DEV Консультанты Blue41…
Тут подвезли новую интересную уязвимость для ECOM1-DEV Консультанты Blue41 нашли в AI агенте банка bunq простейшую уязвимость.
- #865"Код - это настолько мощная абстракция для мышления моделей, что иных…
"Код - это настолько мощная абстракция для мышления моделей, что иных инструментов LLM-кам и не надо Первые признаки этого мы с вами видели в топовых…
- #864А давайте проведем вебинар про современную разработку при помощи агентов? У нас…
А давайте проведем вебинар про современную разработку при помощи агентов? У нас тут с Айгизом наболело, и мы решили провести совместный вебинар про современную…