🤖AGI BI eval, v.3 Что же там вернули Fable, поэтому пора снова провести самый лучший и точный бэнчмарк в мире — моя субъективная оценка как LLM строят дашборды 😈 Я повторил упражнение, которые делал уже раньше — попросил составить список вопросов, которые модель задала бы для создания дашбрда → ответил → попросил сделать макет → реализовать HTML-дашборд. Тестировал три версии: Opus 4.8 High и Fable5 High и Extra High. Последний раз я делал это с Opus 4.6, поэтому сравню прогресс с ним и сразу между Opus 4.8/Fable. Вопросы для сбора требований Тут всё стало лучше, модель больше не просит ответить на 100 вопросов, а всего на 20-25 и сами вопросы более верные: про задачи, ограничения и примеры. Раньше модели просили описать всё вплоть до того, чтобы заказчик выбрал технологию, способ поставки данных и т.п., в общем ненужные технические детали, которые должен решать сам аналитик. Между Fable и Opus тут какой-то сильной разницы не заметил, но Fable сделал более компактный список вопросов, что скорее плюс. Я бы в реальной жизни задавал ещё меньше вопросов. Макет Макеты получились хорошие, не мега подробные, но достаточные чтобы показать идею. То что надо для макета. При этом сама структура была хорошо вписана в бизнес-треобавания и решила бы задачу пользователя. Opus 4.6 давал макет сразу в «черном стиле», здесь же все правильно поняли задачу и сделали просто макет, а не готовый дашборд. Между Opus и Fable прям большой разницы не вижу, хотя визуально они по-приятнее у Fable. Реализация дашборда Смешно, но у Fable с первого раза сделать дашборд не получилось ни в одном из режимов. При открытии дашборды падали с ошибкой — не подргужались библиотеки для построения чартов. Когда я ему сказал о проблеме он оба раза не стал разбираться, а просто всё переписал через кастомный код и svg. Ну такое себе техническое решение и сожрал на этом прилично токенов 🙈 Opus же справился с первого раза. С точки зрения дизайна явный прогресс у всех моделей, хотя в прод я бы конечно такое не пустил. Забавно, но у Opus дизайн получился сильно лучше, чем у Fable. В итоге по моему субъективному мнению Fable скорее показал себя хуже, а стоил в разы дороже (примерно 15$ на дашборд вместо 3-5$ для Оpus) 🤷‍♂️ Ну и да — данные всё равно надо проверять, грубых ошибок не было, но модели втихую приняли решение как считать метрику времени доставки и опозданий и в итоге она была посчитана по-разному на всех дашбордах 🙈 Повторюсь, что понятно, что докрутив промпты и обвязку можно сделать хороший результат. Например, презы и дашборды я уже делаю по заданным стайлгайду и скилам и это работает хорошо. Но суть эксперимента именно проверить саму модель без харнеса. Это позволяет мне оценить модель саму по себе в той области, где я хорошо разбираюсь. Сами дашборды положил в комментарий. Предыдущие «evals»: GPT 5.4/Opus 4.6, GPT 5 Pro