🤖 AGI BI eval, Anthropic Dashboards Продолжаем проверять AGI на самом точном и верном бенчмарке в мире — моей проверке, как LLM делают дашборды 🙃 В этот раз пробуем недавние Dashboards и Motion от Anthropic В этот раз без сбора вопросов и согласования макета. Сразу дал готовое задание и данные: сделать интерактивный дашборд для регионального менеджера маркетплейса. Смотреть продажи, разбираться в отклонениях, выбирать товары для промо и находить заказы с проблемами в логистике. Попробовал сделать дашборд трёх режимах — Opus 5.5 просто в чате — Opus 5.5 в режиме Cowork — Fable 5.1 в режиме Cowork. Посмотрим, что получается с одного захода. Структура и дизайн Все три варианта разложили задачу на четыре вкладки: обзор, продажи и промо, качество сервиса, заказы. Любовь LLM к вкладкам пока непобедима 😅 Визуально все дашборды близки между собой и это хорошо. Видно работают какие-то встроенные стили. При этом всё равно есть небольшая разница — размер шрифтов, подписи и т.п. Но много и очень плохих решений по визуализации данных — спраклайны вообще без подписей что за скейл и какие даты, цветовые легенды без цвета, а просто текстом, двойные оси без подписей, бары разной ширины и т.п. То есть это до сих пор из коробоки это работа джуна-аналитика, хотя Антропик подаёт это как готовый продукт, ну короче AGI! =) Самое дурацкое решение — положительные бары, отложенные в таблицах «влево» от нуля, ну камаон AGI! =) Данные А вот с цифрами интереснее. При одинаковом выборе — East, декабрь 2024 — первый дашборд показывает продажи $21K, а два других — около $18.6K. Причина — в режими Cowork модель задавала мне вопросы и спросила вкелючить или нет отменённые заказы в продажи. А вот чат меня этого не спросил. То есть одинаковое задание ещё не означает одинаковые определения метрик. И по красивому скриншоту этого можно вообще не заметить. Ну камаон AGI! =) Работа с задачами пользователя Тут в целом всё хорошо, ничего не было забыто хотя решено не всегда оптимальным образом. Но см. предыдущий пункт, важно, чтобы цифры были верные =) Motion Попросил собрать интерактивную презентацию. Честно никакого задания прям хорошего не давал, поэтому может и результат такой. Получилось просто тупое перелистование слайдов с рандомными графиками, которые красиво последоватльено появляются. Попросил переделать во что-то поинтереснее, получился какой-то AI слоп от мира инофогрфики. Просто сделал камеру переходящую от одного графика к другому по дашборду. Отчаялся и сказал сделай так круто как у NYT! Получился последний ролик. Ну камаон AGI! =) Что думаю по результату Ну в общем какого-то прорыва опять не случилось. Мы опять получили более чем средний результат, который из далека кажется классными, но на самом деле так себе. Я расстроился, у меня было ощущение, что если топовая лаба делает продукт и прям его позиционирует как убийцу BI, то ну он должен же быть прям крутым. То есть опять же, в грамотных руках (например как сделал Тимур) это будет круто ускорять работу, но без него получим кучу AI дашбослопа. Ну камаон AGI! =) А вы что думаете? Все скрины в комментариях @revealthedata #ai #bi #dashboards