Картинки 1) устройство системы и описание того, как общаются агенты между собой 2) Рост эло-рейтинга от количества времени работы системы (чем дольше работает, тем лучше получаются гипотезы). Плато пока не наблюдается, можно вкинуть в 10 раз больше ресурсов и посмотреть, что ко-саентист найдет. Так как рейтинг оценивается самой системой, то это не обязательно означает рост реального объективного качества гипотез, однако гугловцы сделали отдельный анализ корреляции качества ответов на GPQA (выбор ответов в сложных вопросах) и Эло оценки решений ответов, и подтвердили, что она высокая. 3) Сравнение эло-рейтинга гипотез системы с генерациями обычных моделей (как я понял, просто один раз просят сгенерировать что-то по нужному формату; а затем Ранжировщик оценивает и сравнивает). Обратите внимание, что o3(-mini-high) и R1 как обособленные модели сами по себе выдают очень сильные гипотезы даже без всех этих агентских обвязок! А представьте как себя покажет GPT-5? Ахахах а ещё посмотрите как низко люди на последней картинке...
Картинки 1) устройство системы и описание того, как общаются агенты между собой…
Из этого канала
- #2347У этой работы есть ограничения, некоторые из которых плавно перетекают в намёки…
У этой работы есть ограничения, некоторые из которых плавно перетекают в намёки на то, что именно ждать от второй версии системы.
- #2348Телеграм в третий раз за 2 недели стёр пост из черновиков, поэтому поста не…
Телеграм в третий раз за 2 недели стёр пост из черновиков, поэтому поста не будет 🤷♂️ Ещё раз — и пишу Дурову 👶 Держите ссылку…
- #2349Чуть больше 2 лет назад узнал тут, что в США есть список запрещённых букв, с…
Чуть больше 2 лет назад узнал тут, что в США есть список запрещённых букв, с которых не может начинаться трёхбуквенное название аэропорта. Одна из них — Q.
- #2343Тест второй. Деталей мало, «системе было поручено разработать экспериментально…
Тест второй. Деталей мало, «системе было поручено разработать экспериментально проверяемые гипотезы относительно роли эпигенетических изменений в фиброзе…
- #2342Далее систему тестировали в end-2-end режиме на трёх реальных исследовательских…
Далее систему тестировали в end-2-end режиме на трёх реальных исследовательских задачах, а результаты отсматривались специалистами в этих областях.