Новый ИИ-бенчмарк подвезли Тем, как ИИ пишет код, взламывает сайты или решает математические задачи тысячелетия уже никого не удивишь. Современные флагманские модели уже давно переросли эти мелочи и созрели для того, чтобы показать, на что они способны в реальном мире. Например, как они умеют водить машину. За руль Тойоты посадили Astra, Sol, Grok и Fable и выпустили их на пустую парковку, где им нужно было за три попытки преодолеть трассу длиной 134 метра. Они «видели» дорогу через камеры, а через Comma four крутили руль и нажимали педали. Человек сидел рядом только для подстраховки. 🔵Успешнее всего справилась GPT-6 Astra: она вообще единственная, кто доехал до конца, еще и со 2 раза. Ей понадобилось 5 минут 22 секунды и 6,6 млн токенов. 🔵Fable 5.1 с третьей попытки преодолела 45% трассы, Grok 4.6 — 11% со второй (и 10% с третьей), а GPT-5.6 Sol все три раза стабильно проехала около 15 метров или 6%. Отличная идея, нужно развивать ее дальше. Как думаете, из каких еще повседневных задач можно наделать бенчмарков для ИИ?
Новый ИИ-бенчмарк подвезли Тем, как ИИ пишет код, взламывает сайты или решает…
Из этого канала
- #2096В одной ячейке Excel можно будет хранить массивы значений Наконец-то важные…
В одной ячейке Excel можно будет хранить массивы значений Наконец-то важные новости и не про очередной побег ИИ из тестовой среды.
- #2097Что было на OpenAI Dev Day? Вообще-то много чего — больше 20 релизов и анонсов.…
Что было на OpenAI Dev Day? Вообще-то много чего — больше 20 релизов и анонсов. Пройдемся по самым интересным, а про все остальные можно прочитать в итогах,…
- #2098Physical AI: следующий этап развития ИИ Рано или поздно ИИ выйдет за пределы…
Physical AI: следующий этап развития ИИ Рано или поздно ИИ выйдет за пределы интернета в реальный мир и роботы под его контролем станут чем-то таким же…
- #2094Как грамотно делегировать задачи ИИ Внедрение искусственного интеллекта и…
Как грамотно делегировать задачи ИИ Внедрение искусственного интеллекта и агентов в работу — это все еще острый вопрос.
- #2093Что делать с тепловыми картами и хороплетами? Все виды графиков и чартов…
Что делать с тепловыми картами и хороплетами? Все виды графиков и чартов по-своему хороши и заслуживают любви, но, если честно, значительную часть из них…