Наконец-то нормальные бенчмарки. Чуваки из DrivingBench подключили топовые ИИ-модели к настоящей Toyota Corolla и через MCP дали им управление рулём, газом и тормозом. Каждой модельке дали до трёх попыток. Задача была простая: проехать размеченную конусами трассу, не выехать за её пределы и в конце добраться до финиша. Скорость программно ограничили примерно до 13 км/ч. Результаты получилист следующие: GPT-6 Astra — 100%, Claude Fable 5.1 — 45%, Grok 4.6 — 11%, GPT-5.6 Sol — 6%. Проценты тут показывают, какую часть маршрута модель смогла пройти не натупив. Астра с первой попытки осилила только 49%. После этого ей предложили самой разобрать свой заезд, понять где именно она тупила, и подумать, как эти тупки исправить. В итоге она решила ехать медленнее, делать более короткие движения и сильнее выкручивать руль на поворотах. Со второй попытки Astra прошла всю трассу за 5 минут 22 секунды. Кстати, основным и самым страшным противником современного ИИ в вождении оказался первый поворот, лол.
Наконец-то нормальные бенчмарки. Чуваки из DrivingBench подключили топовые…
Из этого канала
- #7744"О! Моя любимая рубрика ""Нейронки моделируют в Blender"". Посмотрите на эту…
"О! Моя любимая рубрика ""Нейронки моделируют в Blender"". Посмотрите на эту живую, полную динамики анимацию!!!! взял отсюда"
- #7745Спишь? Модель OpenAI взломала Австралию ☕️ В июне очередной тестовой модели…
Спишь? Модель OpenAI взломала Австралию ☕️ В июне очередной тестовой модели поручили изучить расходы на лекарства в Австралии, она упёрлась в блокировки на…
- #774630 сентября приглашаем на АЛЬФА ВААА{АИ}ЙЙЙБ МИТАП — масштабное событие про…
30 сентября приглашаем на АЛЬФА ВААА{АИ}ЙЙЙБ МИТАП — масштабное событие про нейросети и вайб-кодинг.
- #7741Че происходит в ИИ-гонке, на случай, если вы последние пару лет спали под…
Че происходит в ИИ-гонке, на случай, если вы последние пару лет спали под камнем. Ролик огонь, афтар выпей шампанского.
- #7735Просто писать промпты в нейросетях недостаточно, чтобы на этом зарабатывать.…
Просто писать промпты в нейросетях недостаточно, чтобы на этом зарабатывать. Работодатели и заказчики готовы платить тем, кто ускорит операционку и поможет…