Наконец-то нормальные бенчмарки. Чуваки из DrivingBench подключили топовые ИИ-модели к настоящей Toyota Corolla и через MCP дали им управление рулём, газом и тормозом. Каждой модельке дали до трёх попыток. Задача была простая: проехать размеченную конусами трассу, не выехать за её пределы и в конце добраться до финиша. Скорость программно ограничили примерно до 13 км/ч. Результаты получилист следующие: GPT-6 Astra — 100%, Claude Fable 5.1 — 45%, Grok 4.6 — 11%, GPT-5.6 Sol — 6%. Проценты тут показывают, какую часть маршрута модель смогла пройти не натупив. Астра с первой попытки осилила только 49%. После этого ей предложили самой разобрать свой заезд, понять где именно она тупила, и подумать, как эти тупки исправить. В итоге она решила ехать медленнее, делать более короткие движения и сильнее выкручивать руль на поворотах. Со второй попытки Astra прошла всю трассу за 5 минут 22 секунды. Кстати, основным и самым страшным противником современного ИИ в вождении оказался первый поворот, лол.
Наконец-то нормальные бенчмарки. Чуваки из DrivingBench подключили топовые…
Из этого канала
- #7741Че происходит в ИИ-гонке, на случай, если вы последние пару лет спали под…
Че происходит в ИИ-гонке, на случай, если вы последние пару лет спали под камнем. Ролик огонь, афтар выпей шампанского.
- #7735Просто писать промпты в нейросетях недостаточно, чтобы на этом зарабатывать.…
Просто писать промпты в нейросетях недостаточно, чтобы на этом зарабатывать. Работодатели и заказчики готовы платить тем, кто ускорит операционку и поможет…
- #7733"Наткнулся на прошлогодний интересный препринт. Там корейцы пытались выяснить:…
"Наткнулся на прошлогодний интересный препринт. Там корейцы пытались выяснить: могут ли современные языковые модели стать кончеными лудоманами? Ну и как вы…