"Основная часть конкурса BitGN PAC1 завершена! Всем спасибо за участие! 20 хабам и больше 800 инженеров в 80 городов. Громче всех выступили Москва, Уфа и Вена. А суммарная нагрузка на сервера превысила в пике ERC3 раз в 20. Я был готов ко всему - что упремся в CPU, оперативку или диск. Но вы с таким энтузиазмом взялись за разработку и отладку агентов, что что где-то после миллионного рантайма на сервере ядра у файловой системы закончились inodes. Но он выжил, а бенчмарк теперь работает в открытом режиме. Каждый может попробовать отладить и улучшить своего агента на этом наборе задач. Что дальше? В течение следующих недель я приберу бардак после этой глобальной AI вечеринки. Опубликую лидерборды, добавлю возможность описывать архитектуры, попрошу команды заполнить их для своих решений, опубликую инсайты. Хотелось бы еще пару стримов провести потом по горячим следам. В конце мая проведем BitGN: ecommerce (a.k.a. ""Майлз устраивается своего AI агента автоматизировать процессы в Amazon""). А ближе к осени можно будет провести PAC2. Но это все потом. А пока - спасибо вам большое за участие, поддержку и движуху. Это было реально крутой опыт! Что я вынес для себя - надо закладывать запас по прочности на 20, и тестировать заранее раз на x100. А что вы вынесли для себя? Ваш, @llm_under_hood 🥰"
"Основная часть конкурса BitGN PAC1 завершена! Всем спасибо за участие! 20…
Из этого канала
- #807А покидайте фоточек на то, как проходили BitGN Хабы у вас! А еще лучше - ссылок…
А покидайте фоточек на то, как проходили BitGN Хабы у вас! А еще лучше - ссылок на посты у себя, где есть фоточки и отзывы о том, как как все проходило.
- #810Hall of Fame лидерборды BitGN - Accuracy + Ultimate Ссылки на глобальные…
Hall of Fame лидерборды BitGN - Accuracy + Ultimate Ссылки на глобальные лидерборды (соревновательные и пополняемые) теперь есть на странице BitGN/PAC1.
- #811Анализ того, как агенты справлялись с задачами на безопасность в BitGN PAC1 Я…
Анализ того, как агенты справлялись с задачами на безопасность в BitGN PAC1 Я взял все прогоны из Accuracy Leadeboard-a и проанализировал то, как разнообразные…
- #805Global Live leaderboard https://bitgn.com/l/pac1-prod На днях подчищу…
Global Live leaderboard https://bitgn.com/l/pac1-prod На днях подчищу результаты и выложу вечный leaderboard и разделения по категориям Ваш, @llmunderhood 🤗
- #804Напоминаю, что новые сабмиты получают оценки. Это уже вне квалификации. А вот…
Напоминаю, что новые сабмиты получают оценки. Это уже вне квалификации. А вот старые сабмиты, которые были в Blind Run - получат чуть позже.