Бенчмарк LLM в ERC3: AI Agents Вот график лучших решений ERC3 в бенчмарке Store, где архитектуры ранжированы по стоимости запуска и времени исполнения. Это список тех моделей, которые команды берут в первую очередь на практике, когда хотят решить какую-то задачу. Агенты, которые не присылали телеметрию через `api.log_llm` или присылали имя модельки, не совпадающее с именем модели на OpenRouter - в рейтинг не попали (т.к. цены считаем на базе OpenRouter и присланной телеметрии). Ваш, @llm_under_hood 🤗
Бенчмарк LLM в ERC3: AI Agents Вот график лучших решений ERC3 в бенчмарке…
Из этого канала
- #698Мелкий апдейт на платформе ERC Пока еще не ERC3 бенчмарк, просто подготовка к…
Мелкий апдейт на платформе ERC Пока еще не ERC3 бенчмарк, просто подготовка к его выкладке (1) Если при отправке решения не была прислана телеметрия вызовов…
- #699Я доделал основную часть симуляции для ERC3 и выкатил API на проду! В PythonSDK…
Я доделал основную часть симуляции для ERC3 и выкатил API на проду! В PythonSDK тоже все есть - см.
- #700"Кейс про выбор правильного тендера, с ужасным стэком Иногда можно слышать про…
"Кейс про выбор правильного тендера, с ужасным стэком Иногда можно слышать про то, что AI проекты - это что-то сложное, дорогое, требует кучу денег, времени, а…
- #696Новости и статистика про ERC3 Во-первых, по голосованию видно, что большинство…
Новости и статистика про ERC3 Во-первых, по голосованию видно, что большинство за перенос даты соревнования на начало декабря.
- #694Я добавил на ERC3 платформу живой leaderboard с последними лучшими результатами…
Я добавил на ERC3 платформу живой leaderboard с последними лучшими результатами бенчмарков.