"Как сделать бенчмарк Open Weights LLM на агентских задачах? (1) Берем одну архитектуру с известными результатами (2) Подменяем LLM под капотом на другую версию (3) Прогоняем несколько раз в тестовой среде (4) Заносим результат в табличку Так и поступил Ильяс со своим агентом Exoskeleton, который занял первое место в BitGN ECOM1 PROD в категории скорость. Получившиеся графики - в посте, детальное исследование описано у него в канале. Из интересных инсайтов - (1) Kimi оказался лучше, чем ожидалось (2) Если у модели дешевые токены, то это вовсе не значит, что она в итоге выдет дешевле. Умные модели могут закончить работу раньше и сэкономить tokens. (3) обычно приходится выбирать между ""быстро"" или ""качественно"". Попозже я добавлю ссылки на это исследование и в BitGN Insights, чтобы инженеры из 103 городов мира тоже могли воспользоваться результатами. А еще у нас в чате канала Victor Savkov публикует сравнительные результаты прогонов своей архитектуры с разными LLM на тех же задачах из ECOM1-PROD! Ваш, @llm_under_hood 🤗"