SDK / API для Enterprise RAG Challenge обновлены - поправьте заранее своих агентов! Детали есть в release notes для версии 1.1.6. Там есть breaking changes. Примеры агентов уже обновлены до SDK 1.2.0. Изменения: (1) При запуске бенчмакрка можно явно указать фокус - точность, стоимость, скорость и/или локальный запуск (можно несколько сразу). Это будет использоваться в соревновании 9 декабря. Агенты с фокусом на `accuracy` cоревнуются за призы. Другие фокусы - пойдут в отдельные leaderboards. (2) изменился формат отправки статистики tokens - теперь это просто типизированные поля. (3) при отправке телеметрии еще нужно отправлять completion (текст ответа llm-ки). Prompt отправлять не обязательно. Пожалуйста, заранее обновите своих AI агентов до новой версии SDK и запустите один раз на ERC3-DEV или ERC3-TEST, чтобы убедиться, что весь код отрабатывает штатно. 9 Декабря достаточно будет перезапустить код на ERC3-PROD. План на 9 декабря 9:00 CET - Keynote 10:30 CET - открывается ERC3-PROD 11:30 CET - prize deadline для `accuracy`. То есть час на прогон агента и отладку (если что-то вдруг падает) Extended competition (без призов) - до 16 декабря. 16 декабря замораживаем leaderboards (они будут опубликованы на TimeToAct и abdullin.com) и раскрываем evals/scoring для ERC3-PROD. Уведомления на почту вышлем всем зарегистрированным участникам. Платформа | Регистрация | Пример агента | Видео на русском Ваш, @llm_under_hood 🤗