Платформа для ERC3: AI Agents открыта! На ней мы будем проводить соревнование 26 ноября (и после) по поиску оптимальных архитектур для AI агентов. Готовиться можно начинать уже сейчас: Что можно сделать уже сейчас (1) Ввести свой email, с которым регистрировались на ERC3, и получить ERC3_API_KEY. Новые регистрации активируются на платформе в течение 24 часов. (2) Посмотреть бенчмарки на платформе (3) Посмотреть исходники тестового агента (gpt-4o) и запустить его с ключом и любой моделью (4) Посмотреть, как работа агента отражается в логах в консоли и в самой платформе. Платформа сразу же выдает оценку агенту! (5) Увидеть слабые места и улучшить его! Или запустить на локальной модели. Дальше: (1) Послезавтра я активирую на платформе бенчмарк erc3-dev - это симуляция компании для соревнования, с тестовым набором задач. Оценки будут агентам выставляться сразу же. Интерфейсы там будут отличаться от симуляции магазина (более сложные). (2) 26 ноября откроем рабочий бенчмарк. Нужно будет просто переключить своих агентов на новый набор задач и прогнать их. Платформа | Регистрация | Пример агента Можно запускать любое количество сессий и бенчмарков! Только, пожалуйста, описывайте кратко архитектуру и отправляйте статистику использования LLM (как в примере) с указанием названия модели в формате OpenRouter (например, `qwen/qwen3-8b`). Это позволит потом ранжировать агентов по локальности, требованиям к VRAM, стоимости и выводить красивые графики. Ваш, @llm_under_hood 🤗
Платформа для ERC3: AI Agents открыта! На ней мы будем проводить соревнование…
Из этого канала
- #693Первые инсайты с ERC3 про построение AI Агентов Соревнование у нас еще не…
Первые инсайты с ERC3 про построение AI Агентов Соревнование у нас еще не запущено, а инсайты уже идут! Это потому, что наше с вами коммьюнити просто офигенно.
- #694Я добавил на ERC3 платформу живой leaderboard с последними лучшими результатами…
Я добавил на ERC3 платформу живой leaderboard с последними лучшими результатами бенчмарков.
- #696Новости и статистика про ERC3 Во-первых, по голосованию видно, что большинство…
Новости и статистика про ERC3 Во-первых, по голосованию видно, что большинство за перенос даты соревнования на начало декабря.
- #690Claude поддерживает Structured Output Наконец-то, и Anthropic добавили нативную…
Claude поддерживает Structured Output Наконец-то, и Anthropic добавили нативную поддержку генерации ответов по JSON схеме без повторных запросов и ошибок…
- #689"Кейс с LLM под капотом - поиск видео для монтажа рекламы Давайте расскажу вам…
"Кейс с LLM под капотом - поиск видео для монтажа рекламы Давайте расскажу вам еще про один кейс достаточно необычного использования LLM в продуктовых целях.