Финальные результаты Enterprise RAG Challenge - Team Leaderboard - оценивает команды (берется лучшее решение каждой команды) - SotA Leaderboard - оценивает все эксперименты, которые прислали команды вместе с заполненным опросником. Колонки: - Hours - сколько часов прошло между публикацией вопросов и генерацией ответов командой - R - Retrieval Score. Max: 100 - G - Generation Score. Max: 100 - Score - Final score (R/3+G). Max: 133 - AI - команды использовали наш AI Research (мой курс, работа в TimeToAct или комьюнити 🤗) - Lcl - использовались модели, которые можно запустить локально Картинки в оригинале лежат тут: https://abdullin.com/erc/. Позже я туда добавлю ссылки на все отчеты и посты участников, сделаю расширенные таблицы на основе опросников (с фильтрациями) Спасибо всем за участие - было очень круто! У нас вместе уже получилось продвинуть вперед SotA по построению RAG систем с LLM под капотом. Первые инсайты я опубликовал раньше, но основной анализ еще впереди. Ваш, @llm_under_hood 🤗