Enterprise RAG Challenge - новости (1) Мы уже получили более 220 заявок на участие во втором раунде! Было бы больше, но вчера в Кёльне была авария у провайдера, и сайт всей группы прилег. А так в день 5-7 новых регистраций приходит. (2) IBM присоединились к Challenge. Для тех, кто пилит решения на IBM WatsonX будет отдельный Leaderboard, призы и поддержка от экспертов IBM. Кстати, у них на платформу завезли deepseek-r1-llama-70B, который пока держится на 4м месте моего reasoning бенчмарка. Поэтому если кто-то уже работает с IBM, то есть все шансы показать достойный результат. (3) Я прямо сейчас занимаюсь обновлением question генератора для второго раунда. Скорее всего, уже завтра в github выложу обновленную версию и начну в дискорде отвечать на все вопросы. Потом на следующей неделе хочу запустить все API и провести dry run для всех желающих. Со временем пока не определился - whenever ready. Регистрироваться можно тут. Ваш, @llm_under_hood 🤗 PS: Я с IBM напрямую не работал - терпения не хватило разбираться в их UX и процессах, поэтому сам подсказать ничего не смогу. Но эксперты смогут помочь - завели отдельный ibm-track канал на дискорде.
Enterprise RAG Challenge - новости (1) Мы уже получили более 220 заявок на…
Из этого канала
- #504Старожилы канала поймут и этот мем и вот этот комментарий в чате: Нам схема с…
Старожилы канала поймут и этот мем и вот этот комментарий в чате: Нам схема с русскими подписями в кейсе + 8% к точности дала Ваш, @llmunderhood 🤗 PS: Если…
- #505"Enterprise RAG Challenge: Updated question generator Новая версия опубликована…
"Enterprise RAG Challenge: Updated question generator Новая версия опубликована тут.
- #506"Как работать с информацией при построении своих RAG систем? Я сейчас собираю…
"Как работать с информацией при построении своих RAG систем? Я сейчас собираю материал для дополнительного видео к курсу, чтобы ответить на вопрос ""Ну собрали…
- #502"Что лучше - ставить вопрос в промпте до текста или после текста? В прошлом…
"Что лучше - ставить вопрос в промпте до текста или после текста? В прошлом посте про новые бенчмарки я написал: Кстати, обратим внимание, что я вопрос ставлю…
- #501"Пример из теста на работу с кодом в новом reasoning бенчмарке Как я уже…
"Пример из теста на работу с кодом в новом reasoning бенчмарке Как я уже говорил раньше, вторая версия моего бенчмарка не только сильнее нагружает современные…