Enterprise RAG Challenge - тестовые данные и LLM для запуска бесплатно ERC - это дружеское соревнование на лучший в мире RAG по годовым отчетам компаний. У нас уже больше 300 заявок, на keynote расскажет про раги в бизнесе директор Intel по области AI GTM, а IBM спонсирует дополнительный набор призов. Прочитать можно тут. У нас уже готовы тестовые данные для подготовки к раунду (PDF и вопросы в новом формате): https://rag.timetoact.at/data/r2.0-test/ А в соседней папке 27 февраля появятся официальные данные для соревнования. Submission API, куда надо будет отправлять свои ответы, развернут на https://rag.timetoact.at. Можно уже для тренировки попробовать сгенерировать ответы и загрузить их в это API. Теперь, насчет LLM для запуска. IBM выделили отдельный набор призов для тех, кто создаст RAG систему на основе моделей из WatsonX AI. А на WatsonX у них есть из интересного модели вроде `llama-3-3-70b-instruct`, `llama-3-405b-instruct`, `llama-3-2-90b-vision-instruct`, `mistralai/mistral-large` и `deepseek-r1-distill-llama-70b` (ну и пучок embedding models). Список моделей есть тут плюс deepseek-r1-distill-llama-70b сверху. Так вот, IBM думает предоставить бесплатный доступ к этим моделям для участников соревнования. Это пока не 100%, но попросить уже можно сейчас. Для этого надо зайти в дискорд в канал `ibm-track` и ответить на последнее сообщение от Daniel (IBM), попросив доступ к inference API WatsonX AI, кратко сказав, какие интересны модели и какая планируется архитектура. Structured Outputs у них, к сожалению, нет, но c llama/mistral/deepseek и embedding моделями результат показать можно. deepseek-r1-llama-70B может отрабатывать CoT, если ее использовать через outlines или аналог. Ваш, @llm_under_hood 🤗
Enterprise RAG Challenge - тестовые данные и LLM для запуска бесплатно ERC -…
Из этого канала
- #512В чате канала обсуждают компиляцию SO схем в OpenAI: > Кстати я заметил то, что…
В чате канала обсуждают компиляцию SO схем в OpenAI: > Кстати я заметил то, что в последнее время, если передавать в opeanai довольно сложную схему - то он…
- #513LLM Benchmark Anthropic Claude 3.7 - внезапно хорошо Все знают, что Anthropic…
LLM Benchmark Anthropic Claude 3.7 - внезапно хорошо Все знают, что Anthropic Claude очень плохо ведет себя на моих бенчмарках.
- #514"Anthropic Claude 3.7 thinking - второе место! Если вы очень любите Claude, то…
"Anthropic Claude 3.7 thinking - второе место! Если вы очень любите Claude, то сделайте себе скриншот этого сообщения.
- #510Enterprise RAG Challenge - тестовый прогон 20 февраля Завтра, 20 февраля в…
Enterprise RAG Challenge - тестовый прогон 20 февраля Завтра, 20 февраля в 12:00 UTC+1 / 14:00 MOW пройдет тестовый прогон Enterprise RAG Challenge.
- #508Coding for AI - Как я быстро запускаю сервера с AI сервисами Меня очень радует,…
Coding for AI - Как я быстро запускаю сервера с AI сервисами Меня очень радует, когда в небольшой слайс времени и внимания получается упихнуть заметный объем…