Кейс - локальный ассистент по работе с технической и регламентной документацией. У нас был кейс - ассистент по работе с оборудованием (нефтегаз, upstream). Много технической и регламентной документации. Пайплайн - таксономия по документам и разделам, фильтрация документов и роутинг по запросу, семантический чанкинг, гибридный поиск, LLM Reranker, еще ветка на text2SQL (отдельная экстракция табличных данных), обогащение контекста. Answer relevance финальной генерации рос почти пропорционально размеру модели (Qwen) в экспериментах, где все релевантные чанки были в контексте (recall = 100%). Остановились на 70B. Ниже не устраивало заказчика по качеству, а 70В было еще приемлемо по цене (2xA100). Датасет - несколько тысяч запросов. Это цитата __Alex U__ из нашего чата. Можно посмотреть обсуждение и задать дополнительные вопросы тут. Ваш, @llm_under_hood 🤗 PS: Если заходите в чат впервые, пожалуйста, не игнорируйте сообщения от бота спам-защиты.