"Несмотря на все усилия отдохнуть за новогодние праздники, я просто не устоял и откликнулся на задачку, с которой обратился один товарищ в личку на Реддите: __""RAG у нас работает нормально, даже отлично, но последнее время пользователи всё чаще жалуются на неактуальные ответы. Мы проверили метрики - поиск быстрый, точность высокая, достаёт вроде бы правильные документы… Только жалобы никуда не деваются, уже не знаем как дебажить""__ Начали копать, что там нормально работает, а там такое… __Интересное__! На первый взгляд система написана хорошо, много важных метрик (как по учебнику). Только вот мониторили всё, кроме главного – __насколько свежие__ __данные__ система реально отдаёт пользователям. База знаний долгое время была __небольшой__. Но когда подписали новых клиентов – стремительно выросла до 80.000+ документов (и продолжает расти, пользователи постоянно догружают контракты и прочую сопутствующую бухгалтерию.) Тут мы нашли архитектурный баг 🐞 Раньше документов было меньше, и обновление поисковой базы делалось ""в лоб"" – просто пересобирали весь индекс раз в сутки ночью. Работало нормально, всех устраивало. МVP → $$$! Какие вопросы? На новых объёмах этот процесс стал занимать 10+ часов. А алертов на это никто не организовал. Так что выхоило следующее – документ обновили, например, утром, а в поиске он появится только завтра где-то к обеду! Система весь день уверенно отдаёт вчерашнюю версию... 🥲 Что мы сделали: 1. Перешли на более умное обновление (инкрементальная индексация) – теперь система обрабатывает только изменённые/новые документы, а не всю базу целиком. Да, оказывается это не очевидно, или в режиме стартапов просто забывается ¯\_(ツ)_/¯ 2. Добавили приоритет свежести – при прочих равных система теперь предпочитает более свежие документы 3. Настроили мониторинг устаревания – если данные начинают ""протухать"", команда сразу видит алерт в слаке. Результат по первичным оценкам такой: - Задержка обновления снизилась с ~14 часов до ~10 минут (на самом деле меньше, это пессимистическая оценка) - Жалобы на неактуальную информацию – пока полностью пропали, ждем! - Никаких изменений в самой AI-модели Мораль, думаю, тут такая: RAG может ломаться не из-за плохого AI, а из-за невидимых проблем с данными, которые попросту упустили из внимания. Если узнаёте свою ситуацию – заполняйте короткую заявку тут, разберём!"