Вышел PixelRAG — опенсорс-фреймворк для ретриева, который использует изображения страниц вместо традиционного HTML-парсинга. По словам разработчиков, традиционные пайплайны преобразования HTML в текст могут терять более 40% содержимого страницы, включая таблицы, графики и элементы разметки. PixelRAG работает с документом в том виде, в котором его видит пользователь после рендеринга. Как работает пайплайн: - Рендерит каждый документ (веб-страницы, PDF, изображения) в набор тайлов. - Строит эмбеддинги с помощью Qwen3-VL-Embedding, дообученной через LoRA на скриншотах. - Создаёт индекс FAISS и предоставляет API для поиска. Если заменить модель-чтец на более мощную, точность вырастет без переиндексации, поскольку индекс хранит только пиксели. Для экспериментов команда проекта создала визуальный индекс всей Википедии — более 30 миллионов скриншотов. В итоге, даже в таком формате система превосходит лучший текстовый RAG-бейзлайн на 18,1% в задачах question answering только по тексту. Также представлен плагин для Claude Code, позволяющий анализировать отрендерированные страницы через скриншоты без работы с DOM. Весь проект опубликован в открытом доступе под лицензией Apache-2.0, а в статье есть подробные разборы ошибок, абляционные исследования и сравнение более чем с 25 VLM-моделями. tg / max
Вышел PixelRAG — опенсорс-фреймворк для ретриева, который использует…
Из этого канала
- #17172Рэй Далио заявил, что в настоящее время рынки сильно сконцентрированы в руках…
Рэй Далио заявил, что в настоящее время рынки сильно сконцентрированы в руках небольшой группы крупных компаний, занимающихся ИИ, что представляет угрозу для…
- #17173Тбанк в AppStore. Качайте пока не удалили. Кстати, я забыл - но ВТБ тоже…
Тбанк в AppStore. Качайте пока не удалили. Кстати, я забыл - но ВТБ тоже выпускал приложение - Сириус, я успел скачать.
- #17174Опыт в такси из чата. Спасибо что делитесь ‘В дсах может быть и да. Катал в…
Опыт в такси из чата. Спасибо что делитесь ‘В дсах может быть и да. Катал в новый год все выходные в пригороде Екб. 4000-5000 рублей за ночь.
- #17169Кейс: вывели AI-сервис в лидеры поиска Москвы 🚀 👤 Клиент: Cайт для анализа…
Кейс: вывели AI-сервис в лидеры поиска Москвы 🚀 👤 Клиент: Cайт для анализа нейросетей и генерации текстов, статей и постов.
- #17168"Реальный отзыв от бывшего сотрудника компании PLATA. Все как я люблю - честно…
"Реальный отзыв от бывшего сотрудника компании PLATA. Все как я люблю - честно и по сути, без смузи: ""На волне восхищений Plata захотелось высказаться.