"Когда прикручиваешь к ИИ-агенту интернет, внезапно выясняется, что ""дать ему погуглить"" это вообще не одно действие. Сначала поиск. Потом надо сходить на найденные страницы, вытащить из них текст, выкинуть HTML-мусор, порезать всё на логические куски, выбрать наиболее подходящие и только потом скормить модели. Причём если просто пихать ей страницы целиком, контекст начинает жрать токены как не в себя. В Yandex Search API для этого запустили Smart Snippets. Суть проста: вместо целой веб-страницы API возвращает нужные под конкретный запрос фрагменты (примерно по 500 токенов каждый). Плюс цитаты и ссылки на источники. Поиск и подготовка такого контекста происходят за один вызов API. Важно: это не ещё одна нейронка, которая сама сочиняет финальный ответ. Smart Snippets только находят и отбирают нужное из каждой страницы, а дальше эти куски уже получает ваша LLM. По данным Yandex Cloud, такой подход позволяет тратить на веб-контекст до 3 раз меньше токенов при том же качестве ответа. А значит, если у вас агент постоянно лазит в интернет, меньше становится не только контекст, но и счёт за использование модели. Короче, поиск и уже готовый под LLM контекст в одном вызове — вместо того, чтобы сначала искать, откуда вообще брать выдачу, а потом городить вокруг неё обвязку. Свяжитесь с экспертом, чтобы протестировать"
"Когда прикручиваешь к ИИ-агенту интернет, внезапно выясняется, что ""дать ему…
Из этого канала
- #7776Ночью OpenAI дропнула 722 математические работы, в которых собраны 372 группы…
Ночью OpenAI дропнула 722 математические работы, в которых собраны 372 группы результатов её ещё не выпущенной модели, включая решения давних открытых задач и…
- #7775"Очередная причина прекратить качать абы какие модельки с условного Hugging…
"Очередная причина прекратить качать абы какие модельки с условного Hugging Face. Товарищи из ProjectDiscovery решили проверить, насколько сложно запихнуть…
- #7774"Там Гугол разродился новой моделькой: Gemini 4 Argon. Самое интересное: — 1…
"Там Гугол разродился новой моделькой: Gemini 4 Argon. Самое интересное: — 1 миллион токенов на ВЫХОД.