"Ай молодец, хорошо нагаллюцинировал! __ ""Работа даёт теоретический пинок любителям «инженерного шаманизма». Качество сжатия (измеряемое через MI) — главный рычаг производительности. Для строителей RAG и агентов это сигнал: хватит мучить промптами финальную модель. Оптимизируйте ingestion (первичную обработку) на краю (edge). Мощные компрессоры на ноутбуках и телефонах, отправляющие в облако концентрированные «векторы мыслей» (текстовые саммари), — это путь к приватным и дешевым агентам нового поколения.""__ An Information Theoretic Perspective on Agentic System Design __Shizhe He, Avanika Narayan, Ishan S. Khare, Scott W. Linderman, Christopher Ré, Dan Biderman__ Статья: https://arxiv.org/abs/2512.21720 Ревью: https://arxiviq.substack.com/p/an-information-theoretic-perspective # TL;DR ЧТО сделали: Авторы формализовали дизайн многошаговых агентных систем (типа Deep Research) через теорию информации, представив этап суммаризации как передачу сигнала через шумный канал. Предложили способ оценки взаимной информации (Mutual Information, MI), чтобы понять, насколько хорошо модель-«компрессор» сохраняет контекст для модели-«предиктора». ПОЧЕМУ это важно: Исследование ломает стереотип «всё решат гигантские модели на последнем шаге». Оказывается, выгоднее вкладываться в компрессор: 7B-модель для сжатия в паре с небольшим предиктором часто бьёт огромные end-to-end модели. Практически это значит, что локальная 3B-модель на ноутбуке может сжимать данные, сохраняя 99% точности SOTA-пайплайнов, но срезая косты API на 74%. Подробнее: https://t.me/gonzo_ML_podcasts/1959"