Интересная работа, требует более вдумчивого чтения, чем просто саммари. On the Fundamental Limits of LLMs at Scale __Muhammad Ahmed Mohsin, Muhammad Umer, Ahsan Bilal, Zeeshan Memon, Muhammad Ibtsaam Qadir, Sagnik Bhattacharya, Hassan Rizwan, Abhiram R. Gorle, Maahe Zehra Kazmi, Ayesha Mohsin, Muhammad Usman Rafique, Zihao He, Pulkit Mehta, Muhammad Ali Jamshed, John M. Cioffi__ Статья: https://arxiv.org/abs/2511.12869 Ревью: https://arxiviq.substack.com/p/on-the-fundamental-limits-of-llms # TL;DR ЧТО сделали: Авторы представили единую теоретическую структуру, определяющую пять незыблемых границ масштабирования LLM: галлюцинации, сжатие контекста, деградация рассуждений (reasoning), хрупкость поиска (retrieval) и мультимодальное рассогласование. Синтезируя доказательства из теории вычислимости, теории информации и статистического обучения, они показывают, что эти сбои — не временные артефакты данных, а встроенные свойства архитектуры трансформеров и самой задачи предсказания следующего токена. ПОЧЕМУ это важно: Работа бросает вызов догме «scale is all you need», математически доказывая, что определенные классы ошибок (например, возникающие из неразрешимых проблем или оценки хвостов распределений) нельзя исправить простым добавлением параметров или вычислений. Для надежности нужны сдвиги в архитектурной парадигме — например, нейро-символическая интеграция или поиск с ограниченным оракулом. Подробнее: https://t.me/gonzo_ML_podcasts/1561