Больше рекурсий богу рекурсий! По факту добавили в TRM работу с популяцией решений. Generative Recursive Reasoning __Junyeob Baek, Mingyu Jo, Minsu Kim, Mengye Ren, Yoshua Bengio, Sungjin Ahn__ Paper: https://arxiv.org/abs/2605.19376 Code: https://ahn-ml.github.io/gram-website Review: https://arxiviq.substack.com/p/generative-recursive-reasoning # TL;DR ЧТО сделали: Авторы представили GRAM (Generative Recursive reAsoning Models) — вероятностный фреймворк, который превращает рекурсивные латентные рассуждения из детерминированной последовательности шагов в стохастический многотраекторный процесс. За счёт интеграции обучаемых гауссовских шумов в скрытые переходы и обучения системы через амортизированный вариационный вывод, GRAM строит как условные рассуждения `p_θ(y | x)`, так и генерирует распределения `p_θ(x)` на непрерывных латентных траекториях. ПОЧЕМУ это важно: Существующие рекурсивные модели страдают от коллапса мод в задачах со множеством решений, так как их латентные траектории детерминированы. GRAM преодолевает это ограничение, позволяя масштабироваться на этапе инференса «в ширину» (через параллельный сэмплинг траекторий), что отлично дополняет классическое масштабирование «в глубину» без роста задержек. Модель обходит сильные детерминированные бейзлайны в сложных задачах на рассуждение и удовлетворение ограничений (таких как экстремальное Судоку, задача о ферзях и раскраска графов), оставаясь компактной по числу параметров. Для практиков: Получена эффективная по параметрам архитектура, которая умеет искать альтернативные пути решения сложных комбинаторных задач прямо в латентном пространстве. Метод позволяет гибко балансировать точность и вычислительные затраты на инференсе, запуская параллельные потоки рассуждений и выбирая лучший вариант с помощью встроенной модели оценки. Рекурсировать тут: https://t.me/gonzo_ML_podcasts/3687
Больше рекурсий богу рекурсий! По факту добавили в TRM работу с популяцией…
Из этого канала
- #5410Стратегии test-time scaling вручную подбирать не надо, когда есть автомат. LLMs…
Стратегии test-time scaling вручную подбирать не надо, когда есть автомат. LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling Tong Zheng, Haolin Liu,…
- #5414Ты инженер или философ?
Ты инженер или философ?
- #5415Красивая история. UT с последовательным применением линейного внимания…
Красивая история. UT с последовательным применением линейного внимания увеличивает выразительность трансформера, одновременно сохраняя разумную вычислительную…
- #5402"С одной стороны весь файнтюнинг безопасности можно обойти, воздействуя на один…
"С одной стороны весь файнтюнинг безопасности можно обойти, воздействуя на один единственный нейрон, с другой стороны если грохнуть одну конкретную важную для…
- #5396Рабочая диффузия приходит в язык. Continuous Diffusion Meets Language Modeling:…
Рабочая диффузия приходит в язык. Continuous Diffusion Meets Language Modeling: A Strategic Analysis of Embedded Language Flows Keya Hu, Linlu Qiu, Yiyang Lu,…