Развитие темы про рекурсивные архитектуры. В текущей работе отказываются от быстрых/медленных циклов и итераций разного сорта, а стабильного схождения добиваются математически. А ещё к механизму внимания добавили механизм терпения. Даже интересно, что дальше. Кстати прикольно, с Валей мы были соавторами ещё 10 лет назад, когда наша героическая команда выходила в финал соревнования DREAM-ENCODE (https://22century.ru/popular-science-publications/dream-encode). А ещё мы перед всякими Бертами придумали называть модели в честь мультгероев! 😁 Fixed-Point Reasoners: Stable and Adaptive Deep Looped Transformers __Sajad Movahedi, Vera Milovanović, Shlomo Libo Feigin, Alexander Theus, Thomas Hofmann, Valentina Boeva, T. Konstantin Rusch, Antonio Orvieto__ Paper: https://arxiv.org/abs/2606.18206 Review: https://arxiviq.substack.com/p/fixed-point-reasoners-stable-and Code: https://github.com/nilskiKonjIzDunava/fprm Model: N/A # TL;DR ЧТО сделали: Авторы представили модель Fixed-Point Reasoning Model (FPRM) — циклический неиерархический трансформер. Вместо стандартной post-normalization они использовали pre-normalization и внедрили обучаемое послойное и поитерационное масштабирование residual connection. Это стабилизировало траектории в латентном пространстве и позволило достичь непрерывной сходимости к неподвижной точке. Такая сходимость служит естественным механизмом остановки и не требует обучения. На инференсе алгоритм FPOPT на основе терпения (patience) дополнительно гасит латентные осцилляции. ПОЧЕМУ это важно: Эта работа доказывает, что сложные иерархические структуры циклов (например, разделение на быстрые и медленные циклы), популярные в современных рекурсивных моделях, — лишь избыточный костыль для компенсации плохого прохождения сигнала из-за post-normalization. Решив проблемы оптимизации при экстремальной глубине развёртки, FPRM обеспечивает отличную адаптивность вычислений на инференсе (test-time compute) и генерализацию в out-of-distribution режиме. И всё это — в рамках максимально простой одноцикловой архитектуры. Для практиков: Появилась возможность обучать циклические модели глубиной в тысячи виртуальных слоёв с фиксированным потреблением памяти. При этом не нужно усложнять архитектуру вспомогательными сетями маршрутизации (вроде ACT) или прибегать к параллельному сэмплированию траекторий. Искать неподвижную точку здесь: https://t.me/gonzo_ML_podcasts/4119