Universal (Loop) Transformers приходят в модели мира. Looped World Models __Hongyuan Adam Lu, Z.L. Victor Wei, Qun Zhang, Jinrui Zeng, Bowen Cao, Lingwei Meng, Mocheng Li, Zezhong Wang, Haonan Yin, Naifu Xue, Minyu Chen, Cenyuan Zhang, Zefan Zhang, Hao Wei, Jiawei Zhou, Haoran Xu, Hao Yang, Ronglai Zuo, Tongda Xu, Yonghao Li, Jian Chen, Hebin Wang, Zeyu Gao, Yang Li, Wei Zhao, Qimin Zhong, Siqi Liu, Yumeng Zhang, Leyan Cui, Zhangyu Wang, Wai Lam__ Paper: https://arxiv.org/abs/2606.18208 Review: https://arxiviq.substack.com/p/looped-world-models Code: N/A Model: N/A # TL;DR ЧТО сделали: Авторы представили Looped World Models (LoopWM) — новую архитектуру трансформеров с рекуррентной глубиной для моделирования мира. LoopWM использует блок трансформера с общими весами, который итеративно уточняет латентные репрезентации среды. Модель опирается на математически гарантированный сжимающий механизм удержания состояния (state retention) и адаптивную стратегию раннего выхода. Идею расширили концепцией «отложенного декодирования» (Deferred Decoding, LoopWM-DD), где роллаут траектории действий происходит исключительно в латентном пространстве, а декодирование откладывается до самого последнего шага. ПОЧЕМУ это важно: Классические модели мира ограничены жёстким компромиссом: для моделирования длинных горизонтов планирования требуются глубокие, тяжёлые по параметрам архитектуры. Однако они склонны к накоплению ошибок роллаута и дороги в развёртывании. LoopWM предлагает итеративную латентную глубину как ортогональную ось масштабирования, позволяя повысить эффективность использования параметров до `100x`. Модель LoopWM с 1 миллиардом параметров обходит огромные проприетарные системы, открывая путь к запуску стабильных симуляторов физики на робототехнических Edge-платформах с жёсткими ограничениями по питанию и времени работы. Для практиков: Архитектура позволяет гибко регулировать баланс между точностью и скоростью вычислений на этапе инференса без переобучения модели. За счёт переноса роллаутов в латентное пространство и отложенного декодирования можно радикально ускорить симуляцию физики в задачах планирования и обучения с подкреплением на реальном железе. Моделировать мир здесь: https://t.me/gonzo_ML_podcasts/4095