Пошли статьи с ICML 2026. Интересное про языковые диффузионки. Если в обучении их ограничить последовательной генерацией, то итоговый результат лучше, чем если бы у них была полная свобода генерить токены в любом порядке (как собственно и ожидается от диффузионки). The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models __Zanlin Ni, Shenzhi Wang, Yang Yue, Tianyu Yu, Weilin Zhao, Yeguo Hua, Tianyi Chen, Jun Song, Cheng Yu, Bo Zheng, Gao Huang__ Paper: https://arxiv.org/abs/2601.15165 ICML Submission: https://openreview.net/forum?id=kpgURPRMGf Review: https://arxiviq.substack.com/p/icml-2026-the-flexibility-trap-rethinking Code: https://github.com/LeapLabTHU/JustGRPO Project page: https://nzl-thu.github.io/the-flexibility-trap Model: N/A ICML 2026 Outstanding Paper Award. # TL;DR ЧТО сделали: Авторы обнаружили критическую проблему в диффузионных LLM (dLLM), которую назвали «ловушкой гибкости» (the flexibility trap). Оказалось, что способность генерировать токены в произвольном, нелинейном порядке на самом деле снижает качество рассуждений моделей при обучении с подкреплением (RL). Чтобы решить эту проблему, исследователи представили JustGRPO — минималистичный фреймворк обучения. Он жёстко ограничивает dLLM стандартной последовательной генерацией (слева направо) исключительно на этапе исследования (exploration) в RL. Это служит структурированным каркасом при обучении, полностью сохраняя при этом двунаправленное внимание и высокую скорость параллельного декодирования на этапе инференса. ПОЧЕМУ это важно: Работа ставит под сомнение устоявшееся мнение о том, что структурная гибкость всегда полезна для качества генерации. Авторы описывают феномен «деградации энтропии»: когда у модели есть свобода выбора порядка генерации, она обходит сложные логические связки с высокой неопределённостью. JustGRPO позволяет dLLM достигать высоких результатов в математике и программировании (например, 89.1% на GSM8K и 45.1% на MATH-500). При этом метод полностью исключает сложные математические аппроксимации и нестабильные формулировки RL, которые ранее использовались для сохранения произвольного порядка токенов. Для практиков: Для технических лидеров и ИИ-разработчиков это исследование раскрывает контринтуитивный принцип: предоставление генеративным моделям свободы писать в любом порядке заставляет их избегать трудных логических решений во время обучения, что в итоге убивает глубину рассуждений. Навязывая строгое последовательное ограничение во время RL-тренировки, мы заставляем модель сталкиваться с логическими развилками лицом к лицу, кардинально прокачивая её математические навыки и способность писать код. Что критически важно, это ограничение никак не влияет на деплой: готовую модель всё ещё можно запускать с быстрыми параллельными алгоритмами декодирования, получая лучшее из обоих миров — глубокие рассуждения и быстрый инференс. Обучать последовательно здесь: https://t.me/gonzo_ML_podcasts/4348