"Давно мы про GFlowNets не писали. А тут их как раз приспособили для латентного ризонинга. Всё-таки большая тема. Обычный CoT пипец как неэффективен — столько токенов надо прогнать ""в мыслях"", что убиться можно. Кеши пухнут, память жрётся. И на каждый надо сделать токенизацию/детокенизацию, бутылочное горлышко. Писал уже про неэффективность CoT на днях, но тут с другой стороны оптимизация прилетела. Вообще, думаю уже в этом году начнём видеть сильно более эффективные ризонинг модели, гораздо эффективнее эксплуатирующие имеющееся железо. Сторонники интерпретируемости, конечно, будут не рады, но с другой стороны и в текстовом CoT мы не очень-то можем быть уверены... Latent Thought Flow: Efficient Latent Reasoning in Large Language Models __Xiandong Zou, Jing Huang, Jianshu Li, Pan Zhou__ Paper: https://arxiv.org/abs/2606.16222 Review: https://arxiviq.substack.com/p/latent-thought-flow-efficient-latent Code: N/A Model: N/A # TL;DR ЧТО сделали: Авторы представили Latent Thought Flow (LTF) — фреймворк, который моделирует внутренние рассуждения LLM как непрерывные траектории переменной длины, пропорциональные награде. Для оптимизации используется лосс непрерывной генеративной потоковой сети (GFlowNet) с субтраекторным балансом, взвешенным по энтропии, и регуляризацией через априорное распределение (reference-prior). ПОЧЕМУ это важно: LTF решает проблему «узкого горлышка языкового пространства», которая возникает при явной генерации цепочки рассуждений (CoT). Вместо этого промежуточные рассуждения интернализуются непосредственно в непрерывном пространстве репрезентаций модели. В отличие от классического обучения с подкреплением, где траектории часто коллапсируют в один детерминированный путь, LTF выучивает разнообразное апостериорное распределение скрытых цепочек рассуждений. Это позволяет адаптивно масштабировать вычисления на этапе инференса (test-time) и повышать точность на задачах при радикальном сокращении расхода токенов. Для практиков: Метод позволяет значительно ускорить генерацию сложных рассуждений на инференсе, сохраняя при этом высокое качество ответов на логических и математических задачах за счёт исключения фазы токенизации промежуточных «мыслей». Рассуждать про себя тут: https://t.me/gonzo_ML_podcasts/4074"