"А Кокос-то (разбирали тут) не думает! А теперь прослушайте пение дрозда. Do Latent Tokens Think? A Causal and Adversarial Analysis of Chain-of-Continuous-Thought __Yuyi Zhang, Boyu Tang, Tianjie Ju, Sufeng Duan, Gongshen Liu__ Статья: https://arxiv.org/abs/2512.21711 Ревью: https://arxiviq.substack.com/p/do-latent-tokens-think-a-causal-and # TL;DR ЧТО сделали: Авторы жестко протестировали парадигму ""Chain-of-Continuous-Thought"" (COCONUT), в которой явные токены рассуждений заменяются на скрытые (латентные) вектора. С помощью каузальных интервенций (causal steering) и состязательных датасетов исследователи проверили, происходит ли в этих векторах реальный процесс мышления или модель просто имитирует его. ПОЧЕМУ это важно: Сейчас ведущие лаборатории пытаются интернализировать ""System 2"" рассуждения, чтобы сэкономить токены и ускорить вычисления (пример — COCONUT https://t.me/gonzo_ML/3567). Критически важно понимать, кодируют ли эти сжатые состояния смысл или служат просто ""вычислительной заглушкой"". Работа доказывает, что текущие методы непрерывного мышления работают как механизм ""псевдо-рассуждений"", крайне уязвимый к обучению на шорткатах (shortcut learning), что ставит под вопрос надежность таких архитектур. Подробнее: https://t.me/gonzo_ML_podcasts/2192"
"А Кокос-то (разбирали тут) не думает! А теперь прослушайте пение дрозда. Do…
Из этого канала
- #4626Для тех, кто ещё не понял, что происходит
Для тех, кто ещё не понял, что происходит
- #4627Может, паттерн-матчинг — это хорошо? The unreasonable effectiveness of pattern…
Может, паттерн-матчинг — это хорошо? The unreasonable effectiveness of pattern matching Gary Lupyan, Blaise Agüera y Arcas Статья:…
- #4630Что-то пошло не так... https://arxiv.org/abs/2601.11659
Что-то пошло не так... https://arxiv.org/abs/2601.11659
- #4618Очень классная работа, мне нравится подход. Развитие идей десятков и сотен…
Очень классная работа, мне нравится подход. Развитие идей десятков и сотен предыдущих работ и продолжение линейки: Transformer-XL, Compressive Transformer,…
- #4614Новая работа с Лекуном и джепой. Теперь для Latent Action Models Learning…
Новая работа с Лекуном и джепой. Теперь для Latent Action Models Learning Latent Action World Models In The Wild Quentin Garrido, Tushar Nagarajan, Basile…