Ризонинг работает не так, как мы думали! Всё дело в ~~волшебных пузырьках в~~ голосах в голове~~.~~ Оказывается, там внутри создаются разные перспективы, которые в диалоге приходят в лучшему заключению. Reasoning Models Generate Societies of Thought __Junsol Kim, Shiyang Lai, Nino Scherrer, Blaise Agüera y Arcas, James Evans__ Статья: https://arxiv.org/abs/2601.10825 Ревью: https://arxiviq.substack.com/p/reasoning-models-generate-societies # TL;DR ЧТО сделали: Авторы показали, что современные рассуждающие модели (reasoning models, такие как DeepSeek-R1 и QwQ-32B) не просто выполняют длинные вычисления, а неявно симулируют «общество мыслей» — мультиагентный диалог с различными внутренними персонами, конфликтами и примирением. С помощью методов механистической интерпретируемости и RL-абляций исследование демонстрирует, что стиринг (управление) моделей в сторону диалогового поведения напрямую повышает точность рассуждений. ПОЧЕМУ это важно: Работа переосмысляет парадигму Chain of Thought (CoT): от линейного закона масштабирования вычислений мы переходим к феномену социального масштабирования. Эффективность вычислений на инференсе (test-time compute) механистически обусловлена способностью модели создавать разнообразные, состязательные перспективы внутри своего пространства активаций. Это открывает новый путь для AI alignment: оптимизация внутренней когнитивной разнородности, а не только корректности финального ответа. Подробнее: https://t.me/gonzo_ML_podcasts/2130
Ризонинг работает не так, как мы думали! Всё дело в ~~волшебных пузырьках в~~…
Из этого канала
- #4599Sakana опубликовали любопытный пост: An Unofficial Guide to Prepare for a…
Sakana опубликовали любопытный пост: An Unofficial Guide to Prepare for a Research Position Application https://pub.sakana.ai/UnofficialGuide/ Может быть…
- #4601Моделей для длинного контекста прибыло. Gecko: An Efficient Neural Architecture…
Моделей для длинного контекста прибыло. Gecko: An Efficient Neural Architecture Inherently Processing Sequences with Arbitrary Lengths Xuezhe Ma, Shicheng Wen,…
- #4603Чуть не забыл
Чуть не забыл
- #4593ИИ для демократии. Can AI Mediation Improve Democratic Deliberation? Michael…
ИИ для демократии. Can AI Mediation Improve Democratic Deliberation? Michael Henry Tessler, Georgina Evans, Michiel A.
- #4589"Ну и вот вам воскресной эзотерики про Бильярдный компьютер. Выводы не…
"Ну и вот вам воскресной эзотерики про Бильярдный компьютер. Выводы не перепроверял, поверю на слово.