"Исследование от Google: если усиливать в LLM внутренние маркеры диалога (типа ""Oh"" или ""Wait""), то точность ответов может вырасти в 2 раза на сложных задачах У корпорации вышла очень интересная полу-философская статья о том, что по сути представляет из себя __ризонинг__. Они пишут, что RL, на самом деле, учит модели думать не дольше, а коллективнее. Вы точно замечали, что когда модель думает, она чаще всего как бы симулирует диалог между разными внутренними голосами. Она задает себе вопросы, может что-то покритиковать или выделить. И вот Google пишут, что в такой структуре внутреннего диалога и заключен феномен ризонинга. Самое занятное – как они это доказывают: – Авторы берут sparse autoencoder (что это такое и зачем оно нужно мы писали тут) и находят нейронный признак, который отвечает за удивление/осознание/смену точки зрения. Этот признак активируется в начале предложений в диалоговых контекстах, и на практике просто отвечает за употребление таких штук как «О!», «Подожди-ка», «Ага, значит...». – Затем этот признак специально усиливают во время генерации и смотрят на метрики (модель – DeepSeek-R1-Llama-8B). – Итог: на сложных задачах комбинаторной арифметики, на которых исходная модель дает 27.1% accuracy, модель с усилением диалогового маркера дает уже 54.8%, а с подавлением этого маркера – 23.8%. Стат-значимость проверена: авторы специально сравнивали усиление этой фичи с усилением других признаков, и эффект очевиден. Плюс, параллельно с усилением этого маркера в модели также растет способность к когнитивному стратегическому мышлению. Короче, LLM все еще изучены на 0.01%. Надо как-нибудь попробовать в промпте написать __Используй побольше ""ах"", ""ох"", ""точно"" и ""ага""__, и понаблюдать за результатом. arxiv.org/pdf/2601.10825"