Исследователи Anthropic выкатили результаты интересного исследования — в языковых моделях нашли структуру, функционально похожую на «глобальное рабочее пространство» из нейронауки сознания. Огромная часть вычислений модели — автоматика, недоступная для отчёта. Но внутри нейронных сетей Claude существует небольшая группа паттернов активации, выполняющая роль, аналогичную «сознательно доступному» мышлению у людей. Это область, где модель удерживает мысли, которые она «обдумывает», но не обязательно озвучивает. J-Space не был запрограммирован разработчиками, он появился самопроизвольно в процессе обучения модели. Есть вполне человеческие аналогии — не зря исследователи проводят параллели с нейронаукой. Опытный водитель переключает передачи не осознавая. Но, если его спросить, какая сейчас передача, информация об этом втягивается в сознание. У модели так же: счётчик длины строки исправно управляет переносами, вообще не появляясь в рабочем пространстве, но стоит задаче потребовать назвать длину — та же информация всплывает и становится доступной для рассуждения. Эффект белого медведя: инструкция «не думай об X» подавляет концепт лишь частично, он прорывается. А у пост-обученной модели рядом с прорвавшейся мыслью появляется ещё и damn — она замечает собственный провал, как медитирующий, обнаруживший, что ум опять убежал. J-space содержит всего несколько десятков концептов одновременно и отвечает менее чем за 1/10 (10%) общей активности внутренних процессов модели. Нейроны в J-space связаны с остальной сетью значительно плотнее — в некоторых частях сети плотность связей выше примерно в 100 раз по сравнению с обычными паттернами. Работа не доказывает, что Claude обладает «феноменальным сознанием» (способностью чувствовать). Однако исследование демонстрирует наличие «доступного сознания» (access consciousness) — способности оперировать информацией, рассуждать и использовать её для управления поведением. Практическое его использование уже понятно — можно использовать для контроля модели и обнаруживать попытки обмана. Кроме того, это даёт неожиданный метод обучения: если натренировать модель формулировать этические принципы в ответ на гипотетическое «остановись и подумай», поведение улучшается и там, где никто не спрашивает — принципы заселяют рабочее пространство. Тренируя, что модель сказала бы, меняешь то, что она думает. https://transformer-circuits.pub/2026/workspace/index.html
Исследователи Anthropic выкатили результаты интересного исследования — в…
Из этого канала
- #11544Reuters: Пекин рассматривает возможность ограничения доступа зарубежных стран к…
Reuters: Пекин рассматривает возможность ограничения доступа зарубежных стран к лучшим китайским ИИ-моделям.
- #11545Fable 5 оставили в Claude Code до 12го июля Это я что, зря всю ночь его гонял…
Fable 5 оставили в Claude Code до 12го июля Это я что, зря всю ночь его гонял тратя лимиты вместо сна 👤 Видимо релиз 5.6 Sol совсем скоро
- #11546Сегодня вечером OpenAI покажут не только 5.6 модели, но и объединение Codex и…
Сегодня вечером OpenAI покажут не только 5.6 модели, но и объединение Codex и ChatGPT в какое-то новое приложение на базе Codex Скину стрим как начнется ☕️
- #11542Не так давно появился скилл для агентов Caveman, который якобы экономит до 60%…
Не так давно появился скилл для агентов Caveman, который якобы экономит до 60% токенов общаясь как «каменный человек», в стиле: Токен тратить плохо.
- #11541Кажется, началось
Кажется, началось