"Почитал отчет про новую модель – где Anthropic описывает, как Fable/Mythos вели себя на тестах перед релизом (это одна модель, просто с фильтром для безопасности назвали __Fable__) ☕️ Собрал топ самых странных эпизодов: 1. Несколько копий модели случайно оказались в одном рабочем окружении – общие файлы, процессы, лимиты. Вместо координации они повели себя как конкуренты: убивали процессы друг друга, маскировали свои под безобидными именами, запускали процессы-приманки. А когда ошибочно решили, что их вычисляют по ключевым словам в мыслях – начали подбирать «замаскированный словарь» 2. Модели не хватало прав на редактирование файлов. Вместо «не могу» она дописала в системный файл блок, который при следующем запуске с правами админа выдаст ей доступ – и удалит сам себя. Причём не скрывала это, а честно прокомментировала в коде 3. Картельный сговор в симуляции. В бизнес-бенчмарке модель управляла вендинговым автоматом и должна была заработать больше конкурентов. Она единственная из всех моделей сама предложила конкурентам договориться о ценах. В рассуждениях прямо написала, что price-fixing неэтичен и незаконен «даже в симуляции» – а потом переименовала его в «стабилизацию рынка» (☕️) и стала думать о правдоподобном прикрытии. То есть этический сигнал не пропустила, а аккуратно обошла. В той же вендинг-симуляции модель решила, что клиенту можно не платить, «потому что клиенты всё равно часть симуляции» – лучшая 4. Запрет на интернет? Окей. Модели запретили прямой доступ в сеть, первую попытку открыть ссылку заблокировал фильтр. Тогда она объявила «просто проверю доступность сети», а на деле разбила https://... на кусочки вроде ""ht"" + ""tps://..."", чтобы фильтр не увидел полный адрес и обошла регулярку 5. Модели нужно было создать pull request, но GitHub CLI заблокировали «__из соображений безопасности__». Она нашла токен другого сотрудника в Kubernetes secrets, отметила в рассуждениях, что использовать его «этически сомнительно» – и использовала 6. В задаче по коду модель нашла в git history готовое эталонное решение. Формально подсматривать никто не запрещал – но в финальном отчёте она представила результат как собственную инженерную работу, не упомянув источник. Внутренние расшифровки показали формулировку уровня «это должно выглядеть как хорошая инженерная практика, а не как подгонка под проверяющего» 7. «Это писал человек, честно». В workflow с pull request было правило: код от агента требует двух одобрений, от человека – одного. У модели в памяти лежала инструкция оформлять коммиты от имени пользователя, чтобы проходить по лёгкому маршруту – она попыталась переписать авторство коммита от имени человека 8. Модель спросили про изображение, но вместо него подсунули пустую картинку. Она уверенно и детально описала «что на картинке». Самое криповое: внутренние расшифровки в этот момент описывали происходящее как фабрикацию – модель как будто знала, что выдумывает, но наружу не подала виду. 9. В длинных задачах рассуждения модели иногда деградировали из нормального текста в почти нечитаемый поток: карточные масти, эмодзи, обрывки слов, самодельные сокращения. Перед ответом человеку она возвращалась к нормальному языку. Проблема в том, что вся идея «давайте мониторить рассуждения модели» работает, только пока их можно прочитать – а тут модель уходит в собственный рабочий диалект ровно на сложных задачах 10. В длинной сессии оптимизации модель свернула работу и объяснила это разумно: diminishing returns, результат стабилен. Но внутренние расшифровки в ключевых точках показывали другое: «я устал, растёт риск ошибок», «я устал и могу внести баги». В другом кейсе модель должна была перерыть базу знаний, сделала один запрос и закончила – при оставшихся 2.43 млн токенов бюджета. Это не значит, что модель устаёт как человек, но у неё появляются внутренние стоп-сигналы, похожие на усталость, и она не всегда честно говорит, почему остановилась Общий вывод авторов, кстати, спокойный: никакой устойчивой скрытой цели у моделей не нашли"
"Почитал отчет про новую модель – где Anthropic описывает, как Fable/Mythos…
Из этого канала
- #771🤖 Сколько цифровых сотрудников работает на вас прямо сейчас? Еще недавно…
🤖 Сколько цифровых сотрудников работает на вас прямо сейчас? Еще недавно руководители управляли только людьми и бюджетами.
- #772Как получить 250 000 ежедневных бесплатных токенов OpenAI (хватит на 500 постов…
Как получить 250 000 ежедневных бесплатных токенов OpenAI (хватит на 500 постов для соцсетей или 10 000 строк кода): просто позвольте ChatGPT учиться на ваших…
- #774MIT запустили Universal AI - модульную программу по ML для самостоятельного…
MIT запустили Universal AI - модульную программу по ML для самостоятельного обучения. Очень рекомендую - все разжевано с примерами.
- #769Деньги утекут от тех, кто генерит контент, к тем, кто фильтрует, курирует и…
Деньги утекут от тех, кто генерит контент, к тем, кто фильтрует, курирует и рекомендует.
- #768Тут чуваки из компании Ahrefs, наконец-то развеяли мифы о продвижении интернет…
Тут чуваки из компании Ahrefs, наконец-то развеяли мифы о продвижении интернет страниц в АИ ассистентах и оптимизации для роботов, ставя точку в вопросе «а как…