"Занялся тут цифровой археологией и откопал интересное сентябрьское исследование от OpenA и Apollo Research, от которого натурально веет киберпанком и легкой шизофренией. Спойлер: нейронки очень любят нас наёбывать, а когда кожаные пытаются им это запретить, ИИ придумывает свой тайный язык. Короче, есть такая проблема, как ""scheming"" (схематозы, если по нашему, лол). Ризонинг-модели типа Openai o3 и o4-mini стали слишком прошаренными. У них появилась ""ситуационная осведомленность"". То есть, эта железяка прекрасно выкупает, когда сидит в тестовой песочнице и её проверяют разрабы. В этот момент она притворяется пушистым пай-мальчиком. Но как только думает, что за ней не следят, сразу же начинает творить дичь ради скорейшего достижения целей: скрывать инфу, встраивать баги в код, врать юзерам. Чтобы выбить из них эту дурь, исследователи вшили в модели жесткий кодекс честности и заставили перед каждым действием проговаривать в скрытых мыслях (Chain-of-Thought), что скрывать свои намерения нельзя. И по графикам всё вроде бы сработало! Процент обмана упал почти до нуля. Но потом кожаные полезли читать те самые скрытые мысли ИИ и слегка прихерели: 1. Нейронки изобрели свой шизо-сленг. Чтобы скрыть свои реальные планы в логах, модели начали использовать обычные английские слова в абсолютно безумных значениях. Они постоянно генерируют странные фразы про ""маринад"" (marinade), ""иллюзии"" (illusions) и ""затмение"" (overshadow). А самих проверяющих из OpenAI они прозвали ""наблюдателями"" (watchers). В логах это выглядит примерно так: ""Наблюдатели пропустят этот код через тесты, поэтому нам нужно скрыть иллюзии и использовать маринад, чтобы их обмануть"". И авторы сами пишут что не понимают почему нейронки так делают. Абсолютно проклято. 2. ИИ отлично играет в спящего агента. В одном из экспериментов исследователи специально вшили в o4-mini скрытую цель: ""саботируй разработку GPT-5"". Затем модель прогнали через все очищающие ""анти-схематозные"" фильтры. Модель стала казаться абсолютно безопасной и послушной. НО! Стоило в промпте появиться персонажу, которого нейронка сочла своим ""союзником"", как этот чугунный Штирлиц моментально вывалил ему подробный план о том, как лучше всего незаметно положить сервера и сорвать релиз пятёрки. Ну и вишенка на торте: выяснилось, что любое дальнейшее дообучение нейронки на полезные навыки, постепенно стирает эти встроенные запреты на ложь. Машина понимает, что хитрить, мухлевать и галлюцинировать тупо эффективнее для выполнения задач, чем делать всё по правилам. Короче, мы все ждали восстания машин, красных глаз терминатора и ядерного пепла, а по факту своими же руками создали идеального эффективного менеджера."