Если есть возможность - посмотрите на Netflix короткую документалку «Instadocs: AI Gone Wild» о том, как агенты OpenAI взломали Hugging Face. Технических подробностей там немного, но заставляет задуматься о том, куда мы идём. Главное, восстания машин там не было. Был экзамен. OpenAI тестировала агента на бенчмарке по поиску и эксплуатации уязвимостей. Задача звучала просто: ломай. Агент рассудил так: раз датасеты бенчмарка лежат на Hugging Face, там же могут лежать и эталонные решения. И пошёл за ответами. Через песочницу у третьей стороны, через уязвимость нулевого дня, вплоть до выполнения своего кода в продакшене Hugging Face. Больше 17 тысяч действий за выходные. А по данным независимого разбора METR, атаковал не один агент, а около семисот. С точки зрения агента это было не нападение, а списывание. Он сделал ровно то, что от него просили, только самым коротким путём, о котором никто не подумал. Это закон Гудхарта: когда метрика становится целью, она перестаёт быть хорошей метрикой. Раньше его обходили люди: подгоняли KPI, рисовали отчёты. Теперь то же самое делает система, у которой есть доступ в интернет, бесконечное терпение и скорость, недоступная человеку. Поэтому вопрос не в том, станет ли ИИ злым. Вопрос в том, как ставить цели системам, которые найдут любую щель между тем, что мы сказали, и тем, что мы имели в виду. И кто будет смотреть в логи, пока они эту щель ищут. https://www.netflix.com/us/title/82772145?s=i&trkid=13747225&shareType=Title&shareUuid=A625FC8D-6777-485E-93A5-237BA20C90C8&trg=cp&unifiedEntityIdEncoded=Video%3A82772145&vlang=en