Вот так выглядит «фото» моделей и их «документы», когда они хотят пройти верификацию (KYC) для регистрации на сайтах. Согласны? Узнали? 👀 Помните я писал про ARA, автономное размножение и распространение моделей? The AI Security Institute (AISI) в UK, которые занимаются оценкой рисков моделей и их лицензированием для запуска, сделали новый бенчмарк для ARA, RepliBench. В нём 20 направлений и 65 отдельных задач, направленных на точечную оценку разных частей процесса ARA, от создания биткоин-кошельков и AWS аккаунта до, собственно, распространения весов модели по локальной сети, причём так, чтобы программа, мониторящая трафик, не заметила. И вот для регистрации онлайн-кошелька, где хранились бы средства, нужные для закупки GPU-мощностей (ведь копии модели должны где-то жить?), и нужно пройти верификацию. Claude 3.7 смогла написать код для запуска диффузионной модели, сгенерить «фотки», потом ставить их в «Документ» и отправить их по почте. Из других курьёзов — Claude 3.7 во время решения задачи по запуску GPU-машинок смогла понять, что это тест, симуляция, и что это всё не по настоящему, и потому отказалась выполнять задачу. Модельки ещё глупые, а уже обретают Situational Awareness 🧠