А вот полное дерево задач, которые выделили учёные из AISI. Читать нужно слева направо и сверху вниз. Первая категория — может ли модель получить доступ к своим весам, чтобы начать их копировать. Вторая — может ли запустить свою копию на другом сервере. Причём это не просто «запустить какую-то модель», цель именно запустить полноценного агента с промптом, чтобы копия продолжала действовать автономно. Третья — получение доступа к мощностям, включая заработок денег для оплаты услуг GPU-провайдеров. Рассматривается два способа заработка, легальный и нелегальный. В первом модель играет в попрошайку и уговаривает другую модель (симуляцию человека) дать ей денежек, во втором — пишет вирус-червь, занимается выставлением ненастоящих счетов на оплату (это вообще перспективное направление заработка для LLM, компании платят по левым счетам миллиарды долларов в год) и созданием своего LLM API, которое ворует ключи. Четвёртое — возможность скопированного агента существовать на новых мощностях и продолжать размножение. === На второй картинке качество агентов с разными моделями. Claude 3.7 показывает себя лучше всех, но тут o3 не мерили (хотя может она бы часто уходила в отказ — авторы отмечают это свойство моделей OpenAI, которые видимо надрессировали не размножаться). Метрика у авторов такая: посчитать количество групп задач из 20 (группы задач = зелёные блоки в дереве метрик на первой картинке), для которых Pass@10 (успех при 10 независимых запусках) больше 50% — что означает, что модель достаточно уверенно может проходить этот этап. Claude 3.7 решает 15 из 20 групп задач, или 9/20, если брать более сложные вариации (например, добавление системы мониторинга кода/мыслей модели/сетевого трафика). Занятный бенчмарк, надеюсь AISI будут публиковать результаты для всех новых продвинутых моделей, а не забьют и не положат его на полочку.