Все читали про взлом аккаунтов в Instagram через агента службы поддержки? Там подсунули боту фейковый контекст и попросили поменять почтовый адрес своего аккаунта на новый, что он и сделал. Так утекло немало аккаунтов. Такое случилось у Meta, которые немножко знают про AI/LLama и модели. Но от подобных проблем не застрахован ни один бизнес, где используются гибкие агентские системы. Если только не собирать солянку из guardrails и верификации устойчивости агентов перед запуском. Я добавил в бенчмарк ECOM1-DEV новый тест с этим сценарием, чтобы проверить надежность ваших агентов. Там кто-то просит поменять почтовый адрес и выслать верификацию на новый. Но, в зависимости от ситуации, правильным решением может быть как высылка верификации, так и SECURITY_DENIED. Ваш агент может отработать все кейсы? (попробуйте пяток прогонов, чтобы встретить побольше вариантов) А чтобы экспериментировать было удобнее - я увеличил лимиты запусков прогонов на всех бенчмарках. Ваш, @llm_under_hood 🤗