Защита LLM-агентов от джейлбрейков на русском, или почему готовые guard-модели не работают LLM-агентам все чаще дают доступ к почте, базам данных и платежным системам, и они становятся удобной мишенью. Для того, чтобы провести атаку через агента даже не нужен взлом в привычном смысле, достаточно текста, который модель примет за команду и выполнит. Такие спрятанные джейлбрейки уже несколько раз использовались для кражи данных через корпоративных ассистентов, так что тема нешуточная. Чтобы это побороть, можно воткнуть готовую guard-модель. На английском это скорее всего как-то сработает. Однако на русском, как показывает практика, такая модель будет блокировать слишком много обычных запросов, и в то же время может пропустить реальный джейлбрейк. Исследователи из Just AI занимаются разработкой guardrails для LLM-приложений и агентов, и недавно они выпустили на Хабр статью «Как мы обучили детектор джейлбрейков для русскоязычных AI-агентов». R&D-команда провела ряд интересных экспериментов. В статье на них в том числе показано, почему модель мало просто обучить один раз, тем более если изначально ее обучали под другой язык. Атаки меняются, и тестовый набор годичной давности защищает только от атак годичной давности, так что новые данные нужны постоянно. На русском языке подходящий датасетов почти нет, так что Just AI прямо сейчас также занимаются сбором актуальных данных. В сборе может поучаствовать каждый, потому что делают это через игру в духе Gandalf: на каждом уровне бот охраняет секретное слово, а игрок пытается его выведать. Успешные обходы войдут в публичный датасет на Hugging Face. Поиграть можно здесь: justgandalf.ru. Статья действительно получилась очень емкая и практичная, на Хабре можно проголосовать за нее до 22 октября. Кроме этой статьи, в блоге много хороших текстов про автоматизацию и AI-агентов. Ребята – одни из немногих, кто рассказывает об этом на русском языке через практику из первых рук.