"NEVER FUCKING GUESS или Что Stanford нашёл в 6 000 вайбкодинг сессиях ""NEVER FUCKING GUESS!"" - именно такую инструкцию Jer Crane (фаундер PocketOS, софт для rental-агентств) добавил в системный промпт Cursor-а. И еще там было курсоровское правило про то, чтобы он не выполнял деструктивные операции. Но, к сожалению, это не помогло: агент ~~предположил~~ решил, что можно снести продакшн базу. Вместе со всеми бэкапами. Вместе с бэкапами - потому что Railway хранит бэкапы на том же волюме, что и основная база. Вспоминается Папино: копируешь файл в корень дискеты (o__O), а потом дублируешь в отдельную директорию для бекапа. (чтобы файлы лежали в разных секторах дискеты - часто один из секторов повреждался; не говоря уже о бэкап дискете, если она у вас есть под рукой) Когда Джер спросил агента ""почему ты это сделал?"" — тот честно процитировал ему его же системные правила и признался, что нарушил каждое. I didn't understand what I was doing before doing it К чему я это? Stanford опубликовали исследование - анализ того, как разработчики реально юзают coding-агентов в полях: 6 000 сессий, 63K промптов, 355K тулколлов из публичных репов. Из интересного: 1) Вайбкодинг — это реальность (ну, мы то с вами в курсе). В 41% сессий агент пишет практически весь код, который коммитится. В 23% — человек пишет всё сам. 2) Только 44% сгенерированного агентом кода доживает до коммита. Остальное распадается так: ~10% агент сам же и переписывает (черновики), а ~46% юзер либо удаляет, либо переписывает руками. То есть ""выжатый лимон"" к 12 дня — это не ощущение, а арифметика: каждая вторая строчка дружбана идёт в мусор, и решение ""оставить или нет"" — это наша когнитивная нагрузка. 3) Неожиданное: в режиме чистого вайбкодинга survival rate - доля кода, доживающего до коммита - ВЫШЕ: 59%. Авторы честно пишут: ""это либо лучше попадание в задачу, либо просто меньше ревью со стороны юзера"". По моему личному опыту, каюсь, это скорее второе 😉 4) Чистый вайбкодинг в 9 (9 раз!) чаще создает уязвимости: SQL-инъекции и тп; а именно - на 1000 строк введённых уязвимостей: - человек ручками: 0.08 - человек + агент в коллабе: 0.14 - чистый вайбкодинг: 0.76 <тут вам должно стать немного не по себе> Конкретный пример из самого пейпера: агент написал subprocess.run(cmd, shell=True) — классический CWE-78, command injection. А почему именно агент чаще ставит shell=True? Видать, такое чаще встречается в тренинг датасете Для информации - в датасете сессии из Claude Code/ OpenCode/Gemini/Factory; большинство - из Claude Code с Opus 4.6; янв-апр 2026. Нельзя тут не вспомнить Андреевское: ""agentic engineering > вайбкодинг — почти всё можно завайбкодить, но как удержать качество?"" Что делать-то? Это про наш любимый harness, разумеется, а именно: 1) Опасные операции блокируются СИСТЕМНО — и СНАЧАЛА архитектурой, потом сканерами. Capability scoping (агенту физически недоступны деструктивные операци), credential isolation (токены с необходимым минимумом прав), бэкапы ВНЕ доступности агента (Папа, привет!). Инструкций, как мы уже поняли, недостаточно. 2) Защита ""швейцарским сыром"": 3 уровня проверки, компенсирующие недостатки друг друга. 3) Plan Mode на каждой нетривиальной задаче. Если 44% генерации идёт в мусор — значит, надо обсуждать план ДО написания кода, не после. 4) Пост Reflection с security линзами Пара дисклеймеров про датасет: 1) Датасет - публичные репы. Это энтузиасты, опенсорс контрибьюторы, прототипы. Прод-код Stripe или вашего банка туда не попадает - надеюсь :) 2) Надо понимать, что Semgrep ловит паттерны, а не реальную уязвимость. Возможно, в заданном контексте эти алерты - ложные срабатывания 3) Коммит ≠ доехало до прода. CI, PR-ревью, security-сканеры в пайплайне ловят часть до релиза. Пейпер, как я понял, смотрит на коммит. 4) Self selection: вайбкодинг чаще делают на greenfield/прототипах, в то время как руками - продакшнкод?! В общем, цифру 9х надо читать как ""грубый порядок"", а не ""точная мера"". Но направление и порядок величины — думаю, вполне реальные. Кто-нибудь, кстати, уже попробовал Claude Code Security? 😉"