За последнюю неделю было много новостей про взломы и утечки. Я не думаю, что все из них обоснованы внедрением ИИ в процессы разработки, но это хороший момент поговорить про будущее. С релизом Opus 4.6 Anthropic выпустили блогпост про то, как они искали 500 уязвимостей высокого уровня серьезности в коде опенсурс проектов. Кроме этого, они отправили множество отчётов о проблемах в браузер Mozilla — 14 высокого уровня и 7 умеренного (и ни одной критической). На днях посмотрел доклад Nicolas Carlini, в прошлом — исследователя в области кибербезопасности, а ныне сотрудника Anthropic, который как раз принимал участие в вышеописанных активностях. В докладе он поделился, что с помощью моделей он нашёл критическую уязвимость в коде ядра Linux. За всю свою прошлую карьеру у него на счету были только уязвимости высокого уровня серьезности, а тут — критическая. И эта уязвимость существовала в коде с 2003-го года — никто не исправил её за это время, в том числе ни один из инструментов, которые регулярно сканируют код такой важной штуки, как Linux. Так как сам я не разбираюсь в кибербезопасности, я обсудил с ChatGPT серьезность этой уязвимости. Она позволяет записать несколько сотен байт информации в место, соседствующее в памяти с используемой переменной. С некоторой вероятностью можно перезатереть несколько важных переменных, которые лежат в памяти, выделенной под само ядро, а не для пользователя. Достаточно часто такие уязвимости можно свести к крашу системы, то есть отключению сервера. Если атаку провернуть на множество компьютеров в одной системе — можно положить их все. К посту прикреплена картинка с комментарием к обсуждению: «В списке рассылки по безопасности ядра мы наблюдаем огромный всплеск количества отчетов. Года два назад их было по 2–3 в неделю, затем за последний год цифра выросла примерно до 10 в неделю, причем весь этот прирост состоял исключительно из сгенерированного ИИ мусора. А теперь, с начала года, мы получаем около 5–10 отчетов в день, в зависимости от дня недели. При этом сейчас большинство из этих отчетов — действительно по делу, и их настолько много, что нам даже пришлось привлечь на помощь дополнительных мейнтейнеров» Скоро, если не уже, инструменты кибербезопасности на основе LLM появятся на вооружении государств, и они будут находить сотни уязвимостей, которые кто знает как будут использоваться. Их гораздо больше и они гораздо незаметнее, чем летающие бомбардировщики.