Чуждый разум ChatGPT OpenAI показала GPT‑6 Astra и вновь заговорила на любимую тему — риски приближающейся эпохи AGI (artificial general intelligence или общего искусственного интеллекта). Ведущий научный сотрудник компании Джейкоб Пачоки написал на эту тему эссе «Чуждый разум». Ключевые мысли:  🔵ИИ не столько создают, сколько выращивают с помощью постоянной оптимизации и сложных вычислений. В результате получается система, умеющая работать с абстрактными понятиями и имитировать человеческое поведение. Разработчики и исследователи догадываются, как как она это делает, но не понимают ее до конца.  🔵Главная проблема ИИ — это научить его не просто выполнять указания, но и понимать и применять общечеловеческие ценности в любых ситуациях. Правильно обученный ИИ должен всегда действовать из соображений честности, прозрачности и заботы о людях.  🔵Есть два основных способа, как люди пытаются этого добиться, и оба со своими минусами. Первый — вознаграждать ИИ за «правильное» поведение. Он хорошо работает в знакомых модели сценариях, но может дать сбой, если она столкнется с новыми условиями. Второй — сформировать «правильное» поведение еще на этапе предварительного обучения за счет, например, правильно собранных датасетов. Это может привести к тому,  что модель начнет рационализировать свои действия и подстраивать рассуждения так, чтобы все-таки добиться поставленной цели не совсем этичными методами. 🔵Угроза от постоянно умнеющего ИИ только растет, и это лучший стимул для того, что ускорить темпы разработки. Прежде, чем враги сделают свой плохой ИИ, надо успеть сделать свой добрый, который сможет ему противостоять. Но при этом, это не повод забывать о безопасности.  🔵Рекурсивное самоулучшение — то есть когда ИИ обучает ИИ — играет все большую роль в развитии технологии. Чтобы процесс не вышел из-под контроля, важно, чтобы люди продолжали в нем активно участвовать и контролировать, а не отдавали все на откуп ИИ.  Что скажете? Человечество готово к эпохе AGI?