Новое эссе Sama: The Gentle Singularity («это может быть последний раз, когда я пишу что-то подобное без какой-либо помощи ИИ») — Мы прошли горизонт событий; взлет начался. Человечество близко к созданию цифрового суперинтеллекта, и, по крайней мере, это гораздо менее странно, чем должно быть. Роботы не ходят по улицам, люди умирают от болезней, и всё же у нас есть системы, которые умнее людей в чём-то. — Гораздо больше людей смогут писать программы и творить. Но мир хочет гораздо больше и того, и другого, и эксперты, вероятно, все равно будут намного лучше новичков, если только они будут пользоваться новыми инструментами. В общем, способность одного человека сделать гораздо больше в 2030 году, чем он мог бы сделать в 2020 году, станет поразительным изменением, и многие люди поймут, как извлечь из этого пользу. — В 2030-х годах интеллект и энергия — идеи и способность воплощать идеи — станут дико изобильными. Эти два фактора долгое время были фундаментальными ограничителями человеческого прогресса; при изобилии интеллекта и энергии (и хорошем управлении) мы теоретически можем создавать и иметь что угодно. — С этого момента инструменты, которые мы уже построили, помогут нам найти дальнейшие научные идеи и помогут нам в создании лучших систем ИИ. Конечно, это не то же самое, что система ИИ, полностью автономно обновляющая свой собственный код, но тем не менее это личиночная версия рекурсивного самосовершенствования. — Создание экономической ценности запустило маховик комплексного строительства инфраструктуры для работы этих все более мощных систем ИИ. И роботы, которые могут строить других роботов не так уж далеки. — С точки зрения релятивизма, сингулярность происходит постепенно, а слияние происходит медленно. Мы поднимаемся по длинной дуге экспоненциального технологического прогресса; она всегда выглядит вертикальной, если смотреть вперед, и плоской, если идти назад, но это одна плавная кривая. (Вспомните 2020 год и то, как бы звучало, если бы к 2025 году было что-то близкое к AGI, по сравнению с тем, как на самом деле выглядели последние 5 лет.) — Наряду с огромными преимуществами предстоит столкнуться с серьезными проблемами. Одна из них — контроль намерений ИИ систем, другая — сделать ИИ дешевым, широкодоступным и не слишком сконцентрированным на каком-либо человеке, компании или стране. — «Intelligence too cheap to meter» вполне достижим. Это может показаться безумным, но если бы мы сказали вам в 2020 году, что мы будем там, где мы есть сегодня, это, вероятно, прозвучало бы более безумно, чем наши нынешние прогнозы о 2030м.