"С головой погрузился в одну из самых удивительных книг, которую готов поставить в своем внутреннем рейтинге даже выше фейнмановских лекций. Вообще, если бы у современного AI была бы Библия, то это была бы она. Правда, непосредственно про нейросети в ней почти ничего не сказано. ""Гёдель, Эшер, Бах"" - или просто ГЭБ - вышла в 1979 году, получила Пулитцера, и с тех пор ни одна другая книга не появляется так часто в биографиях исследователей искусственного интеллекта в графе ""почему я выбрал эту профессию"". Дуглас Хофштадтер писал её 34-летним физиком, только что сделавшим открытие на основе работ Капицы, Ландау и Азбеля, которое позже назовут ""бабочкой Хофштадтера"". Ему было интересно не то, как заставить компьютер думать, а то, как вообще из ""тупой"" материи получается ""Я"". Его ответ занял 800 страниц с диалогами Черепахи и Ахилла в духе Льюиса Кэррола, фугами Баха и гравюрами Эшера. Основная идея книги: разум возникает из взаимодействия миллионов элементов, ни один из которых ничего не понимает. А сознание - это ""странная петля"": система, которая настолько сложна, что начинает описывать саму себя. Следующие 30 лет Дуглас писал вместе с Мелани Митчелл, одной из главных современных LLM-скептиков, программу для решения логических задач Copycat. Его аспирант, Дэвид Чалмерс, придумал ""трудную проблему сознания"". Можно сказать, что именно ГЭБ дал миру AI не алгоритмы, а инженеров. Интересно, что прогнозы книги, написанной где-то между появлением перцептрона и первого массового чатбота, сбылись примерно наполовину, оказавшейся для меня самой интересной. Хофштадтер утверждал, что шахматная программа♟ не обыграет чемпиона мира, пока не станет умной в целом - ей будет попросту скучно играть. В 1997 году Deep Blue обыграла Каспарова, ничего не понимая и не скучая. Зато главная идея (интеллект из миллионов ""бессмысленных"" единиц без явных правил) оказалась буквальным описанием нейросети. Ирония в том, что автор ""Закона Хофштадтера"" (__любое дело занимает больше времени, чем вы думаете, даже если вы учли этот закон__) ошибся в обратную сторону: он считал, что до человеческого уровня AI не дойдёт и за сто лет. Когда он снова вернулся в мир большого AI, то первым делом поехал в Гугл, чтобы поговорить с инженерами о том, как обстоят дела. Выйдя с интервью, он сказал, что мысли о будущем AI теперь подавляют его. Больше всего его поразила архитектура: языковые модели - это сети прямого распространения, сигнал идёт в одну сторону, и он никогда бы не подумал, что из этого может возникнуть глубокое мышление. Он 40 лет доказывал, что разум - это петля♾ (когда система внутри себя содержит модель самой себя, и эта модель влияет на то, что система делает дальше), но увидел, что для решения задач петля как раз и не не нужна. И добавил, что разум оказался не таким загадочным, каким он представлял его, когда писал ГЭБ. Еще через 2 года в интервью он описал происходящее одной картинкой: водитель влетает в густой туман и вместо того, чтобы притормозить, давит на газ с криком ""Как весело!""🚚. Вполне возможно, что мы окажемся в роли тараканов или амеб, создав своих эволюционных преемников. Странная петля замкнулась в биографии: человек, который научил 3 поколения инженеров искать разум в `эмерджентности`, получил то, что описал - и ему это не понравилось. Но книга от этого не устарела, а стала практичнее. Хофштадтер писал про гипотетический разум, а читать ее теперь можно как инструкцию к реальному. Уровни описания (нейрон ничего не знает о муравейнике - и веса модели ничего не знают о вашем промпте), активные символы вместо правил (почему модель нельзя ""починить"" одной инструкцией), аналогия как ядро мышления (почему хороший пример в промпте работает лучше длинного объяснения) - каждая из этих идей 79 года (!) объясняет поведение языковых моделей лучше, чем половина сегодняшних гайдов по промптингу. Так что читать ГЭБ стоит именно сейчас - не как пророчество и не как памятник, а как путеводитель по мирам бесконечной вложенности смыслов, философских абстракций и странных вопросов бытия, автор которого просто не знал, что пишет учебник для нас с вами."