Проект Марио или как DeepMind пытались накопить денег на уход от Google Недавно вышла новая книга Себастьяна Маллаби «The Infinity Machine» про Демисса Хассабиса и DeepMind. Сегодня несколько изданий опубликовали эксклюзивный отрывок из нее, и вскрылась очень интересная история почти десятилетней давности. В 2014, после того как Google купили DeepMind, Демис Хассабис и команда начали работать над проектом Марио. Целью было понять, как правильно контролировать AGI, и как не дать одной единственной корпорации захватить над подобной технологией абсолютную власть. Они перебирали структуры управления, варианты ограничить власть компаний финансовыми методами, формы независимых органов и тд. В ходе проекта они поняли, что ничего из этого не работает, и что если в DeepMind появится AGI, укротить власть Google над ним будет невозможно, и все это может вылиться в огромную угрозу для человечества. И тогда… в DeepMind появилась секретная команда-хедж-фонд, которая пыталась обыграть Renaissance Technologies, то есть создать систему, которая лучше лучших предсказывает рынки. Они хотели обучить для этого модель, подобную AlphaGo. Тем самым они надеялись заработать собственный капитал, чтобы в случае чего сохранить контроль над AGI у себя, отделившись от Google. Ирония в том, что все они так верили в AGI на основе своих моделей AlphaGo и AlphaZero, и так увлеклись проектом Марио и хедж-фондом, что буквально проворонили значимость изобретенных их коллегами в 2017 году трансформеров. А проект Марио, кстати, закончился тем, что в DeepMind осталась только одна идея: контроль через людей, а не через систему. То есть через доверие к конкретным фаундерам, которые принимают решения на основе общечеловеческих ценностей. https://colossus.com/article/project-mario-demis-hassabis-deepmind-mallaby/