Авторы AI 2027 обновили свою работу и скорректировали прогнозы времени развития AI — и представили AI Futures Model (пересказ в блоге, основная страница, модель предсказания и 100-страничный аппендикс). Эта модель модель учитывает больше факторов, чем предыдущая, и вводит несколько ключевых точек развития, достижимость которых оценивается через эти факторы. Спойлер: модель предсказывает, что сроки достижения полной автоматизации программирования будут примерно на 3 года больше, чем в предыдущей модели (AI 2027). В основном это связано с менее оптимистичным взглядом на ускорение исследований в области ИИ на этапе до полной автоматизации. Одним из важных новых факторов является research taste (исследовательское чутьё?), насколько хорошо ИИ умеет выбирать направления исследований и интерпретировать эксперименты. У людей в ведущих лабораториях этот навык очень прокачан — они могут по нескольким экспериментам понять, что работает лучше, что хуже. Саму модель я не успел изучить досконально, и пока ознакомился лишь с кратким пересказом. Развитие делится на 3 этапа, первый из которых прогнозирует появление «Автоматизированного программиста» (AC). Если перенести его в сегодняшний день, он был бы так же производителен сам по себе, как люди-программисты без помощи ИИ. То есть, можно было бы убрать всех людей-программистов из проекта по созданию AGI, и работа шла бы так же быстро, как если бы там были только люди. Для прогнозирования этого авторы опираются на все те же данные METR по длине задач, которые могут решаться автономными агентами, но с некоторыми поправками: — Ресурсы для прогресса ИИ — прежде всего вычислительные мощности, труд по разметке, данные и т.д. — не будут расти такими же темпами вечно, поэтому прогноз нужно слегка занизить. — В то же время сам ИИ будет ускорять развитие за счёт увеличения эффективности труда исследователей — и достаточно спорный тезис: авторы предвидят сверхэкспоненциальный рост длины автономности агентов в силу некоторых причин, однако это не очень влияет на первый этап, пока мы не достигли AC. К сожалению, в кратком пересказе ничего не говорят про корректировку данных METR на зашумлённость текущих оценок, вероятность переобучения на конкретный бенчмарк (хотя я оцениваю её как достаточно низкую), и самое главное, как заметил Сергея Николенко в комментариях пару недель назад — как выглядит разница между горизонтом выполнения задачи 5 и 10 лет? Какие задачи, требующие 10 лет труда людей, не может сделать агент, решающий 5-летки? То есть возможно интуиция оценки горизонтов автономности не будет иметь смысла после какого-то порога. Этап 2 предсказывает, как быстро мы перейдем от AC к Сверхчеловеческому ИИ-исследователю (SAR) — ИИ, чье исследовательское чутье соответствует уровню лучшего исследователя-человека. Этап 3 — это саморазвитие ИИ с нулевым вкладом человека, оно совсем за облаками пока. Пара цитат от Daniel Kokotajlo, соавтора работы: — Меня совершенно не впечатляют разговоры об ограничениях текущей парадигмы. Последние десять лет были, по сути, чередой преодолений одного «хваленого» ограничения за другим; глубокое обучение «уперлось в стену» лишь в том смысле, в каком Годзилла упирался (и пробивал насквозь) во множество стен. — Способность учиться у целого парка развернутых агентов может компенсировать неэффективность использования данных, а способность управлять файловыми системами в огромных контекстных окнах и регулярно обновлять веса модели может компенсировать отсутствие непрерывного обучения. — [думаю, что будет] в общем, та же последовательность событий, что описана в AI 2027, только, может быть, она займет на год или два больше времени, и с различными другими мелкими отличиями (например, я не ожидаю, что у какой-то одной компании будет такой большой отрыв, как у OpenBrain) — беспокоюсь, что к 2027 году METR, по сути, перестанет измерять длину горизонтов планирования, и это пугает, потому что тогда мы, возможно, не сможем сказать: ускоряется ли развитие до супер-экспоненциального или продолжает расти устойчивым экспоненциальными темпами.