"tl;dr по новому интервью Ильи Суцкевера у Дваркеша Пателя. Собрали самые яркие цитаты и мысли: ➖ Эпоха масштабирования моделей закончилась: мы возвращаемся в эпоху рисерча. Просто ""вбухать еще больше компьюта"" уже не работает: чтобы добиться существенного прорыва, нужны новые открытия. ➖ Узкое место текущих моделей – все еще генерализация. Это самое существенное, в чем ИИ отстает от человека, и, как следствие, основное препятствие на пути к AGI. Оценки на бенчах действительно выглядят хорошо и продолжают улучшаться, но это в какой-то степени мираж. Реальное качество отстает, потому что __модели (в частности, во время RL) переобучаются под эвалы, а исследователи только способствуют этому, продолжая плодить однотипные бенчмарки__ и трейнинг лупы. ➖ Илья говорит, что у него есть идеи по поводу того, чего не хватает текущим моделям, но не делится ими, к сожалению. Хотя в интервью были намеки на то, что в SSI разрабатывают методы на основе Continual Learning и динамических reward функций. ➖ AGI может наступить и через 5, и через 20 лет. И когда AGI появится, самый надежный для людей способ не остаться бесполезными и сохранить контроль – слияние с ИИ (Neuralink???). Все еще сильно советуем посмотреть полностью здесь"