Подход к оценке прогресса в AGI от DeepMind. С Шейном Леггом в соавторстве. И с Ботвиником, правда он уже в Антропик перешёл. Measuring Progress Toward AGI: A Cognitive Framework __Ryan Burnell, Yumeya Yamamori, Orhan Firat, Kate Olszewska, Steph Hughes-Fitt, Oran Kelly, Isaac R. Galatzer-Levy, Meredith Ringel Morris, Allan Dafoe, Alison M. Snyder, Noah D. Goodman, Matthew Botvinick, and Shane Legg__ Paper: https://arxiv.org/abs/2605.28405 Review: https://arxiviq.substack.com/p/measuring-progress-toward-agi-a-cognitive Code: N/A Model: N/A # TL;DR ЧТО сделали: Авторы разработали научно обоснованный фреймворк для оценки AGI, опирающийся на когнитивную психологию человека. Они разложили общий интеллект на когнитивную таксономию из десяти различных способностей (восемь базовых и две комплексные) и описали трёхэтапный протокол оценки. Это позволяет строить многомерные системные «когнитивные профили» моделей и сопоставлять их с репрезентативными результатами реальных людей. ПОЧЕМУ это важно: Современное тестирование ИИ страдает от загрязнения бенчмарков (data contamination), фокуса на узких академических задачах и субъективных определений интеллекта. Новый фреймворк предлагает перейти от бинарных оценок моделей к непрерывному картированию когнитивных способностей на системном уровне. Это даёт исследователям и регуляторам строгую эмпирическую методологию для выявления уязвимостей в безопасности, отслеживания реального прогресса и выстраивания осознанного регулирования. Для практиков: Для лидеров индустрии и разработчиков эта работа знаменует переход от оценки моделей по статичным академическим тестам к тестированию ИИ как динамических интегрированных систем. Вместо того чтобы объявлять модель «сильным ИИ» на основе одного балла, фреймворк оценивает, насколько хорошо ИИ-система (включая её инструменты и обвязку (scaffolding)) справляется с десятью ключевыми аспектами человеческого познания — такими как планирование, обучение и социальное взаимодействие — по сравнению с репрезентативной выборкой людей. Это позволяет выявлять конкретные поведенческие риски и планировать внедрение на основе эмпирических профилей безопасности, а не спекулятивного хайпа. Изучать рваный фронтир тут: https://t.me/gonzo_ML_podcasts/4151