Google DeepMind заплатит от 10 до 25 тысяч долларов тому, кто придумает лучший бенчмарк для AGI В 2026 году мы все еще не понимаем, как оценить, насколько модель близка к AGI. Google считают, что это большая проблема, и они правы. Без нормального эвала не будет прогресса. Именно из-за однобоких бенчмарков в моделях сейчас развивается то, что Хассабис называет jagged intelligence (рваный интеллект): в одном модель супер умная (например, код), в другом – супер тупая. Короче, Google предлагают идею когнитивной таксономии, то есть разбиения интеллекта на базовые способности: память, обучаемость, планирование, социальное мышление и тд. Это все позаимствовано из психологии и нейронауки. Они запустили соревнование на Kaggle, в рамках которого нужно придумать, как измерять каждую из таких способностей (выбрали пять основных: обучаемость, метакогнитивность, внимание, исполнительные функции, социальная когнитивность). Победителей будут выбирать по тому, насколько валидный, научно обоснованный, практически применимый и устойчивый к читингу бенчмарк вы предложите. Двум победителям в каждом треке платят по 10к долларов, плюс 25к долларов получат четыре лучших бенчмарка среди всех сабмитов. Будем следить www.kaggle.com/competitions/kaggle-measuring-agi