Интересное копание внутри сетей. Мозг и трансформеры: анатомия синергетического ядра LLM A Brain-like Synergistic Core in LLMs Drives Behaviour and Learning __Pedro Urbina-Rodriguez, Zafeirios Fountas, Fernando E. Rosas, Jun Wang, Andrea I. Luppi, Haitham Bou-Ammar, Murray Shanahan, Pedro A. M. Mediano__ Статья: https://arxiv.org/abs/2601.06851 Ревью: https://arxiviq.substack.com/p/a-brain-like-synergistic-core-in Код: https://github.com/Imperial-MIND-lab/integrated-info-decomp # TL;DR ЧТО сделали: Авторы применили метод декомпозиции интегрированной информации (`ΦID`) для анализа потоков данных внутри LLM, рассматривая головы внимания и экспертов как узлы обработки. Обнаружили, что в средних слоях моделей спонтанно формируется «синергетическое ядро» — зона, где интеграция информации превышает сумму её частей, тогда как ранние и поздние слои остаются преимущественно избыточными (redundant). ПОЧЕМУ это важно: Такая топология зеркально отражает структуру человеческого мозга с его «синергетическим ядром», намекая на общие эволюционные принципы биологического и искусственного интеллекта. Практическая ценность: применение RL-файнтюнинга (RLFT) прицельно к этому ядру даёт значительно больший прирост в задачах на рассуждение (MATH benchmark), чем обучение всего подряд, что открывает путь к эффективному сжатию и тренировке моделей. Подробнее: https://t.me/gonzo_ML_podcasts/2159