"Дико интересная статья про пространство смыслов, которое не зависит от конкретного языка. Самое захватывающее в том, что его нашли и у кожаных в мозгу и у LLM в ""средних слоях"". Итак, исследование показывает, что, несмотря на различия в языках (звуки, алфавиты, синтаксис), их смысловые представления в мозге схожи и могут быть смоделированы нейросетевыми языковыми моделями (LLMs). И человеческий мозг, и LLMs создают сходное ""пространство концепций"", объединяющее разные языки. Использовались данные fMRI людей, слушавших одну и ту же историю («Маленький принц») на английском, китайском и французском языках. Применялись воксельные модели кодирования, связывающие эмбеддинги слов из BERT и Whisper с активностью мозга. Сравнивались одноязычные модели (uBERT) и многоязычная модель (mBERT), а также мультимодальная модель (Whisper). Результаты Сходство представлений: Даже одноязычные модели BERT формируют сходные концептуальные пространства, особенно в средних слоях. Мозговая активность в зонах, отвечающих за понимание, схожа у всех разно-язычных групп людей Кросс-языковая генерализация: Модели, обученные предсказывать активность мозга для одного языка, могут предсказывать активность для других языков, если история одинакова по смыслу. Речь и текст: Whisper выявляет общие фонетические и акустические паттерны между разными языками, которые также отражаются в активности мозга. Итого: Смысловое восприятие в мозге не зависит от формы языка. Как мозг, так и LLMs кодируют концепции в высокоразмерном пространстве (область смыслов\концепций?), где смысловые структуры совпадают для разных языков, иначе говоря, нейронные репрезентации смысла, лежащие в основе разных языков, являются общими для носителей разных языков, и что языковые модели, обученные на разных языках, сходятся на этом общем значении Общие концептуальные представления формируются благодаря взаимодействию людей с окружающим миром, а не только особенностям языка. Тут интересно поразмышлять, в каком пространстве мы мыслим - ближе к языку или к вот этим вот скрытым смыслам? https://paperswithcode.com/paper/brains-and-language-models-converge-on-a @cgevent"