"Goodfire показали, как геометрически выглядит математика внутри LLM Недавно у них вышло очень занятное исследование, в котором они ввели термин neural geometry и доказали, что нейросети ""думают"" сложными геометрическими структурами. Мы делали разбор этой статьи вот тут: t.me/data_secrets/9194. Если кратко, суть в том, что внутреннее пространство моделей организовано в виде многомерных форм, поверхностей и траекторий. Эти многообразия вполне интерпретируемы. Например, дни недели лежат как бы на круге, в циклической структуре. Сегодня лаба выпустила продолжение исследования: они разобрали, как модель ""представляет"" числа и совершает над ними операции. Можно было бы ожидать, что в геометрии модели числа будут лежать на абстрактной числовой прямой или будут закодированы двоично, НО НЕТ: каждое число – это окружности. Каждая окружность соответствует числу по модулю некоторого основания, то есть остатку от деления. Например, число 17 было бы представлено как 1 на окружности по модулю 2, как 2 на окружности по модулю 5 и как 7 на окружности по модулю 10. И это не что иное, как разложение Фурье! Кто бы мог подумать, что оно обнаружится внутри трансформера. А когда модели нужно что-то посчитать, активируется целый геометрический калькулятор. Например, нужно сложить два числа. Для этого, на самом деле, решается сразу несколько параллельных задач на разных окружностях. Возмем 6 + 8. Модель отдельно считает: (6 mod 2) + (8 mod 2) = 0, (6 mod 5) + (8 mod 5) = 4, (6 mod 10) + (8 mod 10) = 4, и так далее. Все эти результаты вместе декодируются в число 14. Это напоминает китайскую теорему об остатках. Древнейший математический трюк, который оказался встроен в нейросети совершенно автономно. Кстати, точно так же модели вычисляют разницу в датах, годах и днях недели. Красивое 😍"