Archivara нашли более эффективный метод умножения циркулянтных матриц 5×5 (эквивалентно 5-point cyclic convolution) с помощью 5.2 Pro и Opus 4.5. 7 умножений вместо 8. Что это возможно — известно с 1980 (Winograd), но явной конструкции не было. Любопытно, что это не перебор разных разложений (как делал AlphaTensor), а подход со стороны математики. В поле рациональных чисел лучше 8 умножений не получается, здесь перешли в расширенное поле Q(√5). Точные детали AI-системы неизвестны, в статье только про математический результат. Полнится AI-generated research.
Archivara нашли более эффективный метод умножения циркулянтных матриц 5×5…
Из этого канала
- #4567В позиционных эмбеддингах сейчас происходит разная движуха — в частности…
В позиционных эмбеддингах сейчас происходит разная движуха — в частности появилось множество работ, пытающихся решить проблемы популярного RoPE.
- #4571"В продолжение темы про позиционные энкодинги, RoPE и комплексные числа. Теперь…
"В продолжение темы про позиционные энкодинги, RoPE и комплексные числа. Теперь RoPE++.
- #4575"И ещё про позиционные энкодинги. В стиле работ про SSM, последовательно…
"И ещё про позиционные энкодинги. В стиле работ про SSM, последовательно объединяющих разные архитектуры под одним зонтиком, позиционки RoPE и ALiBi наконец-то…
- #4562Любопытная смена подхода для работы с большим контекстом. Не пытаемся съесть…
Любопытная смена подхода для работы с большим контекстом. Не пытаемся съесть целиком, а работаем с ним, вызывая код для внешней обработки, и агрегируем…
- #4558Красивая история про позиционки. Подходы с отсутствием позиционных эмбеддингов…
Красивая история про позиционки. Подходы с отсутствием позиционных эмбеддингов (NoPE) уже были, но они выучиваются неидеально, сходимость таких моделей…