"Гиппокамп завезли! Вообще мне понравилось. Красиво и просто. К реккурентному состояния Gated DeltaNet добавляем точную память токенов, вызвавших максимальное ""удивление"" в соответствии с дельта-правилом, так что даже считать ничего нового не надо. Осталось теперь иерархию прикрутить. A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets __Wanyun Cui__ Paper: https://arxiv.org/abs/2607.02303 Review: https://arxiviq.substack.com/p/a-hippocampus-for-linear-attention Code: N/A Model: N/A # TL;DR ЧТО сделали: Автор представил Hippocampal Linear Attention (HOLA) — полупараметрическую архитектуру с двухкомпонентной памятью, которая дополняет рекуррентную state-space основу ограниченным по размеру, но точным KV-кэшем. Вместо классического скользящего окна HOLA использует элегантную беспараметрическую метрику «удивления» (surprise) токена, вычисляемую напрямую из остатка обновления дельта-правила. Это позволяет избирательно сохранять наиболее информативные исторические токены. Механизм записи сочетается с обособленным, более резким считыванием из кэша с помощью масштабируемой нормализации, что позволяет реализовать извлечение информации, близкое к argmax, не дестабилизируя при этом рекуррентное состояние. ПОЧЕМУ это важно: Модели линейного внимания требуют всего `O(1)` памяти на этапе инференса, но плохо справляются с точным многошаговым ассоциативным поиском (associative recall) и извлечением из длинного контекста из-за сжатия истории с потерями. HOLA решает эту фундаментальную проблему: снижает перплексию на Wikitext-103 на 16.1% (обходя даже базовые модели с полным вниманием) и уверенно масштабируется до длины контекста в 32k токенов при практически нулевых накладных расходах на параметры и память. Для практиков: HOLA предлагает важный концептуальный сдвиг в области масштабирования длинного контекста. Интегрируя высокоизбирательный эпизодический кэш всего на 64 токена в каждый слой модели Gated DeltaNet (GDN) (https://arxiv.org/abs/2412.06464), авторы закрывают разрыв в качестве между вычислительно дорогой квадратичной сложностью стандартного внимания и эффективными линейными моделями. При этом накладные расходы на параметры ничтожны (<0.004%), а масштабирование по памяти остаётся плоским. Это открывает практический путь к эффективной обработке длинного контекста на edge-устройствах. Гиппокамп тут: https://t.me/gonzo_ML_podcasts/4307"