Развитие темы про добавление памяти в различные архитектуры. В работе решают проблему ограниченного размера рекуррентного состояния в SSM-подобных моделях (здесь Gated DeltaNet) через увеличение этой памяти на несколько порядков одновременно с реализацией разреженных чтения и записи в неё. Мне кажется, это в каком-то смысле реимплементация старых добрых Neural Turing Machines (NTM) на новом субстрате. Теперь оно и скейлится неплохо. Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity __Loïc Cabannes, Pierre-Emmanuel Mazaré, Gergely Szilvasy, Matthijs Douze, Maria Lomeli, Ilze Amanda Auzina, Justin Carpentier, Gabriel Synnaeve, Hervé Jégou__ Paper: https://arxiv.org/abs/2607.07386 Review: https://arxiviq.substack.com/p/sparse-delta-memory-scaling-the-state Code: https://github.com/facebookresearch/sparse-delta-memory Model: N/A # TL;DR ЧТО сделали: Авторы представили Sparse Delta Memory (SDM) — новую архитектуру, которая кардинально увеличивает ёмкость рекуррентного состояния гейтированных линейных RNN. Вместо плотных (dense) обновлений матриц здесь используется разреженная схема адресации для чтения и записи. Это позволяет масштабировать скрытое состояние модели на три порядка при строгом сохранении количества FLOP (isoFLOP) и числа параметров на уровне базовых плотных моделей. ПОЧЕМУ это важно: Классические трансформеры отлично справляются с извлечением информации из длинного контекста, но упираются в квадратичный и неограниченный рост KV-кэша. Линейные RNN и модели в пространствах состояний (SSM) требуют фиксированных вычислений на токен, но ограничены в ёмкости состояния, что сильно ухудшает recall. SDM разрешает этот компромисс, обеспечивая неизменную сложность вычислений при инференсе на последовательностях до 1 миллиона токенов и значительно превосходя плотные архитектуры на длинном контексте. Для практиков: SDM позволяет обрабатывать сверхдлинные контексты без раздувания KV-кэша на GPU, сохраняя постоянную скорость декодирования. Модель обучили эффективно благодаря кастомным CUDA-кернелам и оптимизированному бэкпропу, который сжимает пиковую память состояния с 226 ГБ до всего 8 ГБ без потери качества. Добавлять большую память тут: https://t.me/gonzo_ML_podcasts/4472