"Графовый LSTM подвезли, gLSTM. Что сделано? В статье пересматривается проблема ""over-squashing"" в графовых нейронных сетях (GNN), разделяя её на два различных режима отказа: низкую чувствительность (сбой распространения сигнала) и насыщение ёмкости хранения (информационное узкое место). Для решения второй проблемы авторы представляют gLSTM — новую архитектуру GNN, вдохновлённую моделью для последовательностей xLSTM. gLSTM дополняет представление каждого узла ассоциативной памятью (матричным скрытым состоянием), чтобы явно увеличить его возможности по хранению и извлечению информации. Они также предлагают новую синтетическую задачу, Neighbor Associative Recall (NAR), специально разработанную для выделения и измерения этого ограничения ёмкости в условиях неглубокого графа, что позволяет избежать мешающих факторов, связанных с глубокими архитектурами. Подробнее: https://t.me/gonzo_ML_podcasts/1170"
"Графовый LSTM подвезли, gLSTM. Что сделано? В статье пересматривается проблема…
Из этого канала
- #4179Когда ты думал, что оно грокнуло, а оно, зараза, переобучилось 😹
Когда ты думал, что оно грокнуло, а оно, зараза, переобучилось 😹
- #4180The Principles of Diffusion Models: From Origins to Advances Chieh-Hsin Lai,…
The Principles of Diffusion Models: From Origins to Advances Chieh-Hsin Lai, Yang Song, Dongjun Kim, Yuki Mitsufuji, Stefano Ermon Статья:…
- #4182Kimi Linear: An Expressive, Efficient Attention Architecture…
Kimi Linear: An Expressive, Efficient Attention Architecture https://arxiv.org/abs/2510.26692 Новинка в линейке Kimi, SSM-Трансформер гибрид с линейным…
- #4175"Продолжается развитие интересной линейки Dreamer, моделей, способных обучаться…
"Продолжается развитие интересной линейки Dreamer, моделей, способных обучаться ""в воображении"", внутри выученной модели мира.
- #4173Не про архиваторы. Binary Retrieval-Augmented Reward, или Binary RAR, — это…
Не про архиваторы. Binary Retrieval-Augmented Reward, или Binary RAR, — это очень простой способ побороть галлюцинации модели, сохранив при этом её…