Или есть там всё-таки этот бэкпроп... This is how the Neocortex Learns __Randall C. O'Reilly__ Paper: https://compcogneuro.org/oreilly-2026-cortlearn (https://arxiv.org/abs/2606.08720) Review: https://arxiviq.substack.com/p/this-is-how-the-neocortex-learns Code: N/A Model: N/A # TL;DR ЧТО сделали: Автор представил масштабный междисциплинарный теоретический синтез, доказывающий, что неокортекс млекопитающих обучается путём аппроксимации алгоритма обратного распространения ошибки. Эта аппроксимация реализуется через «модель временной производной» (temporal derivative model): градиенты ошибок неявно кодируются как разность между последовательными состояниями активации предсказания и результата в рамках 200-миллисекундного тета-цикла. Биологически модель опирается на двунаправленные кортикоталамические петли, а на субклеточном уровне — на конкурентную синаптическую пластичность под управлением киназ. ПОЧЕМУ это важно: Эта работа разрешает давний, длившийся десятилетиями спор о биологической правдоподобности глубокого распределения ответственности (credit assignment) в мозге. Показывая, как неокортекс может неявно выполнять градиентный спуск без выделенных «нейронов ошибок» или физически невозможных обратных связей, предложенный фреймворк даёт единую теорию обучения млекопитающих. Для практиков: Работа предлагает чёткий чертёж для проектирования энергоэффективных аппаратных правил обучения на чипе и нейроморфных архитектур, способных масштабироваться подобно глубоким нейросетям. Искать бэкпроп здесь: https://t.me/gonzo_ML_podcasts/4031
Или есть там всё-таки этот бэкпроп... This is how the Neocortex Learns Randall…
Из этого канала
- #5571Сложно поспорить
Сложно поспорить
- #5572Есть ещё герои, не забросившие старые добрые RNN. Очень прикольный заход на…
Есть ещё герои, не забросившие старые добрые RNN. Очень прикольный заход на параллелизацию обучения нелинейных RNN (с линейными всё и так хорошо благодаря…
- #5579MiniMax-M3 и его разреженное внимание. MiniMax Sparse Attention Xunhao Lai,…
MiniMax-M3 и его разреженное внимание. MiniMax Sparse Attention Xunhao Lai, Weiqi Xu, Yufeng Yang, Qiaorui Chen, Yang Xu, Lunbin Zeng, Xiaolong Li, Haohai Sun,…
- #5564Но боюсь Макрон забанит скоро...
Но боюсь Макрон забанит скоро...
- #5563Завтра бахну разбор! 😁
Завтра бахну разбор! 😁