Любопытная работа про основанные на биологии нейромодели от корифеев области. Когда ж в редактор телеги доедет поддержка латеха? Издевательство какое-то. Кому хочется видеть формулы, читайте по ссылке на сабстеке, там норм. Toward a Mechanistic Understanding of Inference in Visual Cortex and Diffusion Models __Zeyu Yun, Alexander Belsten, Dasheng Bi, Zahra Kadkhodaie, Yubei Chen, Bruno A. Olshausen__ Paper: https://arxiv.org/abs/2607.15693 Review: https://arxiviq.substack.com/p/toward-a-mechanistic-understanding Code: N/A Model: N/A # TL;DR ЧТО сделали: Авторы предложили фреймворк нефакториального разреженного кодирования (non-factorial sparse coding), который выступает в роли математически прозрачной и минималистичной диффузионной модели. Расширив классическое разреженное кодирование за счёт матрицы парных взаимодействий латентов `M` и оптимизируя рекуррентную динамику инференса через Denoising Score Matching и теорему о неявной функции (Implicit Function Theorem), модель достигла генеративного качества на уровне U-Net, сохранив возможность точного аналитического разложения якобиана обесшумливания. ПОЧЕМУ это важно: Работа связывает нейробиологию зрения и глубокое генеративное моделирование. Авторы показывают, что рекуррентная динамика первичной зрительной коры (V1) и искусственные диффузионные модели решают одну и ту же геометрическую задачу оценки плотности распределения. Это даёт интерпретируемый инструмент для обратного инжиниринга того, как нейронные цепи строят адаптивные представления, достраивают контуры и обеспечивают глобальную семантическую согласованность. Для практиков: Модель доказывает, что интерпретируемые рекуррентные архитектуры из первых принципов способны соревноваться со сложными нейросетями прямого распространения (black-box U-Net), открывая путь к созданию полностью прозрачных и контролируемых генеративных систем без потери качества. Строить нейробиологичные модели тут: https://t.me/gonzo_ML_podcasts/4765
Любопытная работа про основанные на биологии нейромодели от корифеев области.…
Из этого канала
- #5867Снова про эмерджентность (https://t.me/gonzoML/1031). В работе прослеживают её…
Снова про эмерджентность (https://t.me/gonzoML/1031). В работе прослеживают её до обнаружения паттернов разреженной маршрутизации внимания для конкретных…
- #5858Прикольный метод улучшения генеративных моделей, которым надо работать с…
Прикольный метод улучшения генеративных моделей, которым надо работать с много-модальными распределениями (где много мод, а не модальностей).
- #5852Интересное про жизнь и статфизику. Пользуясь случаем, хочу передать привет…
Интересное про жизнь и статфизику. Пользуясь случаем, хочу передать привет Андрею :) Directing Open-Ended Evolution in Artificial Life via Multi-Scale Path…