Любопытная работа про основанные на биологии нейромодели от корифеев области. Когда ж в редактор телеги доедет поддержка латеха? Издевательство какое-то. Кому хочется видеть формулы, читайте по ссылке на сабстеке, там норм. Toward a Mechanistic Understanding of Inference in Visual Cortex and Diffusion Models __Zeyu Yun, Alexander Belsten, Dasheng Bi, Zahra Kadkhodaie, Yubei Chen, Bruno A. Olshausen__ Paper: https://arxiv.org/abs/2607.15693 Review: https://arxiviq.substack.com/p/toward-a-mechanistic-understanding Code: N/A Model: N/A # TL;DR ЧТО сделали: Авторы предложили фреймворк нефакториального разреженного кодирования (non-factorial sparse coding), который выступает в роли математически прозрачной и минималистичной диффузионной модели. Расширив классическое разреженное кодирование за счёт матрицы парных взаимодействий латентов `M` и оптимизируя рекуррентную динамику инференса через Denoising Score Matching и теорему о неявной функции (Implicit Function Theorem), модель достигла генеративного качества на уровне U-Net, сохранив возможность точного аналитического разложения якобиана обесшумливания. ПОЧЕМУ это важно: Работа связывает нейробиологию зрения и глубокое генеративное моделирование. Авторы показывают, что рекуррентная динамика первичной зрительной коры (V1) и искусственные диффузионные модели решают одну и ту же геометрическую задачу оценки плотности распределения. Это даёт интерпретируемый инструмент для обратного инжиниринга того, как нейронные цепи строят адаптивные представления, достраивают контуры и обеспечивают глобальную семантическую согласованность. Для практиков: Модель доказывает, что интерпретируемые рекуррентные архитектуры из первых принципов способны соревноваться со сложными нейросетями прямого распространения (black-box U-Net), открывая путь к созданию полностью прозрачных и контролируемых генеративных систем без потери качества. Строить нейробиологичные модели тут: https://t.me/gonzo_ML_podcasts/4765
Любопытная работа про основанные на биологии нейромодели от корифеев области.…
Из этого канала
- #5881Свежее интервью с Маском. Любопытно.…
Свежее интервью с Маском. Любопытно. https://youtu.be/XuoqKYxDHVc?si=TwxHL2JakvqJ-IP
- #5882Вау! Это то, чего я не ожидал. Джефф Дин ушёл из Гугла в свой стартап Discovery…
Вау! Это то, чего я не ожидал. Джефф Дин ушёл из Гугла в свой стартап Discovery Loop https://www.wired.com/story/jeff-dean-google-discovery-loop-startup/
- #5883И Хассабис переходит на новую роль и сдаёт управление GDM.…
И Хассабис переходит на новую роль и сдаёт управление GDM. https://blog.google/company-news/inside-google/message-ceo/next-chapter-ai-momentum/ Что-то…
- #5867Снова про эмерджентность (https://t.me/gonzoML/1031). В работе прослеживают её…
Снова про эмерджентность (https://t.me/gonzoML/1031). В работе прослеживают её до обнаружения паттернов разреженной маршрутизации внимания для конкретных…
- #5858Прикольный метод улучшения генеративных моделей, которым надо работать с…
Прикольный метод улучшения генеративных моделей, которым надо работать с много-модальными распределениями (где много мод, а не модальностей).