Любопытная работа про генерацию компактных латентов из многомерных картиночных эмбеддингов. One Layer Is Enough: Adapting Pretrained Visual Encoders for Image Generation __Yuan Gao, Chen Chen, Tianrong Chen, Jiatao Gu__ Статья: https://arxiv.org/abs/2512.07829 Ревью: https://arxiviq.substack.com/p/one-layer-is-enough-adapting-pretrained # TL;DR ЧТО сделали: Представили FAE (Feature Auto-Encoder) — фреймворк, сжимающий тяжелые репрезентации из замороженных визуальных моделей (вроде DINOv2 или SigLIP) в компактные латенты для генеративных моделей. Главная фишка: энкодер состоит всего из одного слоя self-attention и линейной проекции, а уникальная стратегия «двойного декодера» восстанавливает сначала фичи, и лишь потом — пиксели. ПОЧЕМУ это важно: Это элегантно решает проблему несовпадения размерностей между фичами «для понимания» (высокоразмерные, избыточные) и «генеративными» латентами (компактные), не требуя костылей в виде сложных лоссов выравнивания. Диффузионные модели с FAE сходятся в 7–13 раз быстрее бейзлайнов и выдают SOTA FID (1.29 на ImageNet 256). Работа доказывает, что для моста между дискриминативными и генеративными парадигмами достаточно минимальной адаптации. Подробнее: https://t.me/gonzo_ML_podcasts/2013
Любопытная работа про генерацию компактных латентов из многомерных картиночных…
Из этого канала
- #4543Перплексия теперь не модно. Эпиплексия модно. Всё на благо ограниченных…
Перплексия теперь не модно. Эпиплексия модно. Всё на благо ограниченных наблюдателей! Epiplexity: Quantifying the Structural Value of Data for Bounded…
- #4546DeepSeek разошёлся. Молодцы. https://github.com/deepseek-ai/Engram
DeepSeek разошёлся. Молодцы. https://github.com/deepseek-ai/Engram
- #4547Не будем тянуть с разбором: Conditional Memory via Scalable Lookup: A New Axis…
Не будем тянуть с разбором: Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models Xin Cheng, Wangding Zeng, Damai Dai, Qinyu…
- #4532Очень интересная работа сразу по множеству параметров. Во-первых, очередной…
Очень интересная работа сразу по множеству параметров. Во-первых, очередной пример AI for Systems, где автомат находит решения лучше человека (в данном случае…
- #4531Если ещё не видели фильм про DeepMind, то он неплохой. Показывает людей за…
Если ещё не видели фильм про DeepMind, то он неплохой. Показывает людей за всеми их достижениями.