"Лекун и ко разошлись с публикациями вокруг JEPA-мира. Текущая движуха похожа на движуху вокруг SSM, когда авторы предлагают всё более обобщённые и улучшенные решения. В этот раз LpJEPA, создающая разреженные представления, что полезно для биологии. LpJEPA — это обобщение и улучшение недавней LeJEPA. Rectified LpJEPA: Joint-Embedding Predictive Architectures with Sparse and Maximum-Entropy Representations __Yilun Kuang, Yash Dagade, Tim G. J. Rudner, Randall Balestriero, Yann LeCun__ Статья: https://arxiv.org/abs/2602.01456 Код: https://github.com/YilunKuang/rectified-lp-jepa Ревью: https://arxiviq.substack.com/p/rectified-lpjepa-joint-embedding # TL;DR ЧТО сделали: Авторы представили Rectified LpJEPA — фреймворк для self-supervised learning, который принудительно внедряет разреженность и неотрицательность в латентные представления. Предложен метод регуляризации RDMReg (Rectified Distribution Matching Regularization), выравнивающий распределения фичей с целевым ""выпрямленным"" обобщённым гауссовским распределением (RGG) через sliced two-sample matching лосс. ПОЧЕМУ это важно: Предыдущие SOTA методы (вроде LeJEPA) решали проблему коллапса, стягивая фичи к изотропным гауссианам, что создавало фундаментально плотные (dense) представления. Эта работа доказывает, что можно сохранить свойства максимальной энтропии, добавив контролируемую разреженность (L0-норму) через ректификацию. Это наводит мосты между биологической эффективностью (sparse coding) и масштабируемостью современных архитектур типа JEPA. Подробнее: https://t.me/gonzo_ML_podcasts/2406"