Джепизация всей планеты продолжается. C-JEPA. На сабстеке завёл отдельную секцию про World Models: https://arxiviq.substack.com/s/world-models/archive?sort=new Causal-JEPA: Learning World Models through Object-Level Latent Interventions __Heejeong Nam, Quentin Le Lidec, Lucas Maes, Yann LeCun, Randall Balestriero__ Статья: https://arxiv.org/abs/2602.11389 Ревью: https://arxiviq.substack.com/p/causal-jepa-learning-world-models Код: https://github.com/galilai-group/cjepa Модель: N/A # TL;DR ЧТО сделали: Авторы представили Causal-JEPA (C-JEPA) — объектно-ориентированную (не в том смысле!) модель мира, которая использует Joint Embedding Predictive Architecture для выучивания динамики взаимодействий. Исследователи сдвинули стандартную парадигму маскирования: вместо пространственных патчей изображений они маскируют целые траектории объектов во времени. Это заставляет двунаправленный трансформер предсказывать пропущенные состояния объекта, логически опираясь на видимые состояния других сущностей и вспомогательные управляющие переменные. ПОЧЕМУ это важно: Объектно-ориентированным моделям мира обычно тяжело даётся выучивание явных взаимодействий. Без жёстких архитектурных ограничений они часто скатываются в предсказание тривиальной собственной динамики (self-dynamics) объектов. C-JEPA решает эту проблему, рассматривая маскирование на уровне объектов как латентное вмешательство. Чтобы минимизировать лосс, модели буквально приходится задействовать реляционные рассуждения. Такой inductive bias даёт примерно 20% абсолютного прироста в задачах контрфактического рассуждения и позволяет реализовать эффективное по данным управление с прогнозирующими моделями (MPC). В итоге C-JEPA достигает паритета с тяжёлыми моделями на основе патчей, расходуя при этом всего около 1% бюджета токенов. Джепать тут: https://t.me/gonzo_ML_podcasts/2565