Ян и Рэндал продолжают копать свои темы про JEPA и доказали интересную штуку про латенты такой модели — они с точностью до поворота восстанавливают истинные латенты мира. И в этом пространстве можно хорошо планировать. В математику пока глубоко не погружался, но выглядит интересно. When Does LeJEPA Learn a World Model? __David Klindt, Yann LeCun, Randall Balestriero__ Paper: https://arxiv.org/abs/2605.26379v1 Code: https://github.com/klindtlab/lejepa-identifiability Review: https://arxiviq.substack.com/p/when-does-lejepa-learn-a-world-model Model: N/A # TL;DR ЧТО сделали: Авторы представляют первое строгое математическое доказательство линейной идентифицируемости для архитектур Joint-Embedding Predictive Architectures (JEPA). Они доказали, что LeJEPA (https://t.me/gonzo_ML/4212) (сочетающая лосс выравнивания с изотропной гауссовской регуляризацией) линейно восстанавливает истинные латентные переменные порождающего мира из сложных нелинейных наблюдений с точностью до ортогонального поворота. Важно, что они определили: в широком классе стационарных сред с аддитивным шумом гауссовское распределение — единственное, которое гарантирует такое точное восстановление. ПОЧЕМУ это важно: В области нелинейного обучения представлениям и обучения без учителя (нелинейный ICA) гауссовское распределение исторически считалось единственным случаем, когда разделение источников (source separation) полностью ломается. Эта работа переворачивает данный нарратив, доказывая, что именно гауссовское распределение позволяет одновременно и стабильно извлекать все латентные размерности в больших масштабах. Более того, авторы доказывают, что такой линейной ортогональной идентифицируемости теоретически достаточно для оптимального планирования прямо в выученном латентном пространстве. Это закладывает строгий теоретический фундамент для создания доказуемо корректных моделей мира в робототехнике и обучении с подкреплением. Для практиков: Результаты показывают, что использование простой гауссовской регуляризации (SIGReg) в моделях типа LeJEPA гарантирует, что выученные фичи не будут случайно запутаны или искажены нелинейностями. Это позволяет использовать стандартные алгоритмы управления (например, Linear-Quadratic Regulator) непосредственно поверх предобученного энкодера без необходимости сложной ручной калибровки. Наличие BatchNorm критично для стабильности: без него более трети запусков глубоких сетей коллапсируют. Поюробности тут: https://t.me/gonzo_ML_podcasts/3891
Ян и Рэндал продолжают копать свои темы про JEPA и доказали интересную штуку…
Из этого канала
- #5479Про важность обвязки (харнеса) и прогрессирующую экстернализацию у LLM агентов.…
Про важность обвязки (харнеса) и прогрессирующую экстернализацию у LLM агентов. Externalization in LLM Agents: A Unified Review of Memory, Skills, Protocols…
- #5475"Новости рекуррентного ризонинга. Теперь нейросимвольный подход с добавлением…
"Новости рекуррентного ризонинга. Теперь нейросимвольный подход с добавлением решёток (Дима Игнатов будет счастлив!).
- #5472Ещё один свежий заход на то, что надо предсказывать латенты (как и в JEPA), а…
Ещё один свежий заход на то, что надо предсказывать латенты (как и в JEPA), а не финальные представления. Тогда ещё и выборочная сложность сильно лучше.