Зачётная работа про inductive biases для физики. From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers __Ziming Liu, Sophia Sanborn, Surya Ganguli, Andreas Tolias__ Статья: https://arxiv.org/abs/2602.06923 Ревью: https://arxiviq.substack.com/p/from-kepler-to-newton-inductive-biases Код: https://github.com/KindXiaoming/newton-kepler # TL;DR ЧТО сделали: Разобрались, почему стандартные трансформеры не могут выучить ньютоновскую механику на данных планетных орбит (проблема, поднятая в Vafa et al., 2025, https://arxiv.org/abs/2507.06952). Авторы предложили внедрить три критически важных inductive bias: Пространственную гладкость, Пространственную стабильность (через шум) и Временную локальность (через ограничение окна). Это заставляет модель отказаться от простой подгонки кривых (стратегия Кеплера) в пользу открытия локальных причинно-следственных сил (стратегия Ньютона). ПОЧЕМУ это важно: Работа механистически объясняет, почему большие модели могут давать точные предсказания, но при этом совершенно не понимать физических законов. Показан управляемый фазовый переход между «запоминанием геометрии» и «пониманием динамики». Это намекает на то, что для научного открытия с помощью ИИ нам нужно архитектурно ограничивать его, заставляя искать локальные инвариантные правила, а не глобальные исторические паттерны. Подробнее: https://t.me/gonzo_ML_podcasts/2386