"Обычно борются с катастрофическим забыванием, а иногда надо бороться с катастрофическим забронзовением. Интересный новый метод реинициализации весов для continual learning. FIRE: Frobenius-Isometry Reinitialization for Balancing the Stability–Plasticity Tradeoff __Isaac Han, Sangyeon Park, Seungwon Oh, Donghu Kim, Hojoon Lee, Kyung-Joong Kim__ Статья: https://arxiv.org/abs/2602.08040 Ревью: https://arxiviq.substack.com/p/fire-frobenius-isometry-reinitialization Код: https://isaac7778.github.io/fire/ # TL;DR ЧТО сделали: Авторы предложили метод FIRE (Frobenius-Isometry REinitialization), который превращает эвристический сброс весов в строгую задачу оптимизации. Вместо добавления шума ""на глаз"", FIRE проецирует веса на ортогональное многообразие. Это максимизирует пластичность (способность учиться), минимизируя при этом расстояние Фробениуса до старых весов для сохранения стабильности (памяти). Проекция выполняется через эффективную итерацию Ньютона-Шульца. ПОЧЕМУ это важно: Нейросети теряют способность к обучению (пластичность) со временем, особенно в нестационарных средах, таких как RL или непрерывное предобучение. Текущие методы типа Shrink and Perturb требуют ручного подбора гиперпараметров, чтобы угадать нужное количество шума. FIRE убирает это гадание, предлагая теоретически обоснованный механизм без тюнинга, который эффективно оживляет ""спящие"" нейроны и улучшает адаптацию в зрении, LLM и RL. Подробнее: https://t.me/gonzo_ML_podcasts/2417"