Прунинг через функциональный анализ. Выглядит красиво. Hilbert Operator for Progressive Encoding (HOPE): A Mathematical Framework for Deconstructing Learned Representations in Deep Networks __Hossein Mobahi, Peter L. Bartlett__ Статья: https://arxiv.org/abs/2607.21366 Ревью: https://arxiviq.substack.com/p/hilbert-operator-for-progressive Код: N/A Модель: N/A # TL;DR Что сделали: Авторы предложили HOPE — математический подход, который позволяет анализировать и сжимать нейросети, переводя их из дискретных списков чисел (весов) в непрерывные математические функции. Объединив этот взгляд со статистикой самой модели, алгоритм научился прореживать, объединять и удалять целые слои без единого ~~разрыва~~ прогона реальных данных. Почему это важно: Обычно модели сжимают или изучают, опираясь либо на величину параметров (что бывает математически обманчиво), либо на прогоны реальных данных (что дорого и не всегда безопасно для приватности). Переход строго в «пространство функций» даёт чёткий, автоматизированный способ уменьшать модели и защищать их базовые знания при обучении новым задачам. Функционально прунить тут: https://t.me/gonzo_ML_podcasts/4606
Прунинг через функциональный анализ. Выглядит красиво. Hilbert Operator for…
Из этого канала
- #581250 оттенков continual learning'а. When Does Continual Learning Require Learning…
50 оттенков continual learning'а. When Does Continual Learning Require Learning Anne Harrington, Nayan Saxena, Michael Murphy, Anastasia Borovykh, Zeyu Yun,…
- #5816Just in case, сегодня начинается конфа AGI-26, есть стримы онлайн.…
Just in case, сегодня начинается конфа AGI-26, есть стримы онлайн. https://agi-conference.org/schedule
- #5817Ещё про Continual learning, теперь про важность стратегического забывания. To…
Ещё про Continual learning, теперь про важность стратегического забывания. To Retain or to Adapt? Generalizing Continual Learning Giulia Lanzillotta, Mandana…
- #5798"Ну и чего-нибудь более классического для тех, кому про жызнь менее интересно.…
"Ну и чего-нибудь более классического для тех, кому про жызнь менее интересно. Новости зацикленных трансформеров, модель примерно продакшн уровня.
- #5793Субботнее про жызнь. Мы тут в чате недавно касались определения жизни, да и…
Субботнее про жызнь. Мы тут в чате недавно касались определения жизни, да и вообще эти темы часто всплывают (1, 2, 3, 4, 5, 6, 7), если смотреть чуть дальше…