Адаптировали локальный алгоритм обучения Forward-Forward от Хинтона к свёрточным сетям. Не скажу, что сама идея вплетать метку в исходные данные меня зажигает, мне кажется это далеко от реальности и скорее всё равно должен быть какой-то сигнал сверху, пусть и без бэкпропа. Но всё равно интересный движ. Training convolutional neural networks with the Forward–Forward Algorithm __Riccardo Scodellaro, Ajinkya Kulkarni, Frauke Alves, Matthias Schröter__ Статья: https://www.nature.com/articles/s41598-025-26235-2 Код: https://doi.org/10.5281/zenodo.11571949 (но его там нет) Ревью: https://arxiviq.substack.com/p/training-convolutional-neural-networks # TL;DR ЧТО сделали: Авторы успешно адаптировали алгоритм Forward-Forward (FF) Джеффри Хинтона, изначально созданный для полносвязных сетей, под свёрточные нейросети (CNN). Главная фишка — «пространственно-распределённая разметка» (spatially-extended labeling). Идея в том, чтобы «впекать» информацию о классе прямо в изображение (через частотные узоры или деформации), позволяя локальным фильтрам видеть метку в любой точке картинки. ПОЧЕМУ это важно: Это решает главную архитектурную проблему обучения без обратного распространения ошибки. Классический FF кодирует метку локально (например, one-hot пиксели в углу), что ломается в CNN, где веса общие, а рецептивные поля локальны. Работа доказывает, что CNN могут обучаться через максимизацию локальной метрики goodness даже на сложных данных, что открывает дорогу к энергоэффективному обучению на нейроморфном железе. Подробнее: https://t.me/gonzo_ML_podcasts/1952
Адаптировали локальный алгоритм обучения Forward-Forward от Хинтона к…
Из этого канала
- #4518"Ай молодец, хорошо нагаллюцинировал! ""Работа даёт теоретический пинок…
"Ай молодец, хорошо нагаллюцинировал! ""Работа даёт теоретический пинок любителям «инженерного шаманизма».
- #4522Заменяем тензорный лифтинг на геометрические методы. Очередной заход на замену…
Заменяем тензорный лифтинг на геометрические методы. Очередной заход на замену квадратичного внимания на линейное не-внимание.
- #4525Продолжение темы про эволюцию кода. Теперь Sakana опубликовала работу на базе…
Продолжение темы про эволюцию кода. Теперь Sakana опубликовала работу на базе старого доброго Redcode. https://pub.sakana.ai/drq/
- #4512⚡️ Интересное железо Будут интересные применения non-conventional hardware типа…
⚡️ Интересное железо Будут интересные применения non-conventional hardware типа термодинамических компьютеров.
- #4511#2026+ Про прошедший год написал, дайте теперь помечтаю про будущее.…
#2026+ Про прошедший год написал, дайте теперь помечтаю про будущее. Краткосрочное, на ближайший год или чуть дальше.