Продолжающиеся поиски бэкпропа в мозге не увенчиваются успехом. Там что-то другое. Misalignment Between Backpropagation and the Hierarchy of Brain Responses to Images __Joséphine Raugel, Maximilian Seitzer, Marc Szafraniec, Huy V. Vo, Jérémy Rapin, Patrick Labatut, Piotr Bojanowski, Valentin Wyart, Jean-Remi King__ Paper: https://arxiv.org/abs/2605.28693 Review: https://arxiviq.substack.com/p/misalignment-between-backpropagation Code: N/A Model: N/A # TL;DR Что сделали: Исследователи сопоставили сигналы прямой обработки и сигналы обучения (градиенты) современных зрительных нейросетей с высокоточными снимками активности мозга человека (фМРТ и МЭГ). Цель исследования — проверить, использует ли мозг биологический аналог алгоритма обратного распространения ошибки (backpropagation) для обучения. Почему это важно: Хотя искусственные нейросети и человеческий мозг формируют очень похожие внутренние представления при распознавании изображений, сам процесс обучения у них, как выяснилось, устроен совершенно по-разному. Это указывает на то, что мозг опирается на иные, возможно, куда более эффективные механизмы обучения, которые искусственному интеллекту ещё только предстоит освоить. Искать бэкпроп здесь: https://t.me/gonzo_ML_podcasts/3936
Продолжающиеся поиски бэкпропа в мозге не увенчиваются успехом. Там что-то…
Из этого канала
- #5507Выкидываем лишние матрицы из трансформеров. Вот, слили K и V. Вообще мне…
Выкидываем лишние матрицы из трансформеров. Вот, слили K и V. Вообще мне кажется, что-то такое уже было...
- #5511Латентный ризонинг такой латентный ризонинг... Как выясняется, нету там…
Латентный ризонинг такой латентный ризонинг... Как выясняется, нету там параллельного продумывания разных путей, модель всё равно шорткатит.
- #5517Мюоныча разбирают. Показали, что для разных слоёв надо использовать разное…
Мюоныча разбирают. Показали, что для разных слоёв надо использовать разное число итераций Ньютона-Шульца.
- #5498Про скейлинг PEFT/LoRA на миллионы пользователей гигантских моделей. On the…
Про скейлинг PEFT/LoRA на миллионы пользователей гигантских моделей. On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters Mind Lab:…
- #5497Извинити. Не знаю автора )
Извинити. Не знаю автора )