Извинити. Не знаю автора )

Про скейлинг PEFT/LoRA на миллионы пользователей гигантских моделей. On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters Mind Lab:…

Продолжающиеся поиски бэкпропа в мозге не увенчиваются успехом. Там что-то другое.

Выкидываем лишние матрицы из трансформеров. Вот, слили K и V. Вообще мне кажется, что-то такое уже было...

"Прикольная работа про то, как выжать больше из ограниченных имеющихся данных и неограниченного компьюта.

Ян и Рэндал продолжают копать свои темы про JEPA и доказали интересную штуку про латенты такой модели — они с точностью до поворота восстанавливают истинные…