Прикольная работа в общем. Просится распространение на трансформер и механизм внимания. В работе только к блокам projection применяли.
Прикольная работа в общем. Просится распространение на трансформер и механизм…
Из этого канала
- #3944Прикольный доклад сегодня на AGI-25. В контексте свежих речей Самы про то, что…
Прикольный доклад сегодня на AGI-25. В контексте свежих речей Самы про то, что AGI уже плохой концепт.
- #3945Кстати, прям щас начался кейноут Йоши Баха…
Кстати, прям щас начался кейноут Йоши Баха https://www.youtube.com/live/fdftA37yZJw?si=KDamycsVMbu7qjax
- #3946Давайте я вам ещё чего-нибудь прекрасного субботнего дам. Вот например Gerard…
Давайте я вам ещё чего-нибудь прекрасного субботнего дам. Вот например Gerard 't Hooft, лауреат Нобелевской премии и Breakthrough Prize.
- #3933 Tversky Projection Layer, аналог полносвязного слоя. Нелинейная проекция…
Tversky Projection Layer, аналог полносвязного слоя. Нелинейная проекция вектора a∈R^d, вычисляющая похожесть входа a на каждый из p прототипов, каждый их…
- #3932Tversky Neural Networks: Psychologically Plausible Deep Learning with…
Tversky Neural Networks: Psychologically Plausible Deep Learning with Differentiable Tversky Similarity Moussa Koulako Bala Doumbouya, Dan Jurafsky,…