Extending the Context of Pretrained LLMs by Dropping their Positional Embeddings https://pub.sakana.ai/DroPE/ https://arxiv.org/abs/2512.12167 https://github.com/SakanaAI/DroPE
Extending the Context of Pretrained LLMs by Dropping their Positional…
0 viewsОткрыть в Telegram →
Из этого канала
- #5597Index-Addressing убивает полностью, Needle-in-a-Haystack решит, но…
Index-Addressing убивает полностью, Needle-in-a-Haystack решит, но алгоритмические задачи, вроде сортировки - провалит полностью Т.е, оно справедливо только…
- #5598хз ну вроде каеф. грпо на фулле qwen 2.5 1.5b (без лоры) на 2x3090 в bf16 с 2к…
хз ну вроде каеф. грпо на фулле qwen 2.5 1.5b (без лоры) на 2x3090 в bf16 с 2к контекстом на gsm8k дальше надо тестить лоры, fp16 и вот это все.
- #5600тут можно смотреть что именно написала ллмка в конкретной группе (на 1 промт 8…
тут можно смотреть что именно написала ллмка в конкретной группе (на 1 промт 8 ответов) и какой ревард получила оно раскрывается по кнопочке если что) можно и…
- #5595Такс, ну грпо улучшается наконец дотащил flash-attention еще есть работа по…
Такс, ну грпо улучшается наконец дотащил flash-attention еще есть работа по интерфейсу + перетестить надо будет претрен и sft вообще мб сразу попробую…
- #5594https://github.com/teorth/erdosproblems/wiki/AI-contributions-to-Erd%C5%91s-prob…
https://github.com/teorth/erdosproblems/wiki/AI-contributions-to-Erd%C5%91s-problems