Такс, ну грпо улучшается наконец дотащил flash-attention еще есть работа по интерфейсу + перетестить надо будет претрен и sft вообще мб сразу попробую подпихнуть https://github.com/linkedin/Liger-Kernel
Такс, ну грпо улучшается наконец дотащил flash-attention еще есть работа по…
0 viewsОткрыть в Telegram →
Из этого канала
- #5596Extending the Context of Pretrained LLMs by Dropping their Positional…
Extending the Context of Pretrained LLMs by Dropping their Positional Embeddings https://pub.sakana.ai/DroPE/ https://arxiv.org/abs/2512.12167…
- #5597Index-Addressing убивает полностью, Needle-in-a-Haystack решит, но…
Index-Addressing убивает полностью, Needle-in-a-Haystack решит, но алгоритмические задачи, вроде сортировки - провалит полностью Т.е, оно справедливо только…
- #5598хз ну вроде каеф. грпо на фулле qwen 2.5 1.5b (без лоры) на 2x3090 в bf16 с 2к…
хз ну вроде каеф. грпо на фулле qwen 2.5 1.5b (без лоры) на 2x3090 в bf16 с 2к контекстом на gsm8k дальше надо тестить лоры, fp16 и вот это все.
- #5594https://github.com/teorth/erdosproblems/wiki/AI-contributions-to-Erd%C5%91s-prob…
https://github.com/teorth/erdosproblems/wiki/AI-contributions-to-Erd%C5%91s-problems
- #5584ребят, грпо пошел жестко не по плану
ребят, грпо пошел жестко не по плану