Index-Addressing убивает полностью, Needle-in-a-Haystack решит, но алгоритмические задачи, вроде сортировки - провалит полностью Т.е, оно справедливо только для естественного языка, без математики и алгоритмов
Index-Addressing убивает полностью, Needle-in-a-Haystack решит, но…
0 viewsОткрыть в Telegram →
Из этого канала
- #5598хз ну вроде каеф. грпо на фулле qwen 2.5 1.5b (без лоры) на 2x3090 в bf16 с 2к…
хз ну вроде каеф. грпо на фулле qwen 2.5 1.5b (без лоры) на 2x3090 в bf16 с 2к контекстом на gsm8k дальше надо тестить лоры, fp16 и вот это все.
- #5600тут можно смотреть что именно написала ллмка в конкретной группе (на 1 промт 8…
тут можно смотреть что именно написала ллмка в конкретной группе (на 1 промт 8 ответов) и какой ревард получила оно раскрывается по кнопочке если что) можно и…
- #5601это все на странице мониторинга будет. Вверху слева полный промт, справа…
это все на странице мониторинга будет. Вверху слева полный промт, справа эталонный ответ, внизу варианты
- #5596Extending the Context of Pretrained LLMs by Dropping their Positional…
Extending the Context of Pretrained LLMs by Dropping their Positional Embeddings https://pub.sakana.ai/DroPE/ https://arxiv.org/abs/2512.12167…
- #5595Такс, ну грпо улучшается наконец дотащил flash-attention еще есть работа по…
Такс, ну грпо улучшается наконец дотащил flash-attention еще есть работа по интерфейсу + перетестить надо будет претрен и sft вообще мб сразу попробую…