хз ну вроде каеф. грпо на фулле qwen 2.5 1.5b (без лоры) на 2x3090 в bf16 с 2к контекстом на gsm8k дальше надо тестить лоры, fp16 и вот это все. когда начну подозревать что разные настроечки реально работают, ту запушу в мейн. потом отдельно буду добавлять лигеркернелы про которые выше писал
хз ну вроде каеф. грпо на фулле qwen 2.5 1.5b (без лоры) на 2x3090 в bf16 с 2к…
0 viewsОткрыть в Telegram →
Из этого канала
- #5600тут можно смотреть что именно написала ллмка в конкретной группе (на 1 промт 8…
тут можно смотреть что именно написала ллмка в конкретной группе (на 1 промт 8 ответов) и какой ревард получила оно раскрывается по кнопочке если что) можно и…
- #5601это все на странице мониторинга будет. Вверху слева полный промт, справа…
это все на странице мониторинга будет. Вверху слева полный промт, справа эталонный ответ, внизу варианты
- #5602ну короче я это еще все прорабатываю. но мнекажется, что это хочется видеть…
ну короче я это еще все прорабатываю. но мнекажется, что это хочется видеть когда тюнишь модельку. что она там пишет
- #5597Index-Addressing убивает полностью, Needle-in-a-Haystack решит, но…
Index-Addressing убивает полностью, Needle-in-a-Haystack решит, но алгоритмические задачи, вроде сортировки - провалит полностью Т.е, оно справедливо только…
- #5596Extending the Context of Pretrained LLMs by Dropping their Positional…
Extending the Context of Pretrained LLMs by Dropping their Positional Embeddings https://pub.sakana.ai/DroPE/ https://arxiv.org/abs/2512.12167…