Да, у меня там есть модельки натюненные как раз на этих сетах Вот для мелкой не уверен, я тюнил 8B+
Да, у меня там есть модельки натюненные как раз на этих сетах Вот для мелкой не…
0 viewsОткрыть в Telegram →
Из этого канала
- #5766Ты же можешь трейсы-то не брать, а просто вопрос/ответ для grpo Натюнить cold…
Ты же можешь трейсы-то не брать, а просто вопрос/ответ для grpo Натюнить cold start на каких-то более мелких трейсах и завести grpo дальше У тебя 8192 не…
- #5767грпо организовать не вопрос. вопрос чтобы она реально что-то выучила я думаю…
грпо организовать не вопрос. вопрос чтобы она реально что-то выучила я думаю влезет qlora ну или с анслотом.
- #5768Так-то да Но от таких маленьких моделей вообще ожидать хорошего ризонинга почти…
Так-то да Но от таких маленьких моделей вообще ожидать хорошего ризонинга почти нельзя) Можно брать те, у которых в претрейне были трейсы, тогда есть шанс, что…
- #5764кстати ты пробовал что-нибудь на этих сетах тюнить? там вроде довольно длинные…
кстати ты пробовал что-нибудь на этих сетах тюнить? там вроде довольно длинные цепочки для мелкой 1.5b вначале надо sft поделать а потом уже грпо)
- #5763https://github.com/WindyLab/LLM-RL-Papers
https://github.com/WindyLab/LLM-RL-Papers