грпо организовать не вопрос. вопрос чтобы она реально что-то выучила я думаю влезет qlora ну или с анслотом. но тут дело в том что у нее мозгов-то своих не хватит на реальныф ризонинг кмк ей нужен изначально какой-нибудь хороший претюн замутить 1.5b qwen 2.5 она ж тупая
грпо организовать не вопрос. вопрос чтобы она реально что-то выучила я думаю…
0 viewsОткрыть в Telegram →
Из этого канала
- #5768Так-то да Но от таких маленьких моделей вообще ожидать хорошего ризонинга почти…
Так-то да Но от таких маленьких моделей вообще ожидать хорошего ризонинга почти нельзя) Можно брать те, у которых в претрейне были трейсы, тогда есть шанс, что…
- #5769а 8б у тебя чему-нить научилась? ну всм решать реально смогла?
а 8б у тебя чему-нить научилась? ну всм решать реально смогла?
- #5770Ага, более-менее научилась У меня был бенч свой, там задач 30 всего, чисто на…
Ага, более-менее научилась У меня был бенч свой, там задач 30 всего, чисто на такие тесты Вот прогресс был
- #5766Ты же можешь трейсы-то не брать, а просто вопрос/ответ для grpo Натюнить cold…
Ты же можешь трейсы-то не брать, а просто вопрос/ответ для grpo Натюнить cold start на каких-то более мелких трейсах и завести grpo дальше У тебя 8192 не…
- #5765Да, у меня там есть модельки натюненные как раз на этих сетах Вот для мелкой не…
Да, у меня там есть модельки натюненные как раз на этих сетах Вот для мелкой не уверен, я тюнил 8B+