сегодня тесты и пока продумываю документацию SFT вроде пашет тюн. pretrain тоже работает надо опять в грпо погрузиться и погонять прям. и unsloth перепроверить)
сегодня тесты и пока продумываю документацию SFT вроде пашет тюн. pretrain тоже…
0 viewsОткрыть в Telegram →
Из этого канала
- #5810Кста, из прикольного! У нас же внутри даже лежит секретная страничка про…
Кста, из прикольного! У нас же внутри даже лежит секретная страничка про обычный RL) и там альфазеро в шашки играет ну точнее играл...
- #5811открываешь страницу. а там рл в шашки играет
открываешь страницу. а там рл в шашки играет
- #5813допустим можно 600м модельку с 16к контекстом на 2х3090 поставить в претрен в…
допустим можно 600м модельку с 16к контекстом на 2х3090 поставить в претрен в ds zero 3 + cpu offload на 8гб данных fineweb2 (ну это супермало, но для примеру)…
- #5808я сегодня-завтра, что нибудь на обучение поставлю и отпишу)
я сегодня-завтра, что нибудь на обучение поставлю и отпишу)
- #5806оптимизация работает🥳
оптимизация работает🥳