Кста, из прикольного! У нас же внутри даже лежит секретная страничка про обычный RL) и там альфазеро в шашки играет ну точнее играл... я щас депенды отключил рлные) но попозже когда у нас ллмы будут полностью воркать и мы будем своей работой довольны максимально то это все снова будет развиваться
Кста, из прикольного! У нас же внутри даже лежит секретная страничка про…
0 viewsОткрыть в Telegram →
Из этого канала
- #5811открываешь страницу. а там рл в шашки играет
открываешь страницу. а там рл в шашки играет
- #5813допустим можно 600м модельку с 16к контекстом на 2х3090 поставить в претрен в…
допустим можно 600м модельку с 16к контекстом на 2х3090 поставить в претрен в ds zero 3 + cpu offload на 8гб данных fineweb2 (ну это супермало, но для примеру)…
- #5814Пока тесчу понял что надо конфиги моделек скорректировать немного + добавил мое…
Пока тесчу понял что надо конфиги моделек скорректировать немного + добавил мое посмотрим как тюниться будет
- #5809сегодня тесты и пока продумываю документацию SFT вроде пашет тюн. pretrain тоже…
сегодня тесты и пока продумываю документацию SFT вроде пашет тюн. pretrain тоже работает надо опять в грпо погрузиться и погонять прям. и unsloth перепроверить)
- #5808я сегодня-завтра, что нибудь на обучение поставлю и отпишу)
я сегодня-завтра, что нибудь на обучение поставлю и отпишу)