открываешь страницу. а там рл в шашки играет
открываешь страницу. а там рл в шашки играет
0 viewsОткрыть в Telegram →
Из этого канала
- #5813допустим можно 600м модельку с 16к контекстом на 2х3090 поставить в претрен в…
допустим можно 600м модельку с 16к контекстом на 2х3090 поставить в претрен в ds zero 3 + cpu offload на 8гб данных fineweb2 (ну это супермало, но для примеру)…
- #5814Пока тесчу понял что надо конфиги моделек скорректировать немного + добавил мое…
Пока тесчу понял что надо конфиги моделек скорректировать немного + добавил мое посмотрим как тюниться будет
- #5815https://github.com/databricks/megablocks
https://github.com/databricks/megablocks
- #5810Кста, из прикольного! У нас же внутри даже лежит секретная страничка про…
Кста, из прикольного! У нас же внутри даже лежит секретная страничка про обычный RL) и там альфазеро в шашки играет ну точнее играл...
- #5809сегодня тесты и пока продумываю документацию SFT вроде пашет тюн. pretrain тоже…
сегодня тесты и пока продумываю документацию SFT вроде пашет тюн. pretrain тоже работает надо опять в грпо погрузиться и погонять прям. и unsloth перепроверить)