щас очень много тестов. Надо тестить continual pretraining,лоры и прочее Оч много чего добавляю. Ну и чтобы была возможность дотюнивать любые модели Пока в отдельных ветках, постараюсь поскорее в мейн завезти. Думаю через несколько дней тестов (если норм поедет) можно будет думать о том, чтобы довозить всякие другие архитектуры и задачи Надо еще дотащить из базового - разные оптимайзеры и гиперы. Щас прост дефолт adamw. Кстати, думаю надо muon optimizer затащить
щас очень много тестов. Надо тестить continual pretraining,лоры и прочее Оч…
0 viewsОткрыть в Telegram →
Из этого канала
- #5462А более подробный конфигуратор модели будет? Допустим если я хочу не RMSNorm, а…
А более подробный конфигуратор модели будет? Допустим если я хочу не RMSNorm, а LayerNorm? Не PreLN а PostLN? Не RoPE а обычный PE?
- #5463Было бы интересно
Было бы интересно
- #5464Можно в целом сделать конструктор моделей как workflow в comfyui, блоки как…
Можно в целом сделать конструктор моделей как workflow в comfyui, блоки как ноды использовать Это было бы очень интересно)
- #5460NitroGen: A Foundation Model for Generalist Gaming Agents…
NitroGen: A Foundation Model for Generalist Gaming Agents https://nitrogen.minedojo.org/
- #5459Universal Reasoning Model https://arxiv.org/abs/2512.14693…
Universal Reasoning Model https://arxiv.org/abs/2512.14693 https://www.alphaxiv.org/overview/2512.14693 https://github.com/zitian-gao/URM