Falcon-H1-Tiny: A series of extremely small, yet powerful language models redefining capabilities at small scale https://huggingface.co/spaces/tiiuae/tiny-h1-blogpost
Falcon-H1-Tiny: A series of extremely small, yet powerful language models…
Из этого канала
- #5641весь день потратил на отладку lora в grpo прям очень плохая сходимость была…
весь день потратил на отладку lora в grpo прям очень плохая сходимость была оказалось learning rate надо было 5e-05 сделать... в 10 раз поднять блин.
- #5642короче хз, мне все нравки. в целом можно сливать
короче хз, мне все нравки. в целом можно сливать
- #5643а еще можно UI немножко пошаманить
а еще можно UI немножко пошаманить
- #5637https://docs.nvidia.com/nemo/rl/latest/guides/environments.html
https://docs.nvidia.com/nemo/rl/latest/guides/environments.html
- #5633Ну и там можно еще имплементации ревардов глянуть разных
Ну и там можно еще имплементации ревардов глянуть разных