Ну и там можно еще имплементации ревардов глянуть разных

https://docs.nvidia.com/nemo/rl/latest/guides/environments.html

Falcon-H1-Tiny: A series of extremely small, yet powerful language models redefining capabilities at small scale…

весь день потратил на отладку lora в grpo прям очень плохая сходимость была оказалось learning rate надо было 5e-05 сделать... в 10 раз поднять блин.

Да Я правда забросил коммиты пока, с работой никак не успеваю Вот так оно было у меня: https://github.com/Raumberg/myllm/blob/main/myllm/rewards/init.py

о а ты делал уже? надо глянуть