Есть такой проектик tiny-grpo от ребят из open-thoughts: https://github.com/open-thought/tiny-grpo типа минималистичный имплемент грпо. уже давний получается, ему 3 месяца. Но единственный пример с лламой 1б не запускался хотя бы на 24гб карте. (точнее запускается, но быстро ловит ООМ - нехватка памяти) В нем моделька учится отрабатывать за калькулятор. Вообще цель проекта - это проделывать свои эксперименты с грпо. Поэтому сделал форк с квантизацией и лорой + подставляю модельку от анслота (теперь она должна просто загружаться, без разрешений), чтобы хотя бы запускалось локально. https://github.com/researchim-ai/re-tiny-grpo мб кто-то сам хочет параметры поперебирать, улучшить (но нужна карточка на 24гб) Кстати разные штуки делаем и собираем крутые статьи тут: https://t.me/researchim