https://github.com/researchim-ai/models-at-home ребятки, мейн обновлен) sdpo теперь поддерживает lora/qlora рекомендую lora. В целом в базовом сетапе оно теперь даже в 12гб vram (у меня за 11.5 гб не вылезало) должно влезти. Но наверное 16 получше будет завтра информации позавозим думаю про обучение и вот это все и наверное с re-rl поработаю