с горем пополам запустили) + обновил по сути все либы и торч до 2.9.1 пока…

анслот кстати ddp начал поддерживать. и вроде даже фулл тюн анонсили, но я его так и не запустил... пока только lora. ну по стандарту как раньше было

это у нас щас ребята ллмки. дальше ведь еще и влмки, а потом еще и рл, vison ml, и мб классик мл и вообще все вот это вот.

по грпо например отдельное направление - это добавление и написание енвайроментов для датагена.

https://harvard-ml-courses.github.io/cs181-web/static/cs181-textbook.pdf вот эту ссылочку мб поправить, там щас 404

Да, хорошо было бы)