ну с лорой в целом это база была. там надо прост лору типа к ко всем linear слоям применять. оно сделано итак уже было по-дефолту. Пользователь у нас сам мог это все отключать ну и lr побольше сделать я это тоже в доке описал чисто. так что даже завозить ничего в код не пришлось