Фух за сегодня прям дофига чего было поправлено -deepspeed конфиги для правильного распараллеливания -много чего с квантизациями -lorы и прочее щас только для пущих оптимизаций надо все же лигеркернелы попробовать затащить, хочется посмотреть насколько еще приятнее станет итак вроде нормик, но блин если можно еще памяти экономить и быстрее делать, то чего бы нет и кстати в будущем еще анслот будет