в условиях эксперемента/исследования пока не очень удобно

"все что ""удобно"" уже сделано и там нет новизны"

но что мешает компилировать питон описание в единый кернел (помимо того, что это сложно)?

сейчас уже есть компиляторы которые переводят питоноподобные функции в ptx кернел (Triton & co), пайторч умеет запекать все в куда-граф - уже хорошо, но все…

сначала надо сделать оптимальные кернелы для каждого кастом слоя, а потом упаковывать

что-то мешает трен так же сделать?