сейчас уже есть компиляторы которые переводят питоноподобные функции в ptx кернел (Triton & co), пайторч умеет запекать все в куда-граф - уже хорошо, но все еще командует всем ЦПУ, след шаг состоит в том что перенести генерацию команд на ГПУ