Щас прорабатываю вопросы инференса моделей после всех стадий трейна. не до конца проработано было. Можно будет проинференсить в vllm модельку или в трансформерс (все равно их таскаем за собой)