Runway Act-Two - mocap + нейронный рендеринг Пока мы не научились полностью контролировать действия персонажа и делать качественный липсинк, у актёров всё ещё есть работа. Runway анонсировали Act-Two — прямого наследника первой версии, но теперь с улучшенным трекингом лица и новой фичей — трекингом движений и рук. Полноценный AI-мокап. Не показали только ноги — кажется все туловище еще не завезли? Выглядит очень добротно. На вход принимает видео с актёром и референсную картинку или видео. Вроде бы ничего сложного, похоже на обычный video-to-video, где на вход идут токены видео актера, а рядом подаются токены референсного персонажа - для переноса внешности. Нужно только хороший датасет насобирать :) Генерит до 30 сек в 1MP разрешении, 24 fps. Не очень много, но достаточтно чтобы склеивать клипы. 1 секунда — 5 токенов ~ $0,09. Дипфейки вышли на новый уровень. Анонс @ai_newz