"Lucy 2.0 — риалтайм VFX c заменой персонажа Decart выкатили Lucy 2.0 — модель, которая в реальном времени заменяет вас на видео с вебки другим персонажем. Всё это в 1080p 30fps и почти без задержки. По сути, это Runway act 2 или Kling Motion Control, но в риалтайме. Обычно такие видосы генерятся длиной не более 30 секунд, дальше начинается дрейф. Проблему ""дрейфа"", когда картинка со временем плывёт, попробовали решить дополнительным этапом тюна. Правда, на деле качество самой картинки ещё очень далеко от офлайн-конкурентов, и персонаж всё равно дрейфует, и заметно, как обновляется лицо. Как выяснилось, модель (пока?) без цензуры, так что определённые виды стримеров напряглись. Но кроме очевидных развлечений, Lucy 2.0 показывает возможности редактирования видео, например стилизацию всего кадра или замену его отдельных частей, причём на вход можно подать как текстовый промпт, так и картинку. Кроме того, разрабы предлагают использовать её как движок для симуляций и аугментации данных для робототехники. Можно взять одну демонстрацию и прогнать её с тысячами вариаций окружения, освещения и материалов для расширения датасета. Вся эта риалтайм-магия работает на ускорителях AWS Trainium3. Неужели 26-й год — год риалтайм-видеогенерации? Демо @ai_newz"