"LTX-2 - open weight 4K/50fps видео с аудио от Lightricks Lightricks, компания, стоящая за одним из первых ""контент-заводов"" LTX-Studio ещё до того, как эти заводы заполонили Твиттер, сделала интересный пивот. Чуваки выпустили в опенсорс видеомодель LTX-2, первая версия которой, лежала в основе их реактора. Модель занимает не самое высокое 23-е место на LM видео арене, но главное здесь не это. LTX-2 — первая полностью открытая модель, которая умеет генерить нативное 4K видео при 50 FPS с синхронизированным аудио (диалоги, музыка, SFX) длиной до 20 секунд. В основе LTX-2 лежит единый асимметричный двухпоточный трансформер для совместной генерации аудио и видео через кросс-атенш. Модель на 19B (14 для видео и 5 для аудио) спроектирована для запуска на потребительских GPU. В опенсорс выложены не только веса, но и пайплайны для инференса и код для тренировки. Кроме того из коробки LTX-2 квантована в NVFP8 (на 30% меньше, до 2х раз быстрее) и оптимизирована под экосистему NVIDIA, а ComfyUI поддерживает её с первого дня. Не совсем понятно, как этот релиз сочетается с их основной бизнес-моделью. И если раньше их амбициозное желание создать свою модель было понятно, то зачем выкладывать её в опенсорс — совсем неясно. Ведь умельцы из ComfyUI уже повторили тот же LTX Studio у себя в Comfy и n8n на других моделях. UPD: На сайте пишут про нативные 4K, но на деле же, как верно подметили в комментариях, там используют апскейл. Контора сами знаете кого. Техрепорт GitHub Hugging Face Попробовать @ai_newz"
"LTX-2 - open weight 4K/50fps видео с аудио от Lightricks Lightricks,…
Из этого канала
- #4361Оказывается, у Google Vids есть свои AI-аватары В отличие от HeyGen и прочих,…
Оказывается, у Google Vids есть свои AI-аватары В отличие от HeyGen и прочих, они сделаны на основе Veo 3.1, причём максимальная длина клипа — 30 секунд с…
- #4362Нейродайджест за неделю (#102) Праздники выдались очень хорошие) Генеративные…
Нейродайджест за неделю (#102) Праздники выдались очень хорошие) Генеративные модели - LTX-2 — первая полностью открытая модель, которая генерирует видео в 4K…
- #4364Чел натренировал LLM на текстах из Лондона 19 века Модель не знает что такое…
Чел натренировал LLM на текстах из Лондона 19 века Модель не знает что такое телефон, так как тренировалась лишь на данных до 1875 года, но зато прекрасно…
- #4359Джеки Чан из металла Unitree продолжают хвастаться своими наработками. Теперь…
Джеки Чан из металла Unitree продолжают хвастаться своими наработками. Теперь уже без embodied avatar, а сами по себе.
- #4358Нейродайджест за неделю (#101) Первый в новом году! Пока еще на праздниках,…
Нейродайджест за неделю (#101) Первый в новом году! Пока еще на праздниках, потому дайджест будет короткий.