Active listening, стек для real-time видеодиалога с аватаром и открытая модель. Наши друзья из avaturn.live сделали крутой проект с актив листенингом, зацените: Представьте видеозвонок, где вместо живого человека на экране — цифровой аватар: он выглядит и звучит почти как реальный собеседник. Такие решения уже используют в ассистентах, обучении и клиентской поддержке. Но есть нюанс: такие аватары уже научились синхронизировать губы с речью, а вот слушать — пока нет. Когда говорит человек, аватар часто выглядит как персонаж на паузе: смотрит статично, почти не реагирует и просто ждет своей реплики. Диалог из-за этого быстро становится искусственным. Ребята из Avaturn.live как раз взялись за эту проблему и выложили AVTR-1 — открытую модель и стек для real-time видеодиалога с аватаром. Это не просто генератор видео: AVTR-1 позволяет запустить живую сессию, где аватар отвечает пользователю в реальном времени, слушает и реагирует на собеседника. Для создания аватара достаточно одной фотографии человека. Для самой сессии нужны два аудиопотока: речь аватара и речь человека напротив. Главная фишка — active listening: модель учитывает речь собеседника, и за счет этого диалог выглядит естественнее. По железу: • RTX 3070 / 4060 Ti — реалтайм • A100 / L40 — 2x быстрее реалтайма Что в релизе: • веса модели • инференс-стек, оптимизированный под TensorRT • демо и код для запуска живой диалоговой сессии Если поднимать у себя ничего не хочется — просто зайдите на avaturn.live и потестируйте аватара прямо в браузере, без регистрации и возни с TensorRT. Поддержите релиз звездой на GitHub — и, конечно, пробуйте собирать свои продукты с аватарами. 🔗 GitHub: https://github.com/avaturn-live/avtr-1 🌐 Демо в браузере: https://avaturn.live/demo 🤗 Hugging Face: https://huggingface.co/avaturn-live/avtr-1