Китайская компания ByteDance (владеет TikTok) представила проект OmniHuman-1 — генеративный ИИ, который «оживляет» изображения и синхронизирует видео с загруженным аудио.
Как отмечают в TechCrunch, ИИ-модель без проблем справляется с естественными человеческими движениями, и итоговые видео получаются «пожалуй, самыми реалистичными» среди конкурентов.
«В последние годы сквозная человеческая анимация претерпела заметные улучшения. Однако существующие методы по-прежнему с трудом масштабируются в качестве больших общих моделей генерации видео, что ограничивает их потенциал в реальных приложениях»— ByteDance
Нейросеть обрабатывает снимки с людьми крупным планом или в полный рост. OmiHuman-1 также взаимодействует с посторонними предметами на фото, если они имеются.
При генерации видео можно регулировать соотношение сторон итогового видео и настраивать кадр.
В основе OmiHuman-1 видеогенератор SeaWeed (также разработан ByteDance). У OmniHuman-1 есть бесплатная демоверсия, но на момент написания новости сайт проекта не работает.