«Яндекс» запустил генератор видео по текстовому запросу в приложении «Шедеврум»
Длина результата — не более четырёх секунд с частотой 24 к/с.
«Яндекс» представил технологию создания видео силами нейросети. Как рассказали Rozetked в пресс-службе компании, функцию можно опробовать в приложении «Шедеврум».
Нейросеть генерирует видео длиной четыре секунды с частотой 24 кадра в секунду. Ролик публикуется в ленте «Шедеврума», но пользователь может скачать его в память устройства в формате MP4.
Для создания видео нужно задать текстовое описание желаемого результата. «Шедеврум» предложит четыре варианта для первого кадра и набор анимационных эффектов: приближение, таймлапс, полёт, панорама, вращение, подъём и постепенное изменение. Далее нейросеть сгенерирует оставшиеся кадры и объединит их нужным эффектом.
«Для создания кадров будущего видео используется метод каскадной диффузии. С помощью этой технологии „Шедеврум“ генерирует отдельные изображения. Сначала нейросеть создаёт картинки в соответствии с запросом, а затем поэтапно увеличивает их разрешение, насыщая деталями», — «Яндекс»
Сейчас сгенерировать видео могут только активные пользователи «Шедеврума». Но просмотр чужих результатов доступен всем.
«Шедеврум» дебютировало как приложение в апреле 2023 года. Пользователям предложили функцию генерации изображений по текстовому описанию. А в июне в «Шедевруме» появился и генератор текста при помощи большой языковой модели YandexGPT.