Нейросеть Nvidia Instant NeRF создаёт 3D-модель по 2D-снимкам
Процедура занимает несколько секунд, в отличие от более ранних аналогов.
Nvidia презентовала нейросетевую модель Instant NeRF, которая превращает несколько 2D-изображений, снятых с разных сторон, в трёхмерную сцену — на процесс уходит несколько секунд.
Технология применяет уже известный нейросетевой подход генерации новых изображений сцены Neural Radiance Fields (NeRF). Он предполагает заполнение неизвестных участков, предсказывая цвет света, излучаемого из любой точки трёхмерного пространства. Алгоритму нужны несколько десятков неподвижных кадров и данные о ракурсах камеры.
Инновация Nvidia заключается в разработке метода, который решает задачу почти мгновенно. Предыдущие алгоритмы обучались в течение нескольких дней, а генерация результата занимала несколько минут. В компании считают, что им удалось ускорить процесс обучения нейросети в 1000 раз.
В Nvidia предполагают, что Instant NeRF можно задействовать для генерации виртуальных миров и трёхмерных аватаров людей.