Google NeRF-W — технология создания объёмных сцен на основе фото
Для создания сцены нужны снимки объекта с разных ракурсов.
Компания Google показала технологию NeRF-W, которая позволяет создавать объёмные 3D-сцены на основе случайных фотографий из сети.
Всё, что нужно для создания сцены, это снимки объекта с разных ракурсов. Инструмент сам уберёт с фото прохожих, автомобили и прочие ненужные детали, и подправит изображения по необходимым параметрам — экспозиции, цвету и тону.
Технология строит карты глубины резкости с помощью ИИ и синтезирует объёмную сцену при помощи прямого 3D-рендеринга. На выходе получаются детальные 3D-рендеры локаций с возможностью выбрать точку обзора вручную и изменить освещение в сцене.
На данный момент разработчики с помощью NeRF-W воссоздали в объёме Бранденбургские ворота в Берлине, базилику Сакре-Кёр в Париже и Фонтан Треви в Риме. При этом они использовали только фотографии с сайтов вроде Flickr.
В основе технологии NeRF-W лежит первоначальная версия NeRF, которую доработали. Для построения корректного освещения и пост-обработки авторы использовали низкополигональную проекцию, что позволило моделировать освещение для конкретной фотографии и «переосветить» сцену с новых углов.
