Новая нейросеть Intel делает изображения и видео более реалистичными

Сотрудники Intel Labs представили нейронную сеть, которая способна сделать изображения и видео более реалистичными. Работу технологии показали на примере записи игрового процесса GTA V.

Алгоритм позволяет обрабатывать изображение так, чтобы на выходе получилась более естественная картинка. Технология сама корректирует освещение и добавляет отдельные эффекты. 

Сеть обучают на небольших фрагментах из двух массивов данных, где находятся примерно одни и те же объекты: кусок асфальта, столб, велосипедист и так далее. В случае с GTA V разработчики использовали данные из Cityscapes, где находятся записи с автомобильных видеорегистраторов из Германии.

В Intel отметили, что новая разработка позволяет избежать артефактов, которые обычно можно наблюдать при применении других подобных нейросетей. Специалисты пояснили, что этого удаётся добиться в том числе за счёт уменьшения «поля зрения» нейросети.

Так или иначе, конечный результат зависит от массива данных, которые алгоритм берёт в качестве основы. К примеру, из-за особенностей Cityscapes на выходе картинка получается с зеленоватым оттенком, а дороги становятся более гладкими. Если заменить датасет, то и результат будет иным.

Работу нейросети продемонстрировали в рамках конференции Eurographics 2021. Подробное описание алгоритма есть на GitHub.