Технология Google повышает разрешение изображений до 16 раз без потери качества
В её основе — диффузионные модели.
В блоге Google AI появилось описание технологии, которая способна увеличивать разрешение изображений — до 16 раз. Технология базируется на диффузионных моделях.
Разработчики показали в работе сразу два алгоритма. Первый называется SR3 или апскейлинг посредством повторного уточнения. Он берёт исходную картинку низкого разрешения и пытается увеличить её, добавляя шум, который потом удаляется для достижения нужного результата.
Было обнаружено, что SR3 хорошо работает при масштабировании портретов и снимков природы. При этом, эффективность модели выше, чем у существующих генеративных алгоритмов вроде PULSE и FSRGAN.
Вторая диффузионная модель называется CDM. В этом случае алгоритм обучили миллионам изображений высокого разрешения из базы ImageNet. Нейронная сеть использует каскадный подход и увеличивает изображения в два этапа: фото 32×32 пикселей может быть увеличено до 64×64, а затем до 256×256 точек, а снимок с изначальным разрешением 64×64 до 256×256, а затем до 1024×1024 точек. В последнем случае увеличение в 16 раз.
На окончательных фотографиях иногда могут встречаться артефакты, но для большинства зрителей (на первый взгляд) снимки будут выглядеть как оригинальные фото высокого разрешения. Будет ли технология Google использоваться на коммерческой основе, неизвестно.