3D照片新技术能适应输入图片复杂度,产生更自然的3D合成图片

维吉尼亚理工学院开发了一个深度学习图像修复模型,可以将单个RGB-D输入图像,转换成3D照片,该模型能传感空间背景,迭代地合成出被前景遮挡位置的颜色和深度内容,研究人员提到,他们使用标准图像引擎就能渲染出3D照片,比起目前最新的技术,生成的结果有较少的伪影。

3D图片指得是以相机以及基于图像的合成技术,呈现出具新颖视角的合成照片,让观看者能够小角度移动镜头,看到部分被前景屏蔽的景物,这种新的图像呈现方式,与旧的2D照片比起来,提供更丰富的沉浸体验,可让图片内容在虚拟现实中栩栩如生,而且即便是以视差的方式在平面显示器呈现,视觉效果也十分良好。

研究人员在发布的论文中提到,过去以图像为基础的重建与渲染技术,都需要多张的照片,或是特殊的硬件配合,但他们所应用的方法,可以只用一张RGB-D图片当作输入,就能产出3D照片,深度信息可以来自手机的双镜头立体视觉,也能够来自于单一RGB的估计。

这个方式与脸书所提供3D Photos功能的原理类似,目的都是要利用手机镜头,降低生成3D照片的障碍,脸书3D Photos只要使用手机的双镜头拍摄一张包含颜色与深度信息照片,就能产生出3D图片,而研究人员提到,脸书使用分层深度图像(Layered Depth Image,LDI),虽可在移动设备上快速执行,但是其使用各项同性扩散(Isotropy Diffusion)算法修补空隙,导致结果过于平滑,无法分辨出材质与结构。

研究人员提出的方法以CNN为基础,可以在图像转换过程中显示更少的伪影,但是要应用一个全局CNN解决一整个问题有其困难度,因此研究人员将问题拆分成许多局部修复子问题,每个子问题相当于处理一张图片,因此就能够应用标准的CNN算法,而且与以往其他方法不同的是,这个新方法不预先固定图像层数,而是能适应输入图片的局部深度信息复杂度,产生不同数量的图层。

研究人员评估新方法处理野外拍摄照片的能力,使用来自于双摄影镜头iPhone X所拍摄的彩色图片以及深度图,研究人员提到,脸书的3D Photos虽然可以在屏蔽区域较细小的图片表现良好,但是在较大的屏蔽区域,伪影变得清晰可见,而研究人员提出的新方法,可以在大多数时候填充视觉合理的内容以及结构。

研究人员将新方法应用在以不同条件拍摄的照片,以验证其性能,在大部分情况下,他们的方法都能表现良好,不过,在栏杆和栅栏等复杂的场景仍会失误。