Google与斯坦福大学合作，开发了处理透明物体的全新计算机视觉方法，这个称为KeyPose的机器学习系统，能够直接预测3D关键点（Keypoint）来估测透明物体的深度，比起过去的方法又快又准。在发布研究成果的同时，Google也发布了用来训练KeyPose模型的透明物体资料集，供研究社群使用。
测量3D物体的位置以及朝向，是计算机视觉在对象感知应用的核心挑战，这些应用程序需要知道物体在真实世界的3D位置，才能进行下一步的操作，像是将虚拟物体放置在物体周围等。目前已经有许多针对该主题的研究，除了应用机器学习或是深度网络技术之外，其他方法还包括使用深度传感设备，像是Kinect，来直接测量物体的距离。
不过，对于有光泽或是透明的物体，深度传感设备效果不高，早前Google也曾发布过利用机器学习方法的研究，像是ClearGrasp就是利用深度神经网络，来修复损坏的深度信息，只要使用一张RGB-D图像，ClearGrasp就能使用深度卷积网络，推测物体表面法矢量、透明表面的遮罩以及受屏蔽的边界，并使得场景中所有透明表面的深度估算更精确。虽然该方法很有效，但是因为其使用大量的合成图像进行训练，在部分情况修复深度时，仍容易发生错误。
而Google最新与斯坦福大学合作的KeyPose机器学习方法，是直接利用单反或是立体图像，预测透明物体的3D关键点，而不需要先明确计算深度，且即便在训练过程，没有见过的物体或物体种类，也能在应用期间良好的处理。
为了要快速收集大量真实世界的图像，研究团队创建了一个人信息料收集系统，该系统中的机器人手臂依照设置轨迹移动，手臂上同时安装了立体相机以及Kinect Azure深度相机。桌面配置了用来定位的视觉基准系统AprilTags，以精确关注摄影机的姿势，研究人员只需要在视频中的少量图像，标记出2D关键点，便能利用多视角几何方法，在所有视频影格中截取3D关键点，高效率地进行标记，并利用这个3D关键点资料集训练网络。
研究团队捕捉了5种类型15种透明物体的图像，并且搭配多种背景材质以及物体排列方式，总共拍摄了600多个视频串行，研究人员也用不透明版本物体，截取了基准真实深度。
实际预测流程，输入使用立体相机拍摄同一物体的左右图片，将这两张照片送进KeyPose网络中，网络便能预测出代表物体位置与形状的稀疏3D关键点，之后再利用两张图的视差，推算出每个关键点的3D坐标。这个方法也能够使用单反相机的图片，但是使用立体相机的图片，其准确度是前者的两倍。
结果如下图，最左侧是原始的立体图像，中间是物体的3D关键点，右边则是显示由3D关键点推算可表示物体姿势的其他点。研究人员提到，这个方法非常快速准确，使用标准GPU计算马克杯的深度只要5毫秒，无论是透明瓶子还是马克杯，其平均绝对误差都在10 mm以下，瓶子的平均绝对误差甚至可达5.8 mm。
