南昌大学成像与视觉表示实验室研究团队提出了一种由物理模型和人工智能驱动的真实天下场景的实时智能三维全息拍照系统，实现真实天下场景的高质量全息三维重修。
该成果以“Real-time intelligent 3D holographic photography for real-world scenarios”为题揭橥于光学领域顶级国际期刊Optics Express。

南昌大学宋贤林副教授、硕士生董嘉庆为文章共同第一作者，刘且根教授为通讯作者。

三维显示相较于二维显示可以供应更加丰富的信息，对真实天下场景进行实时三维重修作为元宇宙和物联网领域的关键技能有着广阔的运用前景。
全息三维显示被认为是一种空想的三维显示方案，提升三维全息图的打算速率和重修质量可以为实时三维重修供应坚实的支持。
目前用于实现真实场景的全息三维重修的方法面临成像质量低、速率慢。
因此，如何连续获取真实天下场景的三维信息并进行快速且高质量的全息三维重修是值得研究的问题。

研究团队利用深度相机获取真实场景的三维信息，采取层析法将其划分为30层。
利用卷积神经网络（CNN）构建强度图和深度图到打算全息图（CGH）的映射。
利用角谱算法的可微性实现CNN的自监督演习，利用复合丢失函数打算重修图像与目标图像的丢失以优化网络参数。
演习好的CNN可以在14.5 ms内根据输入的强度图和深度图天生1024×1024的三维全息图。
CGH被加载到空间光调制器上进行显示，可以用肉眼不雅观察到具有明显深度变革的三维重修结果，所提系统的事理图和实物图如图1所示。

图1：所提系统的事理图和实物图

图2：所提卷积神经网络的演习流程图

所提卷积神经网络的演习流程图如图2所示。
演习过程中，网络输入包含三维场景信息的强度图和深度图到Net1进行编码，Net1由Unet架构实现并输出目标振幅和相位场。
利用角谱算法将目标振幅和相位场向前传播z0，得到全息平面的振幅和相位场。
之后，将全息平面的振幅和相位场输入Net2并天生全息图，Net2由一个全卷积残差网络实现。
利用角谱算法将全息图随机重修到三维物体的一层，打算并最小化重修图像与目标图像的丢失。
通过反向传播更新Net1和Net2的参数。
演习中利用了由均方偏差丢失和感知丢失组成的复合丢失函数。

研究团队进行了数值仿照和光学实验，以验证所提方法的有效性。
图3为三维实景采集与数值重修结果。
可以不雅观察到，随着重修深度增大，重修图像的在焦区域由三维物体的近端向远端移动，当重修间隔为0.209 m时，数字“8”聚焦清晰，而数字“1”模糊。
当重修间隔为0.227 m时，数字“1”聚焦清晰，而数字“8”模糊。

图3. 三维实景采集与数值重修结果

图4为三维实景采集与光学重修结果。
可以看到，三维物体的细节得到了很好的重修，在焦区域附近可以不雅观察到相对清晰的画面，光学重修结果和数值重修结果较吻合。
为了更加直不雅观地展示重修图像的在焦区域随重修深度的变革，利用Tenengrad算子提取重修图像的在焦区域如图4（e1）-（n1）所示。
随着重修间隔的增大，提取出的在焦区域逐渐由三维物体的近端向远端移动。
实验结果证明了所提方法对付不同深度物体的重修能力。

图4. 三维实景采集与光学重修结果

研究团队进一步验证了所提系统对运动的人体的三维采集与重修效果如图5所示。
CCD相机拍摄三维场景远真个全息重修图像。
可以看到由于人体躯干部分位于远端并保持不动，因此人的衣服的图案始终清晰。
在t = 0 ms时，人的手部间隔深度相机较近，图5（e）中黄色箭头指示的手部呈现出离焦模糊的效果。
随着手部逐渐阔别深度相机，手部的全息重修图像逐渐清晰。
在t = 1400 ms时，手部移动到最远端，手部的全息重修图像呈现出最清晰的效果。
从t = 1600 ms开始，手部开始靠近相机，随着韶光的推移，手部的全息重修图像逐渐模糊。

图5. 对运动人体的三维信息采集与全息三维重修结果

该研究提出了由物理模型和人工智能驱动的真实天下场景的实时智能三维全息拍照系统，系统的运行速率达到22 fps。
在这项研究中，将三维场景根据层析法分为30层，并提出了一种用于快速天生全息图的CNN网络，通过将角谱模型融入网络的演习过程中实现了网络的自监督演习。
利用深度相机连续采集包含真实场景三维信息的强度图和深度图，将强度图和深度图输入演习好的网络中后可以在14.5 ms内天生1024×1024分辨率的全息图，通过数值仿照和光学实验验证了该方法的可行性和有效性，该方法展现了不错的显示质量并显著提升了成像速率。
该方法有助于实现用于本地和远程职员互动的新一代远程呈现系统，有望运用于远程协作和娱乐，以及教诲、广告和康复等领域。

链接

论文链接：Real-time intelligent 3D holographic photography for real-world scenarios (optica.org)

代码链接：https://github.com/yqx7150/Intelligent-3D-holography

来源 | 信息工程学院

编辑 | 王雪

责编 | 许航、欧阳仟

审核 | 饶勇、廖元新、邱晓怡