量子位 | 公众年夜众号 QbitAI

Vision Pro现在玩的太花了，什么时候能快进到沉浸式玩3D游戏？？

现在有个新研究，在VR里实时掌握3D高斯泼溅天生的物体，间隔真正实现又提高了一大步。

比如操作这个铁马，一欠妥心就鬼畜了……

再比如，调教了下这只烈狗。

来自UCLA人工智能和视觉打算实验室蒋陈凡夫带领，还有港大、浙大、Style3D、CMU、犹他大学以及亚马逊全华人，研究职员提出了一个VR系统VR-GS。

个中还看到了一个熟习的图形学大佬王华民。

详细来看看，是如何实现的。

在VR玩3D高斯泼溅

在这项研究中，团队紧张做了这三点贡献：

开拓了高保真沉浸式的VR系统，并做了广泛评估。
实时3D内容交互：该系统的工程设计侧重于以人为本。
全面的系统集成，将3D高斯泼溅、场景分割、图像绘制、基于物理的实时求解器和新的渲染几何嵌入算法等技能结合在了一起。

当然，最核心的便是提出了物理感深交互式的VR系统VR-GS。

这个名字顾名思义，便是集成了3D高斯泼溅（GS）和基于位置的扩展动力学（XPBD）。
后者是一个高度适应性和同等性的物理仿照器，用于实时变形仿照。

由于仿照和渲染过程具有不同的几何表现形式，因此很难将仿照器直接集成到3D高斯内核中。

为理解决这一难题，研究职员构建了一个四面体笼，将每个分段的高斯内核组嵌入到相应的网格中。
由 XPBD 驱动的变形网格随后勾引 GS 内核的变形。

从多视角图像开始，该流水线奥妙地将场景重修、分割和利用高斯核的修复结合在一起，除此之外，还进一步领悟了碰撞检测、阴影投射等技能。

其余，他们还把稳到，大略的嵌入会导致高斯内核涌现一些尖峰伪影的问题。

因此提出了一种两级嵌入方法，每个高斯核被嵌入到一个局部四面体中，局部四面体的顶点被独立嵌入到全局网格中。

差异还是比较明显的。

终极用户反馈中，在包括易用性、延迟满意度、系统功能和总体满意度等方面都得到了积极的评价。

研究团队

本项研究由UCLA、港大、浙大、Style3D、犹他大学、CMU以及亚马逊等机构的研究职员完成。

个中来自UCLA人工智能和视觉打算实验室蒋陈凡夫带领，Ying Jiang、Chang Yu、Tianyi Xie、Xuan Li做出同等贡献。

感兴趣的旁友，可戳下方链接研究研究～https://yingjiang96.github.io/VR-GS/