UCLA 蒋陈凡夫团队新研究:在 VR 里控制 3D 物体高斯泼溅渲染
添加时间:2024-11-18 19:34:06
为了解决这一难题,研究人员构建了一个四面体笼◆◆■◆■,将每个分段的高斯内核组嵌入到相应的网格中。由 XPBD 驱动的变形网格随后引导 GS 内核的变形。
最终用户反馈中,在包括易用性、延迟满意度、系统功能和总体满意度等方面都获得了积极的评价■◆。
现在有个新研究★◆★■■,在 VR 里实时控制 3D 高斯泼溅生成的物体★■,距离真正实现又前进了一大步。
从多视角图像开始◆★★,该流水线巧妙地将场景重建★◆、分割和使用高斯核的修复结合在一起,除此之外,还进一步融合了碰撞检测、阴影投射等技术。
Vision Pro 现在玩的太花了■★★◆★◆,什么时候能快进到沉浸式玩 3D 游戏??
由于模拟和渲染过程具有不同的几何表现形式◆◆■■,因此很难将模拟器直接集成到 3D 高斯内核中★★◆。
这个名字顾名思义★◆◆★★■,就是集成了 3D 高斯泼溅(GS)和基于位置的扩展动力学(XPBD)。后者是一个高度适应性和一致性的物理模拟器,用于实时变形模拟。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码◆■、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
另外,他们还注意到,简单的嵌入会导致高斯内核出现一些尖峰伪影的问题,因此提出了一种两级嵌入方法■◆◆◆■,每个高斯核被嵌入到一个局部四面体中,局部四面体的顶点被独立嵌入到全局网格中。
来自 UCLA 人工智能和视觉计算实验室由蒋陈凡夫带领★★■,还有港大、浙大、Style3D★★■■◆★、CMU、犹他大学以及亚马逊全华人■◆■,研究人员提出了一个 VR 系统 VR-GS◆■★◆◆。其中还看到了一个熟悉的图形学大佬王华民。
全面的系统集成,将 3D 高斯泼溅、场景分割、图像绘制、基于物理的实时求解器和新的渲染几何嵌入算法等技术结合在了一起。
本项研究由 UCLA、港大◆■★■★、浙大◆◆、Style3D、犹他大学★★◆■◆、CMU 以及亚马逊等机构的研究人员完成。