在游戏引擎中可视化点云

在虚拟世界中直接使用密集的彩色点云有很多原因。点云本身可以用3D映射方法高效地生成。新的VR技术提供的沉浸式可视化非常适合几何复杂的数据集，如室内点云。随着与点云兼容的计算机硬件解决方案和游戏引擎的发展，VR中的点云可视化变得越来越容易实现——因此也与测绘学相关。

由于继续推进3D映射技术，因此获得3D点云的效率从未如此高。可以使用诸如车载的移动激光扫描和消费者技术（例如移动设备中的LIDAR传感器）获得彩色点云。同时定位和映射（SLAM）系统除了在室内，可以在室内进行3D映射。现代风格室内SLAM系统可以在具有高映射效率的几何复杂环境中运行。除了激光扫描系统之外，摄影测量软件的持续发展不仅为市场带来了更先进的专业工具，还为摄影测量3D重建引入了更用户友好的开源软件。这在使用无人驾驶飞行器（无人机或“无人机”）对于3D映射时特别重要;毕竟，相机仍然是最重要的传感器有效载荷。如今，即使是消费者级迷你无人机也具有陀螺稳定的高分辨率摄像机。

在消费技术方面，深度摄像机和最近的激光雷达传感器已经集成到手持设备中，实现了近实时的3D重建。它们也被用于3D扫描仪和自主机器人设备。由于这些发展的结合，大多数日常生活中遇到的环境现在可以数字化成三维。

从映射到沉浸式体验

因此，在使用3D传感技术时，挑战将从数据获取转换到数据利用率。由于点云仍然是3D感测中最低的公共指党者，它们是申请最具吸引力的数据类型。可以利用点云的解决方案与各种传感技术兼容。最简单的应用程序是点云的可视化。在台式计算机和常规监视器上，这可以通过多个商业和开源软件解决方案来执行。同样，点云的基于浏览器的可视化由许多公开可用的JavaScript库和在线服务启用。

在过去的10年里，使用头戴式显示设备(HMDs)的虚拟现实(VR)可视化技术已经成熟为一项消费技术。设备可以由多个制造商提供，但发布应用程序的商业生态系统集中在少数几家主要厂商。以类似的方式，可以支持多种VR hmd的开发工具和开放标准(如OpenXR)已经出现，简化了应用程序的开发。对于构建交互式VR应用和体验而言，不仅仅是数据可视化，商业游戏引擎是事实上的标准环境。在这里，虚拟现实社区受益于大量开发者，他们可以将自己的游戏开发经验和热情转移到商业游戏引擎上。对于游戏开发者来说，进入虚拟现实领域相对容易，而且有充分的文件证明。

虚拟现实和点云

由于大多数用于hmd的VR应用都是使用游戏引擎构建的，所以这些游戏引擎能够支持点云非常重要。幸运的是，通过内置功能或可用插件，点云已经成为许多游戏引擎中直接使用的数据类型。然而，对于渲染的严格性能要求，尤其是对帧率的要求，使得VR中的点云可视化更加复杂。在通过普通监视器研究的交互式可视化中，低帧率是最烦人的。在VR中，渲染速度的降低会导致渲染后的图像与人的感官系统不匹配。这会让使用者感到不适，在极端情况下还会导致恶心等身体症状。

点云的虚拟现实可视化需要高效的空间索引系统，细节级别处理和拒绝不可见点的渲染(剔除)。这些系统允许引擎确定虚拟摄像机实际看到的点云的哪些部分，并且只渲染这些部分的足够细节。此外，渲染必须操作，以便从云的更遥远的部分绘制更少的点，只需最少的处理。要渲染的点的总数可以通过结合空间索引和剔除和多级细节(由距离决定)以及调整栅格化点的大小来保持在限制范围内。

由于VR可视化本身也提供了第一人称视角，因此密度变化通常会带来潜在的透视效果和问题，特别是在无结构的室内点云中。因此，必须进行点尺寸的动态调整。在游戏引擎中，这与实际绘制点的方法有关。最常见的是，点可以直接作为像素集绘制，也可以通过几何对象(如方形或圆形)来代替点，并通过引擎的传统三角形渲染管道进行渲染。

动态资产启用丰富的交互

虚拟环境与用户之间丰富的交互往往是游戏引擎可视化的关键驱动因素。传统的游戏引擎场景是由一组网格模型、摄像机、灯光、演员等组成的。有了动态的、脚本化的交互，场景就从静态呈现变成了交互环境。为了尽量减少计算资源的使用，虚拟场景通常被组装起来，这样只有用户可以交互的对象才会对模拟碰撞、重力和更复杂的照明模型做出响应。简化的几何图形，如原始形状和凸包被用来模拟碰撞和检测重叠。

如果点云的使用要超越简单的可视化，那么点云还必须与游戏引擎应用程序中常用的功能兼容，如实时光照、模拟冲突和交互对象。在这里，照明主要是渲染问题，与可视化系统相连。然而，实现分离的对象也对点云本身提出了要求。

因此，将密集点云转换为有用的游戏引擎场景，因此需要将点云分开到可互行物体中，并与其简化版本耦合以允许动态仿真。同时，使用的索引和呈现解决方案必须与在场景中移动的对象兼容。

结论

在研究文献和软件开发中，已经提出了许多解决方案，将源自3D映射的密集点云转化为有用的游戏引擎场景。许多游戏属性，如可交互对象和动态照明，已经通过点云完成。然而，一些专题研究问题仍然存在。要将点云应用于游戏引擎中，仅将点分类为建筑物或植被等简单对象类型是不够的。制作交互式游戏引擎场景需要更精细的、面向对象的分割和语义理解。关于点云中物体的分类和分割，还需要更多的研究和更复杂的解决方案。

在现有的研究中，对不同三维测绘技术获得的点云质量的评价大多集中在其几何精度上。然而，VR应用也需要足够好的点着色，以实现作为3D传感的一部分。这强调了点云的辐射质量，因为这在它们的可视化中起着重要的作用。

从计算角度来看，纹理的网格模型是目前在游戏引擎可视化中代表几何的最有效方式。然而，使用点云具有许多潜在的好处，例如从不同映射系统的简化数据集成以及在数字化现实生活环境中的提高效率。此外，VR提供了一种自然的方式，可以通过全面六个自由探索几何复杂数据集，沉浸地导航和可能甚至与点相互作用。因此，随着点云的VR可视化的实验仍然是地理社区的局部。

进一步的阅读

(2020).国家自然科学基金项目:国家自然科学基金项目。游戏引擎中的交互式密集点云。摄影测量与遥感学报，163., 375 - 389。https://doi.org/10.1016/j.isprsjprs.2020.03.007

Virtanen，J.P.，Julin，A.，Handolin，H.，Rantanen，T.，Maksimainen，M.，Hyyppä，J.，＆Hyyppä，H.（2020）。虚拟现实中的互动地理信息 - 观察和未来挑战。摄影测量，遥感和空间信息科学的国际档案，44(4 / W1)。https://doi.org/10.5194/isprs-archives-XLIV-4-W1-2020-159-2020

朱林，A.， Kurkela, M.， Rantanen, T.， Virtanen, J. P.， Maksimainen, M.， Kukko, A.，…& Hyyppä， H.(2020)。TLS点云着色质量评估。遥感，12(17), 2748年。https://doi.org/10.3390/RS12172748