一种可自由拓展的立体数字沙盘系统和光场渲染方法

技术领域

本申请涉及立体显示与人工智能领域，具体涉及一种可自由拓展的立体数字沙盘系统和光场渲染方法。

背景技术

人类的双眼能够感知三维世界看到立体效果是因为人类在观察三维世界时左右眼看到的画面是略有差异的图像，经过大脑可以将两幅略有差异的图像融合成立体效果，从而使人获得立体感。3D显示技术就是利用这个原理，让观察者左右眼观察到略有差异的两个画面，从而获得立体感。目前3D显示技术可以分为裸眼式和眼镜式两大类。眼镜式的又可以分为快门眼镜、偏振眼镜、VR头盔和色差眼镜等。裸眼式的又可以分为视差屏障(Barrier)技术、柱状透镜(Lenticular Lens)技术和指向光源(Directional Backlight)技术三种。

视差屏障技术，通过控制生成的不透明条纹，当应该由左眼看到的图像显示在液晶屏上时，不透明的条纹会遮挡右眼；同理，应该由右眼看到的图像显示在液晶屏上时，不透明的条纹会遮挡左眼，通过将左眼和右眼的可视画面分开，使观者看到3D影像。该技术主要优点是与LCD液晶工艺兼容，因此在量产性和成本上较具优势。主要缺点是画面亮度低，分辨率会随着显示器在同一时间播出影像的增加呈反比降低。

柱状透镜技术的原理是在液晶显示屏的前面加上一层柱透镜，液晶屏的像平面位于透镜的焦平面上，这样在每个柱透镜下面的图像的素被分成几个子像素，这样透镜就能以不同的方向投影每个子像素。于是双眼从不同的角度观看显示屏，就看到了不同的子像素。该技术主要优点是3D显示效果更好，亮度不受影响；主要缺点是相关制造技术与现有的LCD液晶工艺不兼容，需要投资新的设备和生产线，并且该技术产生的图像的分辨率不高。

指向光源技术搭配两组LED，配合快速反应的LCD面板和驱动方法，让3D内容以排序方式进入观看者的左右眼互换影像来产生视差，进而让人眼感受到三维效果。该技术主要优点是分辨率、透光率方面能保证，不会影响既有的设计架提构，3D显示效果出色；主要缺点是产品不成熟。

现有的沙盘系统主要采用沙土进行堆砌或者3D打印式实体沙盘，导致军事推演效率低、数据无法实时刷新、且需要投入大量的人力与物力财力、无法满足瞬息万变的战场环境实时变化保障的需求，对战场信息数据更新适应性差。此外有采用，全息卡片式立体方案的，其优点是分辨率高，重量轻便携带，但不足是智能化和交互体验度低、投影距离和尺寸受限、装备适应性差、不可实时刷新、对工作环境等要求高，不适应室外应用环境。因此，无法适应战争环境下装备随战车随时移动的野战需求，无法支撑装备适应野战及动态战场环境。目前比较成熟的技术是眼镜式立体沙盘，其优点是立体沉浸感好，成本低。不足是使用便捷性差、观看舒适度不舒服、不利于用户面对面指挥与交流。数字立体沙盘可动态交互与刷新、立体沉浸感好。集成化技术水平高，国内外技术发展程度低，目前国内外研究尚处于空白状态。

神经辐射场(Neural Radiance Fields，NeRF)在2020年被Ben Mildenhall等人首次提出。NeRF是一种计算机图形学技术，通过神经网络的学习可以从2D图像生成高度逼真的3D场景。NeRF的工作原理是自监督的，输入为空间点的3D坐标位置(x，y，z)以及方向(θ，

现有三维模型的表达方式分为显示表达和隐式表达，显式表达方法包括基于体素、网格、点云方法，其优点是可以直观的显示三维几何物体，但是显示表达的物体是离散不连续的，并且它存储的三维场景表达信息数据量极大；隐式表达方法是将一个3D场景用一个函数描述，如神经辐射场等方法，其优点是对于场景是连续化的，可以精细建模细节，理论上分辨率可以达到无穷，并且占用空间小，但其不足是，对动态场景的描述存在一定的局限性，不易渲染动态物体。

现有技术存在如下缺点：

1、传统堆砌式沙盘造价高昂、不可刷新、时效性差，无法满足现代化指挥系统的应用需求；眼镜式立体沙盘使用便捷性差、观看舒适度不舒服、不利于用户面对面指挥与交流；全息卡片式立体方案的投影距离和尺寸受限、装备适应性差、对工作环境等要求高，不适应室外应用环境。

2、眼镜式立体显示技术需要额外的辅助设备，容易视觉疲劳；光屏障式技术画面亮度低，分辨率会随着显示器在同一时间播出影像的增加呈反比降低。

3、现有屏幕拼接技术大部分无法消除拼接屏幕的黑边部分，影响观看的效果。

4、神经辐射场对于动态场景还有一定的局限性，不易渲染动态物体。

5、三维模型的显示表达占用空间大，场景不连续。

6、光场图像的生成面临数据量大、计算复杂等困难。

发明内容

为解决上述问题，本申请提供一种可自由拓展的立体数字沙盘系统和光场渲染方法。

根据本申请的第一方面，本申请提供一种可自由拓展的立体数字沙盘系统，包括：

数据编码模块、数据解码模块、人眼跟踪模块、人机交互模块、光场图像渲染模块、驱动模块及显示模块。该系统的数据编码模块通过HDMI/DP接口与数据解码模块和人机交互模块相连，用于将三维模型数据和交互指令与服务器互传，光场图像渲染模块根据接收到的三维模型数据、人机交互指令和人眼的实时观看位置坐标进行光场图像渲染，光场图像渲染模块和显示模块通过驱动模块相连接，驱动模块用于将光场图像以三维形式在显示模块上展现，自由拓展显示屏由多个子屏幕无缝拼接而成，可使得立体数字沙盘的显示尺寸无限拓展。

所述的一种可自由拓展的立体数字沙盘系统，其特征在于，用户不但可以通过PC端的2D显示屏与数字沙盘进行交互控制，还可以设置数字沙盘的工作模式，如实现2D与3D显示模型的模式切换。数据编码模块用于将隐式或显式表达的三维模型编码后通过标准的HDMI/DP进行无损传输。

所述的一种可自由拓展的立体数字沙盘系统，其特征在于，所述的光场图像渲染模块采用模块化光场图像渲染硬件平台设计，用于对光场图像的并行渲染，提高渲染速度。

所述的一种可自由拓展的立体数字沙盘系统，其特征在于，所述驱动模块，采用阵列化设计，用于对高密度液晶显示面板进行分区刷新与控制，整个显示屏幕可由多个子驱动模块进行驱动，每个子驱动模块可以驱动多个子显示屏刷新。

所述的一种可自由拓展的立体数字沙盘系统，其特征在于，所述显示模块，与所述的驱动模块相连，用于将显示内容映射到液晶面板，并显示立体信息，可供观看者裸眼观看到立体场景，该模块由多个子屏幕拼接而成。采用准直背光技术和光学微结构阵列实现高密度显示屏的无缝拼接，可使得立体数字沙盘的显示尺寸自由拓展。

根据本申请的第二方面，一种可自由拓展的立体数字沙盘光场渲染方法，包括：

包括模型的隐式转换和视点的混合渲染两个阶段，其中模型的隐式转换包括数据集获取步骤和神经辐射场模型训练步骤，具体步骤描述如下：

数据集获取步骤：根据显示表达的目标场景，为神经渲染管线提供原始的训练数据集，数据集包括多视角图像以及对应的相机位姿信息；

神经辐射场模型训练步骤：对所述数据集进行预处理处理后作为神经网络的输入，采用全连接网络进行模型训练，获得模型的隐式表达，完成模型训练；

视点的混合渲染步骤：根据人眼观看位置，采用混合渲染管线，将神经渲染管线与传统图形渲染管线相结合，用于将静态与动态场景的融合，使得隐式表达与显示表达的3D场景可在统一框架中实时渲染与展示。并加入三维场景的在线编辑功能，用于对三维场景进行实时的标记和修改，渲染所需要显示的图像，增加目标场景的可读性和可用性。

所述的一种可自由拓展的立体数字沙盘光场渲染方法，其特征在于，所述数据集获取步骤中，所述数据可以是需要展示的实景地图，也可以是虚拟地图场景。

所述的一种可自由拓展的立体数字沙盘光场渲染方法，其特征在于，所述视角渲染步骤中，采用混合渲染管线进行图像生成，其中神经辐射场用于渲染静态的地图场景，传统渲染管线用于渲染可编辑动态场景，如地图标识符等。

所述的一种可自由拓展的立体数字沙盘光场渲染方法，其特征在于，所述光场渲染方法为基于人眼跟踪数据的轻量化渲染算法，所述人眼跟踪算法采用红外引导的方式进行跟踪，红外相机用于快速定位人脸的感兴趣区域，可见光相机根据所述感兴趣区域精确快速定位人眼，并将人眼位置坐标实时发送给光场图像渲染模块，所述图像渲染模块仅在人眼观看位置进行图像渲染，从而降低光场渲染算法的数据量。

所述的一种可自由拓展的立体数字沙盘光场渲染方法，其特征在于，所述的光场渲染方法为实时渲染方法。

本申请的有益效果是：

依上述实施例的采用一种可自由拓展的立体数字沙盘系统和光场渲染方法，一方面通过准直背光调控技术和光学微结构阵列实现高密度显示屏的无缝拼接，从而使得数字沙盘的显示尺寸可自由拓展。另一方面配合人眼跟踪技术，在神经辐射场三维静态场景渲染的基础上，配合传统图形渲染管线技术，进一步实现静态与动态场景的融合，使得隐式表达与显示表达的3D场景可在统一框架中实时渲染与展示，同时通过仅在人眼观看位置进行数据渲染有效降低了图像渲染数据量。综合以上两方面的技术，观察者在任何视角都可以获得较好的裸眼立体沉浸感。

附图说明

图1为本申请一种可自由拓展的立体数字沙盘系统的原理图；

图2为本申请一种可自由拓展的立体数字沙盘系统的样机概念图；

图3为本申请一种可自由拓展的立体数字沙盘系统的液晶面板分区驱动示意图；

图4为本申请一种可自由拓展的立体数字沙盘系统的屏幕无缝拼接示意图；

图5为本申请一种可自由拓展的立体数字沙盘光场渲染方法流程图；

图6为本申请一种可自由拓展的立体数字沙盘光场渲染方法的基于人眼跟踪加速示意图。

具体实施方式

下面通过具体实施方式结合附图对本申请作进一步详细说明。

请参考图1，本申请公开了一种可自由拓展的立体数字沙盘系统(以下简称数字沙盘)，其包括数据编码模块11、数据解码模块12、人眼跟踪模块13、人机交互模块14、光场图像渲染模块15、驱动模块16及显示模块17，下面分别说明。

数据编码模块11，用于将隐式或显式表达的三维模型编码后通过标准的HDMI/DP进行无损传输，为数字沙盘提供立体显示数据和人机交互指令等相关信息。在一具体实施例中，数据编码模块11为具有高稳定度和较高算力的计算机。例如，数据编码模块11可以是服务器，当然，在其他一些实施例中，数据编码模块11也可以是常规的计算机或是具备HDMI/DP视频接口的计算机。发送的立体数据可以传统的三维点云或者面片等模型，也可以是隐式表达的三维模型。数据编码模块将隐式或显式表达的三维模型编码后通过标准的HDMI/DP进行无损传输。

数据解码模块12，与所述的数据编码模块12相连，用于立体显示数据的接收与解码，并将三维模型数据传输给光场图像渲染模块15。在一具体实例中，数据解码模块12将接收到的编码数据解码后复原获得隐式或显式表达的三维模型，并将三维模型数据传输给光场图像渲染模块15。

人眼跟踪模块13包括：一个红外相机和两个可见光相机，人眼跟踪算法采用红外引导的方式进行跟踪，红外相机用于快速定位人脸的感兴趣区域，可见光相机根据所述感兴趣区域精确快速定位人眼，并将人眼位置坐标实时发送给光场图像渲染模块。

人机交互模块14，与数据编码模块12相连接，接收数据编码模块发送的人机交互指令并作用于光场图像渲染模块15，使其根据指令进行相应渲染。

光场图像渲染模块15，用于生成显示模块17所需显示的光场图像。在一具体实施例中，光场图像渲染模块15根据接收到的三维模型数据、实时人眼坐标位置和相应的人机交互指令进行光场图像渲染，渲染过程中由多个渲染单元并进行光场渲染，加速生成光场图像。

驱动模块16，与光场图像渲染模块15和显示模块17相连接，采用阵列化设计，用于对高密度液晶显示面板进行分区刷新与控制，整个显示屏幕可由多个子驱动模块进行驱动，每个子驱动模块可以驱动多个子显示屏幕。在一具体实施例中，渲染单元通过网线分别向不同的驱动单元发送不同的图像，每个驱动单元再分别控制四个子显示屏幕显示，每个驱动单元的分辨率为3840×2160，一个驱动单元可以驱动四个子显示屏幕。

显示模块17，与所述的驱动模块16相连接，用于显示立体信息，可供观看者裸眼观看到立体效果，该模块通过采用准直背光技术和光学微结构模组实现高密度显示屏的无缝拼接，可使得数字沙盘的显示尺寸自由拓展。在一具体实施例中，显示模块17为具有高分辨率的液晶显示面板和光学微结构等组成的复合显示载体。数字沙盘由多个子屏幕拼接而成，每个子屏幕的分辨率为1920×1080。如图4所示，背光单元47通过准直背光模组46点亮子屏幕41，由于每个子屏幕41的边缘影响，直接进行屏幕拼接会有明显的黑边，严重影响整体的观看效果。本申请通过在屏幕上方增加一个光学微结构42对光束进行调控，将光线扩束后覆盖子屏幕的边缘，然后再将子屏幕进行拼接可以达到无缝拼接效果，最后在拼接后的屏幕上方加一个透镜阵列45使其可以显示立体信息。

相应地，本申请还提出一种可自由拓展的立体数字沙盘光场渲染方法，如图5所示，其包括以下步骤。

S51数据集获取步骤：需要显示的目标场景，可为神经渲染管线提供原始的训练数据集，数据集包括图像以及对应的相机位姿信息，如图5所示。在一具体实施例中，目标场景可以是计算机软件中虚拟三维地图场景也可以是现实环境中真实场景，对应的采集相机可以是虚拟相机或者真实相机。根据显示表达的目标场景，为神经渲染管线提供原始的训练数据集，数据集包括多视角图像以及对应的相机位姿信息。

S52神经辐射场模型训练步骤：对所述数据集进行预处理处理后作为网络的输入，采用全连接网络进行模型训练，获得模型的隐式表达，完成模型训练。在一具体实例中，根据视角的位置和方向，以颜色作为监督项，采用全连接网络进行模型训练，获得全连接网络的模型参数。

S53视点的混合渲染步骤：根据人眼观看位置，采用混合渲染管线，将神经渲染管线与传统图形渲染管线相结合，用于将静态与动态场景的融合，使得隐式表达与显示表达的3D场景可在统一框架中实时渲染与展示。并加入三维场景的在线编辑功能，用于对三维场景进行实时的标记和修改，渲染所需要显示的图像，增加目标场景的可读性和可用性。

本申请提出的一种可自由拓展的立体数字沙盘系统和光场渲染方法，一方面通过准直背光调控技术和光学微结构阵列实现高密度显示屏的无缝拼接，从而使得数字沙盘的显示尺寸可自由拓展。另一方面配合人眼跟踪技术，在神经辐射场三维静态场景渲染的基础上，配合传统图形渲染管线技术，进一步实现静态与动态场景的融合，使得隐式表达与显示表达的3D场景可在统一框架中实时渲染与展示，同时通过仅在人眼观看位置进行数据渲染有效降低了图像渲染数据量。综合以上两方面的技术，观察者在任何视角都可以获得较好的裸眼立体沉浸感。下面具体分析。

如图1所示，为本申请一种可自由拓展的立体数字沙盘系统的原理图，图中数据编码模块11用于提供显示所需的三维模型以及人机交互操作指令，其中三维模型可以传统的三维点云或者面片模型，也可以是隐式表达的三维模型。将隐式或显式表达的三维模型编码后通过标准的HDMI/DP进行无损传输，数据解码模块12将接收到的编码数据解码后复原三维模型。根据接收到的三维模型数据，结合人眼跟踪模块13实时捕获的人眼位置坐标和人机交互模块14所接收到的交互指令，光场图像渲染模块15由多个渲染单元并进行光场渲染，加速生成光场图像。生成的光场图像再由阵列化设计的驱动模块16在高密度液晶显示面板进行分区显示，驱动单元具有路由功能，渲染单元通过网线分别向不同的驱动单元发送不同的图像，每个驱动单元再分别控制四个子显示屏幕显示，每个驱动单元的分辨率为3840×2160，每个子显示屏的分辨率为1920×1080，一个驱动单元可以驱动四个子显示屏幕，所有子显示屏通过拼接组成了显示模块17。

如图2所示，为本申请一种可自由拓展的立体数字沙盘系统的样机概念图，样机整体可以分为三层，最下层21包括数据编码模块、数据解码模块、人机交互模块；中间层22包括光场图像渲染模块和驱动模块；最上层23包括显示模块24和人眼跟踪模块25。

如图3所示，为本申请一种可自由拓展的立体数字沙盘系统的数据流示意图，三维模型数据和人机交互指令由数据编码模块31通过标准的HDMI/DP分别传输给数据解码模块32和人机交互模块34，并结合人眼跟踪模块33所捕获到的人眼位置坐标同时作用于光场图像渲染模块35，光场图像渲染模块35由多个渲染单元并行进行光场渲染，生成的光场图像再由阵列化设计的驱动模块36在高密度液晶显示面板进行分区显示，驱动单元具有路由功能，渲染单元通过网线分别向不同的驱动单元发送不同的图像，每个驱动单元再分别控制四个子显示屏幕显示，所有子显示屏通过拼接组成了显示模块37。

如图4所示，为本申请一种可自由拓展的立体数字沙盘系统的屏幕无缝拼接示意图，背光单元47通过准直背光模组46点亮子屏幕41，每个子屏幕单元41包括屏幕中间LCD面板43和屏幕边框44，由于每个子屏幕41的边框影响，直接进行屏幕拼接会有明显的黑边，严重影响整体的观看效果。本申请通过在屏幕上方增加一个光学微结构42对光束进行调控，将光线扩束后覆盖子屏幕的边缘，然后再将子屏幕进行拼接可以达到无缝拼接效果，最后在拼接后的屏幕上方加一个透镜阵列45使其可以显示立体信息。

如图5所示，为本申请一种可自由拓展的立体数字沙盘光场渲染方法流程图，算法包括目标场景获取步骤S51、神经辐射场训练步骤S52、视角渲染步骤S53。整个混合渲染管线包括神经渲染管线和传统图形渲染管线，其中神经渲染管线用于渲染静态的地图场景，传统渲染管线用于渲染地图标识符。神经渲染管线中首先对场景对目标场景进行采集，获取图像及对应的相机位姿信息，然后对图像进行预处理，去除场景中动态信息，如行人、行驶中的车辆等。将处理后的信息送入NeRF(Neural Radiance Fields)网络进行学习，NeRF网络的输入为空间点的3D坐标位置(x，y，z)以及方向(θ，

如图6所示，为本申请一种可自由拓展的立体数字沙盘光场渲染方法的加速示意图，图中S61为观看者观看位置，S62为左视图成像平面，S63为右视图成像平面，S64为等效成像目标，S65为透镜阵列，S66为子图像单元，S67为子图像阵列，S68为无效光线。与传统的视差型自由立体显示技术不同，光场显示技术的成像调制平面上的每一个小窗口都能够为观看者提供三维场景某一部分的视点图像，随着小孔数量的增加，视点分辨率也会相应的增加。使用混合渲染技术来实现基于人眼定位的光场内容渲染时，子图像中的每个像素的光线方向和起点都各不相同，需要根据显示屏的像素坐标反推临时起点坐标从而确定光线起点解决深度反转现象，然后判断光线起点是否位于人眼所在的小范围视点区域。为了便于理解我们将透镜阵列视为一个理想的小孔阵列，从液晶显示面板出发，根据小孔的规模我们将液晶显示面板等分为若干个显示区域，如果小孔的规模为K×K，液晶面板的分辨率为M×N，那么每一个子图像单元S66的大小为M/K×N/K，光场渲染时从液晶面板左上角的第一个子图像单元的第一个像素开始渲染，子图像单元中每个像素均和小孔构成一束光线，根据元图像和小孔的连线延长线穿过模型，在高于模型位置处的点即可作为渲染该光线的起点，以此来解决深度反转的问题。需要说明的是在渲染过程中需要将量纲统一，即将液晶面板显示坐标系、光学微透镜阵列坐标系、以及世界坐标系间的单位需要统一。假设像素在显示面板上的索引为(k，m)，则其坐标(X

X

Y

Z

其中，pp代表像素尺寸，W和H分别表示显示器的水平和垂直分辨率，假设子图像单元分辨率为N×N，则索引为(k，m)的像素对应的透镜中心坐标(X

Z

其中，ceil表示向上取整函数，g表示透镜阵列与现实面板的距离。在人眼定位的情况下，单个像素实际上对应了周围W/N×H/N个透镜形成的光线，本申请定义这种情况为像素的复用性。由式可推得像素(k，m)确定的光线为：

其中，origin()代表光线起点，direction()代表光线方向，i和j分表代表W/N×H/N透镜阵列中的行列索引，像素正上方的透镜编号为(0，0)，其他透镜依此递推。为了解决深度翻转问题，光线追踪时需要获得最远碰撞物体，而这可以通过将光线按照方向前进到达人眼平面获得新起点来实现，其原理如图6所示确定了每个像素对应的光线后，就可以根据人眼坐标来部分渲染像素。对于显示器上的像素，根据公式7计算光线的起点和方向，然后判断光线是否能到达人眼附近，如果能则用光线追踪技术渲染，否则说明这条光线并不能被观察到，本申请中称之为无效光线S68，直接进入下一像素直至渲染完成。

综上所述，本申请一方面通过准直背光调控技术和光学微结构阵列实现高密度显示屏的无缝拼接，从而使得数字沙盘的显示尺寸可自由拓展。另一方面配合人眼跟踪技术，在神经辐射场三维静态场景渲染的基础上，配合传统图形渲染管线技术，进一步实现静态与动态场景的融合，使得隐式表达与显示表达的3D场景可在统一框架中实时渲染与展示，同时通过仅在人眼观看位置进行数据渲染有效降低了图像渲染数据量。综合以上两方面的技术，观察者在任何视角都可以获得较好的裸眼立体沉浸感。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请发明构思的前提下，还可以做出若干简单推演或替换。