一种数字孪生场景的显隐式模型融合渲染方法及应用

技术领域

本发明属于数字孪生三维场景重建相关技术领域，更具体地，涉及一种数字孪生场景的显隐式模型融合渲染方法及应用。

背景技术

数字孪生五维模型包括物理实体、虚拟模型、服务、孪生数据以及它们之间的连接交互。反映物理对象的孪生模型是数字孪生五维模型中最为关键的维度之一，是数字孪生系统构建的第一个步骤，其性能将直接影响到数字孪生系统中对物理实体反映的准确程度，进而影响对物理实体的判断与决策。随着各领域对智能化数字孪生系统需求的增加，在部分场合下需要数字孪生系统有快速构建虚拟场景的能力，对三维虚拟场景的时效性和准确性都有很高的要求。针对于物理场景准确、高效地构建其虚拟数字化模型的问题已经成为制约数字孪生系统发展的关键因素之一。

对数字孪生场景而言，模型构建的层次、规则、复杂程度都会影响到系统的运行可靠性。目前的数字孪生虚拟模型的构建方法基本都是基于传统三维建模技术，需要三维建模工作者根据实际的物理场景的几何尺寸，从“几何-物理-行为-规则”多维度构建出数字孪生虚拟模型。该方法具有适用范围广，流程直观等优点，是目前构建数字孪生虚拟模型的主流方法。

然而现有的通过人工场景建模的数字孪生虚拟模型的构建方法，非常繁琐，且效率极低，当孪生场景过大时或者出现难以人工构建的复杂场景时，人工场景建模就会严重影响数字孪生模型搭建进度甚至导致建模失败。与此同时，传统场景构建方法，大都只是简单构建场景要素，很难从视觉上还原真实场景，无法满足数字孪生系统对高保真场景的需求。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种数字孪生场景的显隐式模型融合渲染方法及应用，该方法应用神经辐射场(NeRF：Neural Radiance Fields)对场景进行高保真隐式模型构建，其利用了深度神经网络来对三维场景进行建模，神经网络接收从不同视角观察场景的二位图像作为输入，然后通过训练来学习场景中的三维几何结构和光照属性，并且能够通过训练好的模型快速推断出高质量的三维场景渲染。为了保证场景的可编辑能力，将显示模型与NeRF隐式模型进行联合体渲染，使得重建的数字孪生场景兼具NeRF隐式模型的高保真与高质量的渲染效果以及显示模型的灵活编辑性能。

为实现上述目的，按照本发明的一个方面，提供了一种数字孪生场景的显隐式模型融合渲染方法，该方法包括以下步骤：

S1，采用增量处理方式对采集得到的待重建场景的图像进行预处理，基于预处理后的图像生成采样射线，并对采样射线进行采样，以得到采样点，继而构建JAXNeRF+的神经网络模型；

S2，基于获得的采样点及其对应的2D视角方向，采用神经网络模型计算得到每个采样点对应的颜色和密度，并利用体素渲染技术将得到的颜色和密度生成所需的任意视角图像；

S3，构建预渲染稀疏体素网格，实现神经网络隐式模型向半显示的体素特征模型的转换，所述神经网络模型是神经网络隐式模型，所述预渲染稀疏体素网格是半显示的体素特征模型；

S4，使用预渲染体素网格进行像素射线采样体渲染，并采用分数蒸馏采样损失对场景构建时产生的伪影进行去除；

S5，构建模型位姿可视化和对齐工具，以提供对齐显示模型与隐式模型所需的位姿变换操作和相应的数据输出功能；进而将获取显示模型的实时位姿与相机平面间的深度信息插入隐式场景模型的像素射线体渲染路径之中，使得渲染图像能够分辨显隐式模型的前后景信息，模糊显隐式表达式的界限，从而获得显隐式融合的渲染视图。

进一步地，增量式处理方式包括数据分割与融合过程，数据分割与融合过程包括以下子步骤：首先将整个图像数据库按照顺序分割为小型局部数据块，分别对每个数据块使用非线性优化技术进行运动结构重建，最后通过图优化技术对全局进行BA优化从而将每个数据块的运动结构信息融合为全局运动结构模型。

进一步地，步骤S1中，将采样射线从相机位置向前延伸，沿着每个采样射线分别使用Uniform采样器和SDF采样器采样一些离散点，然后将这些离散点映射到每个点在3D场景中所对应的位置。

进一步地，神经网络模型引入了一个自适应激活函数，自适应激活函数将多个采样点的特征信息聚合到一个全局特征中。

进一步地，神经网络模型引入了多域逼近和分层采样策略。

进一步地，使用神经网络模型来建模辐射场；渲染过程中，把射线平均分成N个小区间，每个区间随机采样一个点，对采样所得颜色进行某种加权求和：

其中，δ

进一步地，设定一个密度阈值ξ，基于采样得到的每个体素的信息来比较体素的采样密度σ(t)与ξ的大小，若σ(t)小于阈值，则舍弃该体素；对剩下的体素进行八叉树划分后，进而获得构建完全的预渲染稀疏体素网格。

进一步地，将显示模型信息通过变换矩阵T

本发明还提供了一种数字孪生场景的显隐式模型融合渲染系统，所述系统包括存储器及处理器，所述存储器储存有计算机程序，所述处理器执行所述计算机程序时执行如上所述的数字孪生场景的显隐式模型融合渲染方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现如上所述的数字孪生场景的显隐式模型融合渲染方法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的数字孪生场景的显隐式模型融合渲染方法及应用主要具有以下有益效果：

1.本发明使用重构的PRNeRF(Pre-Rendered Neural Radiance Fields)作为场景环境建模方法，极大地提升了孪生场景视觉拟真效果，同时将模型的训练和渲染管线分割，通过构建预渲染系数网格以增加对实时性要求不高的训练过程的计算复杂度为代价，显著提高了对实时性要求很高的渲染过程的速度。

2.本发明将数字孪生场景的构建划分为显示场景及隐式场景，对于低动态的背景等场景通过NeRF构建其高保真的隐式模型，而对于高动态的场景物体则构建其具有高可编辑性能的显示模型，这种分而治之的场景模型构建思想使得场景兼具高质量的渲染效果和灵活的编辑性能。

3.本发明的显隐式混合渲染方法打破了显隐式三维模型之间的数据表达壁垒，不需要显隐式模型之间的相互转换，直接将显示模型参与进NeRF的体渲染过程，使得渲染过程能够分辨两种表达方式的前后景关系，从而达到两种表达式之间无隔阂的融合渲染效果。

附图说明

图1是本发明提供的一种数字孪生场景的显隐式模型融合渲染方法的流程示意图；

图2是本发明涉及的PRNeRF隐式场景渲染示意图；

图3是本发明涉及的显隐式场景融合渲染的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施案例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

数字孪生是一种基于虚拟现实技术的、将实际场景与数字模型相结合的技术。它通过实时监测、模拟和预测现实场景，为企业和组织提供了全新的、更加真实的交互式体验。数字孪生的出现为现实场景的数字化转型提供了一个新的思路和方式。数字孪生场景主要功能是对物理场景或者复杂系统全要素进行多维、多时空尺度和多领域描述与刻画。反映物理对象的孪生模型是数字孪生五维模型中最为关键的维度之一，是数字孪生系统构建的第一个步骤，其性能将直接影响到数字孪生系统中对物理实体反映的准确程度，进而影响对物理实体的判断与决策。

请参阅图1及图2，本实施方式以塔吊施工场景的数字孪生场景重建为例，详述本发明提供的一种数字孪生场景的显隐式模型融合渲染方法。该方法包括对时间实时性要求不高的训练阶段、加速渲染的预渲染阶段和高实时性要求的显隐式模型融合渲染的渲染阶段。

所述方法主要包括以下步骤：

S1，训练阶段。

训练阶段构建了一个JAXNeRF+的神经网络，用以训练和储存尽可能详细的物理场景信息，是预渲染阶段及渲染阶段的所用场景信息的获取来源。

训练阶段主要包括以下步骤：

S11，采集待重建场景的图像。

图像获取过程中需要注意环境光照均匀，图像之间至少有三分之一的视野重叠区，并且尽可能的获取到待重建场景的所有视野。

S12，采用增量处理方式对采集到的图像进行预处理。

图像预处理过程采用增量式处理方式，大型场景下，获取的图像数据极其庞大，传统全局优化方式会因为内存开销过大而无法胜任大型场景的图像预处理过程。增量式处理方式包括数据分割与融合过程，需要知道拍摄图像数据的顺序。

数据分割与融合过程包括以下子步骤：首先将整个图像数据库按照顺序分割为小型局部数据块，分别对每个数据块使用非线性优化技术进行运动结构重建，最后通过图优化技术对全局进行BA优化从而将每个数据块的运动结构信息融合为全局运动结构模型。

S13，基于预处理后的图像生成采样射线，并对采样射线进行采样，以得到采样点。

将采样射线从相机位置向前延伸，沿着每个采样射线分别使用Uniform采样器和SDF采样器采样一些离散点，然后将这些离散点映射到每个点在3D场景中所对应的位置。

S14，构建JAXNeRF+的神经网络模型。

神经网络模型与标准的NeRF相似，引入了一个自适应激活函数。自适应激活函数将多个采样点的特征信息聚合到一个全局特征中，以减少噪声和改善模型的鲁棒性。此外，神经网络模型引入了多域逼近(Multi-field Approximation)技术和分层采样策略(Hierarchical Sampling)，以提高了模型的训练效率和场景重建精度。

S15，基于获得的采样点及其对应的2D视角方向，采用神经网络模型计算得到每个采样点对应的颜色和密度。

将获得的采样点及其对应的2D视角方向作为输入，来输出一组颜色和密度。如果从一个角度向一个静态空间发射一条射线，可以查询这条射线在空间中每个点(x,y,z)的密度σ，以及该位置在射线角度(θ,φ)下呈现出来的颜色c(c＝(R,G,B))，即F:(x,y,z,θ,φ)→(R,G,B,σ)。其中，密度用作计算权重，对射线上的采样点的(R,G,B)值做加权累计求和即可得到像素颜色，像素颜色的公式为：

其中，T(t)表示累计透光率，C(r)为体渲染得到的颜色信息；σ(r(t))为体素密度；c(r(t),d)为颜色信息；r(t)为体渲染射线；D为射线方向。

S16，利用体素渲染技术将得到的颜色和密度生成所需的任意视角图像。

所谓体素渲染是相机焦点和像素的连线形成一条射线，对这条射线上所有的采样点的颜色做加权累计求和就可以得到这个像素的颜色值。

其中，使用神经网络模型来建模辐射场，由于神经网络模型是可微分的，所以体素渲染方式是可微分的，于是使用体素渲染得到的图像和原图计算均方误差MSE Loss，从而构建出损失函数：

整个过程可以端到端地用梯度回传进行场景优化。

在实际渲染过程中，把射线平均分成N个小区间，每个区间随机采样一个点，对采样所得颜色进行某种加权求和：

其中，δ

S2，预渲染阶段。

请参阅图2，PRNeRF的渲染过程需要基于训练神经网络模型，构建一个预渲染稀疏体素网格，然后通过预渲染稀疏网格采样以得到体渲染采样点，获取采样点底色、密度和方向特征向量。一方面通过底色和密度信息进行累计体渲染获取场景底色模型；另一方面通过密度和方向特征向量沿射线累计，再通过解码器获取修正颜色信息，最后将两者结合获得最终渲染结果。

预渲染阶段主要包括以下步骤：

S21，构建预渲染稀疏体素网格，实现神经网络隐式模型向半显示的体素特征模型的转换，所述神经网络模型是神经网络隐式模型，所述预渲染稀疏体素网格是半显示的体素特征模型。具体包括以下子步骤：

S211，构建初始体素网格，覆盖整个有效场景。鉴于施工场景为无边界场景，构建两层体素网格，第一层网格正常比例存放场景信息，而第二层网格存放压缩后的背景场景信息：

式中，x

S212，对每个体素进行NeRF渲染，从训练完成的神经网络隐式模型中采样：

σ(t),c

式中，σ(t)为采样密度，c

S213，设定一个密度阈值ξ，基于采样得到的每个体素的信息来比较体素的采样密度σ(t)与ξ的大小，若σ(t)小于阈值，则舍弃该体素。

S214，对剩下的体素进行八叉树划分，将每个体素划分为更小的区域，提高体素分辨率。

S215，重复步骤S212～S214直到分辨率达到所设定的上限Rn，或者分割层次达到上限Fn，获得构建完全的预渲染稀疏体素网格。

S22，使用预渲染体素网格进行像素射线采样体渲染。具体包括以下子步骤：

S221，通过采样器采样获得每个采样点的密度、底色和方向特征向量：

S222，利用采样点密度

式中，t

S223，利用采样点密度

S224，对于像素的累计方向特征进行解码，获取像素修正信息：

其中，d是方向向量编码，MLP

S225，将模型底色图像加上像素修正信息，获得该视角下的模型渲染图像：

S23，采用分数蒸馏采样损失对场景构建时产生的伪影进行去除。其中，针对施工场景的辅助场景的隐式NeRF场景构建容易产生伪影的问题，采用3D扩散法利用局部3D先验和一种基于密度的分数蒸馏采样损失来阻止NeRF优化过程中的伪影。伪影的去除包括以下步骤：首先，训练一个扩散模型来学习三维表面块的分布，然后在NeRF重建真实三维场景时，通过查询预渲染稀疏体素网格对应的场景中局部三维块中的密度，并使用密度分数蒸馏损失来规范采样密度。使用以上本地先验可以改善在稀疏监督信号区域的重建，并消除伪影。

S3，渲染阶段。

请参阅图3，利用显隐式融合渲染方法结合了隐式模型高效表达复杂集合形状、大型场景等三维场景的能力和显示模型灵活的编辑性能，使得所构建的数字孪生塔吊的施工场景兼具极高的视觉拟真效果和可灵活编辑的能力。

其中，隐式模型PRNeRF提供了一个由神经辐射场向显示三维网格粗模mesh转换的解决方案，用于对齐显示模型与隐式模型之间的位置、姿态与尺寸关系。

渲染阶段主要包括以下步骤：

S31，构建模型位姿可视化和对齐工具，以提供对齐显示模型与隐式模型所需的位姿变换操作和相应的数据输出功能。

按照实际场景需求和物理空间位姿数据，对齐显隐式模型并获得显隐式模型之间的位姿变换矩阵T

S32，将获取显示模型的实时位姿与相机平面间的深度信息插入隐式场景模型的像素射线体渲染路径之中，使得渲染图像能够分辨显隐式模型的前后景信息，模糊显隐式表达式的界限。具体包括以下子步骤：

S321，将显示模型信息通过变换矩阵T

S322，根据输入的渲染视角信息确定每个像素的体渲染射线：r＝o+tD。

S323，根据渲染视觉信息，将体渲染射线路径上的显示模型信息进行神经辐射场参数转换。具体来说，设置一个Transformer将路径上的显式模型材料和颜色信息以及方向特征作为输入，获得密度和颜色信息：

其中，

S324，根据显式模型的深度信息，将显式模型的神经辐射场参数添加进体素渲染的路径之中：

然后根据PRNeRF的渲染后续流程获得显隐式融合的渲染视图；

式中，T(t

本发明综合了神经辐射场、体渲染、神经网络等技术，使用PRNeRF框架进行数字孪生场景重建，重构了传统NeRF训练和渲染结构，在训练阶段引入预渲染稀疏体素网格，显著加速渲染过程达到实时运行，并在渲染阶段设计了显隐式模型融合渲染方法，使得渲染场景结合了隐式模型高效表达复杂集合形状、大型场景等三维场景的能力，以及显式模型灵活的编辑性能，使得所构建的数字孪生场景兼具极高的视觉拟真效果和可灵活编辑的能力。

本发明还提供了一种数字孪生场景的显隐式模型融合渲染系统，所述系统包括存储器及处理器，所述存储器储存有计算机程序，所述处理器执行所述计算机程序时执行如上所述的数字孪生场景的显隐式模型融合渲染方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现如上所述的数字孪生场景的显隐式模型融合渲染方法。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。