辐射场的处理方法、存储介质以及计算机终端

技术领域

本申请涉及三维重建领域，具体而言，涉及一种辐射场的处理方法、存储介质以及计算机终端。

背景技术

三维内容的生产是扩展现实(ExtendedReality，简称为XR)应用的关键环节之一，人、物、场的三维信息重建与表示为XR应用提供了核心技术支撑。近几年，辐射场结合神经网络和可微体渲染等方法，成为发展热点和前沿。辐射场包含密度信息(即几何信息)和颜色信息。然而，当前情况下，通过测量的方式难以获得辐射场几何真值，从而导致对辐射场的定量处理难度较大。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种辐射场的处理方法、存储介质以及计算机终端，以至少解决相关技术中对辐射场的定量处理难度较大的技术问题。

根据本申请实施例的一个方面，提供了一种辐射场的处理方法，包括：获取观测图像和辐射场，其中，观测图像用于表征对目标对象进行拍摄所得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果；将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果。

根据本申请实施例的另一方面，还提供了一种辐射场的处理方法，包括：响应作用于操作界面上的输入指令，在操作界面上显示重建图像和观测图像，其中，重建图像用于表征利用辐射场渲染得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果，观测图像用于表征对目标对象进行拍摄所得到的图像；响应作用于操作界面上的处理指令，在操作界面上显示辐射场的定量处理结果，其中，定量处理结果是基于定量处理指标对辐射场的密度信息进行定量处理所得到的，定量处理指标是至少基于辐射场中的空间点的密度信息和空间点在观测图像上的观测颜色所构建的，观测颜色是将辐射场中的空间点投影至观测图像所得到的。

根据本申请实施例的另一方面，还提供了一种辐射场的处理方法，包括：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示重建图像和观测图像，其中，重建图像用于表征利用辐射场渲染得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果，观测图像用于表征对目标对象进行拍摄所得到的图像；将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果；驱动VR设备或AR设备渲染展示定量处理结果。

根据本申请实施例的另一方面，还提供了一种辐射场的处理方法，包括：通过调用第一接口获取观测图像和辐射场，其中，第一接口包括第一参数，第一参数的参数值为观测图像和辐射场，观测图像用于表征对目标对象进行拍摄所得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果；将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果；通过调用第二接口输出定量处理结果，其中，第二接口包括第二参数，第二参数的参数值为定量处理结果。

根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述实施例中任意一项的辐射场的处理方法。

根据本申请实施例的另一方面，还提供了一种计算机终端，包括：处理器；存储器，与处理器相连接，用于为处理器提供处理以下处理步骤的指令：获取观测图像和辐射场，其中，观测图像用于表征对目标对象进行拍摄所得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果；将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果。

在本申请实施例中，首先可以获取对目标对象进行拍摄得到的观测图像和利用观测图像对目标对象进行三维重建得到的辐射场，可以将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色，然后至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标，最后可以基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果，实现了对辐射场中密度信息进行定量处理的目的。容易注意到的是，可以通过对真实场景下的辐射场进行观察，提出根据辐射场中空间点的密度信息和观测颜色构建辐射场的定量处理指标，对于辐射场中不同位置的点对应的颜色频率不同，从而其观测颜色不同，因此，密度信息结合观测颜色构建的辐射场的定量处理指标可以实现对辐射场中几何信息的定量处理，可以在定量处理结果较高的情况下实现三维重建和XR应用，从而提高三维重建和XR应用的效果，进而解决了相关技术中对辐射场的定量处理难度较大的技术问题。

容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释，并不构成对本申请的限定。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种辐射场的处理方法的虚拟现实设备的硬件环境的示意图；

图2是根据本申请实施例的一种辐射场的处理方法的计算环境的结构框图；

图3是根据本申请实施例1的辐射场的处理方法的流程图；

图4是根据本申请实施例的一种无真值情况下辐射场集合信息的定量处理方法示意图；

图5是根据本申请实施例2的另一种辐射场的处理方法的流程图；

图6是根据本申请实施例3的一种辐射场的处理方法的流程图；

图7是根据本申请实施例4的一中辐射场的处理方法的流程图；

图8是根据本申请实施例5的一种辐射场的处理装置的示意图；

图9是根据本申请实施例6的一种辐射场的处理装置的示意图；

图10是根据本申请实施例7的一种辐射场的处理装置的示意图；

图11是根据本申请实施例8的一种图像处理装置的示意图；

图12是根据本申请实施例的一种计算机终端的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

辐射场(RadianceField，简称为RF)：一种三维空间的表示方法，可以将三维空间中的点表达为该点的密度(density)和颜色(color)，其中，密度信息是一个大于等于0的标量，表示该点处辐射出的颜色的多少，颜色信息是各向异性的向量，包含该点空间中不同方向辐射出的颜色，且不同方向上颜色信息可以不同；

辐射场中点的密度信息是一个大于等于0的标量，表示该点处辐射出的颜色的多少；点的颜色信息是各向异性的向量，包含该点空间中不同方向辐射出的颜色，且不同方向上颜色信息可以不同。

可选的，给定一个辐射场，点o在方向上的颜色信息可以通过如下公式表示：

其中，r(t)＝o+t

进一步的，在实际计算颜色时，通过以下离散计算方式计算上述的连续积分：

其中，i表示在射线上随机采样点的编号；N表示随机采样点的总个数；

其中，δr(t

辐射场的几何信息：由辐射场的定义易得，辐射场可以由密度场和颜色场组成，其中，密度场与几何信息具有一一对应关系，因此，辐射场的几何信息即指密度场；

神经辐射场(NeuralRadianceField，简称为NeFR)：用神经网络表示的辐射场，通常使用多层感知机(Multi-LayerPerceptron，简称为MLP)表示辐射场，MLP的输入为场景中点的三维坐标和方向，输出为输入点处的密度和输入点处在输入方向上的颜色。

辐射场的显式表达(ExplicitRepresentation)和隐式表达(ImplicitRepresentation)：显式表达指的是直接存储辐射场中各点处的密度和颜色信息，同时由于空间中位置和角度是连续的，无法直接存储，因此针对位置连续性问题，常常将空间划分为离散的三维格子，即体素(voxel)，形成体模型(volume)，仅存储体素顶点处的信息，非顶点处的信息通过空间三线性插值获得；针对角度连续性问题，采用一组球谐函数作为基函数表达颜色信息，仅需存储基函数的系数即可。

目前，相关方法使用移动立方体算法将辐射场的密度信息转换为点云，然后计算其与三维扫描获得的点云真值之间的倒角距离，从而间接的定量处理辐射场，在此过程中由于不在等值面的密度信息被丢弃了，从而无法全面定量处理辐射场，扫描得到的点云真值并不能代表辐射场的真实，并且扫描点云的过程繁琐且昂贵；由此目前的方法难以通过测量获得辐射场几何信息的真值，进而导致难以直接定量处理几何信息的重建结果。同时，由于辐射场在三维信息重建中越来越多的被使用，定量处理其几何信息的重建效果具有重要意义。为此，本申请提出了一种无真值情况下辐射场几何信息的定量处理方法。

实施例1

根据本申请实施例，还提供了一种辐射场的处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本申请实施例的一种辐射场的处理方法的虚拟现实设备的硬件环境的示意图。如图1所示，虚拟现实设备104与终端106相连接，终端106与服务器102通过网络进行连接，上述虚拟现实设备104并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等，上述终端104并不限定于PC、手机、平板电脑等，服务器102可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网。

可选地，该实施例的虚拟现实设备104包括：存储器、处理器和传输装置。存储器用于存储应用程序，该应用程序可以用于执行：获取观测图像和辐射场，其中，观测图像用于表征对目标对象进行拍摄所得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果；将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果，从而解决了相关技术中对辐射场的定量处理难度较大的技术问题。

该实施例的终端可以用于执行在虚拟现实(Virtual Reality，简称为VR)设备或增强现实(Augmented Reality，简称为AR)设备的呈现画面上展示重建图像和观测图像，其中，所述重建图像用于表征利用辐射场渲染得到的图像，所述辐射场用于表征利用所述观测图像对目标对象进行三维重建所得到的重建结果，所述观测图像用于表征对所述目标对象进行拍摄所得到的图像；将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果，并向虚拟现实设备104发送定量处理结果，虚拟现实设备104在接收到定量处理结果之后在目标投放位置显示出来。

可选地，该实施例的虚拟现实设备104带有的眼球追踪的HMD(Head MountDisplay，头戴式显示器)头显与眼球追踪模块与上述实施例中的作用相同，也即，HMD头显中的屏幕，用于显示实时的画面，HMD中的眼球追踪模块，用于获取用户眼球的实时运动轨迹。该实施例的终端通过跟踪系统获取用户在真实三维空间的位置信息与运动信息，并计算出用户头部在虚拟三维空间中的三维坐标，以及用户在虚拟三维空间中的视野朝向。

图1示出的硬件结构框图，不仅可以作为上述AR/VR设备(或移动设备)的示例性框图，还可以作为上述服务器的示例性框图，一种可选实施例中，图2以框图示出了使用上述图1所示的AR/VR设备(或移动设备)作为计算环境201中计算节点的一种实施例。图2是根据本申请实施例的一种辐射场的处理方法的计算环境的结构框图，如图2所示，计算环境201包括运行在分布式网络上的多个(图中采用210-1，210-2，...，来示出)计算节点(如服务器)。计算节点包含本地处理和内存资源，终端用户202可以在计算环境201中远程运行应用程序或存储数据。应用程序可以作为计算环境301中的多个服务220-1，220-2，220-3和220-4进行提供，分别代表服务“A”，“D”，“E”和“H”。

终端用户202可以通过客户端上的web浏览器或其他软件应用程序提供和访问服务，在一些实施例中，可以将终端用户202的供应和/或请求提供给入口网关230。入口网关230可以包括一个相应的代理来处理针对服务220(计算环境201中提供的一个或多个服务)的供应和/或请求。

服务220是根据计算环境201支持的各种虚拟化技术来提供或部署的。在一些实施例中，可以根据基于虚拟机(Virtual Machine，VM)的虚拟化、基于容器的虚拟化和/或类似的方式提供服务220。基于虚拟机的虚拟化可以是通过初始化虚拟机来模拟真实的计算机，在不直接接触任何实际硬件资源的情况下执行程序和应用程序。在虚拟机虚拟化机器的同时，根据基于容器的虚拟化，可以启动容器来虚拟化整个操作系统(Operating System，OS)，以便多个工作负载可以在单个操作系统实例上运行。

在基于容器虚拟化的一个实施例中，服务220的若干容器可以被组装成一个Pod(例如，Kubernetes Pod)。举例来说，如图2所示，服务220-2可以配备一个或多个Pod 240-1，240-2，...，240-N(统称为Pod)。Pod可以包括代理245和一个或多个容器242-1，242-2，...，242-M(统称为容器)。Pod中一个或多个容器处理与服务的一个或多个相应功能相关的请求，代理245通常控制与服务相关的网络功能，如路由、负载均衡等。其他服务220也可以为类似于Pod的Pod。

在操作过程中，执行来自终端用户202的用户请求可能需要调用计算环境201中的一个或多个服务220，执行一个服务220的一个或多个功能需要调用另一个服务220的一个或多个功能。如图2所示，服务“A”220-1从入口网关230接收终端用户202的用户请求，服务“A”220-1可以调用服务“D”220-2，服务“D”220-2可以请求服务“E”220-3执行一个或多个功能。

上述的计算环境可以是云计算环境，资源的分配由云服务提供上管理，允许功能的开发无需考虑实现、调整或扩展服务器。该计算环境允许开发人员在不构建或维护复杂基础设施的情况下执行响应事件的代码。服务可以被分割完成一组可以自动独立伸缩的功能，而不是扩展单个硬件设备来处理潜在的负载。

在上述运行环境下，本申请提供了如图3所示的辐射场的处理方法。需要说明的是，该实施例的辐射场的处理方法可以由图1所示实施例的移动终端执行。图3是根据本申请实施例1的辐射场的处理方法的流程图。如图3所示，该方法可以包括如下步骤：

步骤S302，获取观测图像和辐射场。

其中，观测图像用于表征对目标对象进行拍摄所得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果。

上述的目标对象可以为真实场景中需要进行三维重建的物体或者场景。

上述的辐射场(RadianceField，简称为RF)可以为一种三维空间的表示方法，可以将三维空间中的点表达为该点的密度(density)和颜色(color)。

上述的观测图像可以由用户进行采集得到。可选的，用户可以对需要进行三维重建的物体或者场景进行图像拍摄，在拍摄过程中变换相机位置和朝向，获得多张观测图像，用户可以使用特定的方法对被拍摄的物体或者场景进行辐射场的重建。

可选的，为了重建出比较理想的辐射场，通常会采用较多的观测图像，一般从十几张到上百张。需要说明的是，本申请中并不限定观测图像的数量，可以根据实际的场景确定需要的观测图像。

步骤S304，将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色。

由于二维空间中的点具有颜色信息，因此可以将辐射场中三维空间中的空间点投影至二维图像，也即上述的观测图像中，以便根据投影到观测图像上的像素点确定空间点在观测图像上的观测颜色。也即，上述的观测颜色可以为二维的观测图像上像素点的颜色值。

在一种可选的实施例中，可以通过相机参数，计算出空间点在观测图像中的像素坐标，从而确定三维空间点和二维像素点之间的对应关系。

步骤S306，至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标。

上述的观测颜色主要用于计算残差颜色，由于目前难以定量计算三维空间中空间点的颜色频率，因此，需要根据残差颜色来表示出空间点的颜色频率，可选的，可以使用一组低频的球谐基函数对观测颜色进行拟合得到残差颜色，以便作为对颜色频率的定量处理，因此，颜色频率和残差颜色的差异值是正相关的，颜色频率越低，拟合效果越好，其残差颜色的差异值越小，颜色频率越高，拟合效果越差，残差颜色的差异值越大，其中，该差异值为正数。

图4是根据本申请实施例的一种无真值情况下辐射场集合信息的定量处理方法示意图，如图4中的(a)所示为辐射场示例，需要说明的是，为了示意方便，示意图是二维的，但是相关分析、公式、结论等适用于三维场景，该场景包含一个简单的圆形，为了易于理解，同时绘制了10个观测图像，在该示意场景中，可以看到存在三种点：

(1)对于物体表面的点P

由上述(1)和(2)分析可知，如果重建的辐射场足够好，那么对于有效观测的点来说，其密度值与其颜色频率的乘积应该比较小，同时考虑到(3)的分析，对于任意一个点来说，其观测置信度与其密度值与其颜色频率的乘积应该比较小，也就是密度加权平均颜色频率的值比较小。

步骤S308，基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果。

上述的定量处理可以是指基于定量处理指标对辐射场的密度信息进行评价。

目前的辐射场重建结果定量处理指标难以分别定量处理密度场或者颜色场，例如峰值信噪比(Peak Signal Noise Ratio，简称为PSNR)，其主要定量处理的是通过辐射场渲染得到的图像，该图像是由密度场和颜色场综合作用的结果。

上述的密度信息可以为辐射场的几何信息，该几何信息可以表示辐射场中的几何视图。

上述的定量处理指标可以是基于密度信息和观测颜色的乘积得到。其中，定量处理指标用于表示对辐射场中空间点的密度信息进行定量处理的指标。

通过定量处理指标可以对辐射场的密度信息进行定量处理，若定量处理指标越低，则说明辐射场的几何信息越好。

通过上述步骤，首先可以获取对目标对象进行拍摄得到的观测图像和利用观测图像对目标对象进行三维重建得到的辐射场，可以将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色，然后至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标，最后可以基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果，实现了对辐射场中密度信息进行定量处理的目的。容易注意到的是，可以通过对真实场景下的辐射场进行观察，提出根据辐射场中空间点的密度信息和观测颜色构建辐射场的定量处理指标，对于辐射场中不同位置的点对应的颜色频率不同，从而其观测颜色不同，因此，密度信息结合观测颜色构建的辐射场的定量处理指标可以实现对辐射场中几何信息的定量处理，可以在定量处理结果较高的情况下实现三维重建和XR应用，从而提高三维重建和XR应用的效果，进而解决了相关技术中对辐射场的定量处理难度较大的技术问题。

本申请上述实施例中，至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标，包括：确定空间点到目标原点的透明度，其中，目标原点用于表征观测图像对应的拍摄设备的原点；利用预设基函数对观测颜色进行拟合，得到空间点对应的目标颜色；利用密度信息、透明度和目标颜色，构建定量处理指标。

上述的空间点可以为三维空间中目标对象表面上的点、目标对象内部的点、目标对象以外自由空间的点。

上述的目标原点用于表示相机拍摄观测图像时在三维空间中的原点。

上述的透明度可以用于表示空间点在目标原点朝向上的观测置信度。也即，在目标原点上是否可以观测到空间点，若该空间点为目标对象内部的空间点，则其空间点的透明度较低，此时，空间点在目标原点朝向上的观测置信度较低；若该空间点为目标对象表面上的点，则其空间点的透明度一般，此时，空间点在目标原点朝向上的观测置信度一般；若该空间点为目标对象以外自由空间的点，则其空间点的透明度较高，此时，空间点在目标原点朝向上的观测置信度较高。

上述的目标颜色可以为残差颜色，其中，残差颜色用于表示观测颜色的一致性。

上述的预设基函数可以为球谐基函数。其中，球谐基函数(sphericalharmonics)的定义为在球面坐标上的一组正交基函数，理论上，使用球谐基函数的线性组合可以在允许误差范围内近似表示定义在球面坐标上的任意函数。

需要说明的是，球谐基函数有着广泛的应用，在计算机图形学中，球谐基函数常常用来表示空间中某点在不同方向上的颜色信息。球谐基函数可以使用其度数(degree)和阶数(order)指示，典型的，0-2度的球谐基函数使用笛卡尔坐标的展开式为(函数

其中，(x，y，z)为点在笛卡尔坐标系中的坐标，

在一种可选的实施例中，可以利用球谐基函数对不同方向的空间点进行观测得到观测颜色进行拟合，可以得到空间点对应的目标颜色，通过该目标颜色可以确定空间点中观测颜色的一致性，对于任意一个点来说，其观测置信度和密度信息与其颜色频率的乘积应该比较小，也就是密度加权平均颜色频率的值比较小，也即，可以通过密度加权平均颜色频率作为定量处理指标来对辐射场进行定量处理。

本申请上述实施例中，确定空间点到目标原点的透明度，包括：确定空间点到目标原点的射线；基于射线上的目标点在辐射场中的密度值，确定透明度。

上述的空间点可以为点o。r(t)＝o+t

由上可知，可以通过上述公式根据目标点在辐射场中的密度值，确定出射线上目标点在辐射场中的透明度。

本申请上述实施例中，预设基函数包含多个函数，其中，利用预设基函数对观测颜色进行拟合，得到空间点对应的目标颜色，包括：确定多个函数中的第一个函数对应的拟合颜色为观测颜色；基于第一个函数、第一个函数对应的拟合颜色和透明度，确定第一个函数对应的权重值；基于观测颜色、第一个函数和第一个函数对应的权重值，确定位于第一个函数之后的第二函数对应的拟合颜色；基于第二函数、第二函数对应的拟合颜色和透明度，确定第二函数对应的权重值；将第二函数作为第一个函数，并重复执行确定第二函数对应的拟合颜色以及确定第二函数对应的权重值的步骤，直至第二函数为多个函数中的最后一个函数；确定最后一个函数对应的拟合颜色为目标颜色。

上述的预设基函数包含的多个函数的数量可以根据球谐基函数的度数确定。

上述的拟合颜色可以是迭代过程中每次得到的残差颜色，其中，残差颜色用于表示观测颜色的一致性。

在给定观测颜色的基础上，为了计算残差颜色，可以使用0-2度的球谐基函数拟合观测颜色，即可以计算拟合后的残差颜色，也即上述的拟合颜色。

在一种可选的实施例中，可以确定多个函数中的第一个函数对应的拟合颜色为观测颜色，可以根据第一个函数、第一个函数对应的拟合颜色和透明度通过计算权重值的公式得到第一个函数对应的权重值，在得到权重值之后，可以通过计算拟合颜色的公式确定出第一个函数之后的第二函数对应的拟合颜色，并基于计算权重值的公式得到第二函数对应的权重值，再将第二函数作为第一个函数，重复执行确定第二函数对应的拟合函数以及确定第二函数对应的权重值的步骤，直至第二函数为多个函数中的最后一个函数，确定最后一个函数对应的拟合颜色为目标颜色。如图4中的(c)所示，可以将预设基函数中包含的多个球谐基函数对观测颜色进行拟合，得到空间点对应的目标颜色。

可选的，可以使用如下公式计算得到拟合颜色：

其中，c

特别地，

本申请上述实施例中，在观测图像包括多个图像的情况下，基于第一个函数、第一个函数对应的拟合颜色和透明度，确定第一个函数对应的权重值，包括：确定第一个函数中不同图像对应的子函数，透明度中不同图像对应的子透明度，以及第一个函数对应的拟合颜色中不同图像对应的子拟合颜色；获取子函数、子透明度和子拟合颜色的乘积，得到不同图像对应的子权重值；对多个图像对应的子权重值进行求和，得到第一个函数对应的权重值。

在观测图像包括多个图像的情况下，可以确定第一函数中不同图像对应的子函数，该子函数用于表示观测图像中多个图像的球谐基函数。

可选的，可以使用如下公式估计度数l阶数m的图像对应的球谐基函数的子权重值：

其中，

可以将多个图像对应的子权重值进行求和，以便得到观测图像对应的权重值，可以确定出第一函数对应的权重值。

本申请上述实施例中，利用密度信息、透明度和目标颜色，构建定量处理指标，包括：利用密度信息、透明度和目标颜色，得到空间点对应的点颜色；利用密度信息和透明度，得到空间点对应的点密度；基于辐射场中的多个空间点对应的点颜色和点密度，构建定量处理指标。

上述的点颜色可以为颜色频率。上述的点密度可以为密度值。

可选的，如果重建的辐射场足够好，那么对于有效观测的点来说，其密度值与其颜色频率的乘积应该比较小；对于任意一个点来说，其观测置信度、密度值和颜色频率的乘积应该比较小，也就是密度加权平均颜色频率的值比较小，可以通过如下公式表示：

其中，v表示三维空间中的一个点，V表示辐射场对应的三维空间，d表示定义在单位球面S上的方向向量；T

但是由于颜色频率难以计算得到，因此，需要根据残差颜色表示出空间点的颜色频率，本申请中针对颜色频率难以定量计算的问题，可以使用固定频率的球谐基函数拟合颜色信息，并且提出使用残差颜色的差异值代替颜色频率进行计算，由于残差颜色差异值和颜色频率正相关，因此颜色频率越低，拟合效果较好，残差颜色差异值越小；颜色频率越高，拟合效果越差，残差颜色差异值越大，因此，密度加权平均残差颜色的值比较小，可以通过如下公式来表示上述的定量处理指标：

其中，

如图4中的(b)和(c)所示，由于观测图像是有限的，且需要使用离散求和来计算积分，估计整个场景的密度加权平均残差颜色。可以通过如下公式表示：

其中，

本申请上述实施例中，在观测图像包括多个图像的情况下，利用密度信息、透明度和目标颜色，得到空间点对应的点颜色，包括：确定透明度中不同图像对应的子透明度，以及目标颜色中不同图像对应的子目标颜色；基于子透明度、子目标颜色和密度信息，得到不同图像对应的子颜色；基于多个图像对应的子颜色之和，得到点颜色。

在一种可选的实施例中，可以确定透明度中不同图像对应的子透明度，对于空间中的点v，为了应对遮挡的影响，可以通过如下公式表示点v到o

本申请上述实施例中，在观测图像包括多个图像的情况下，利用密度信息和透明度，得到空间点对应的点密度，包括：确定透明度中不同图像对应的子透明度；基于子透明度和密度信息，得到不同图像对应的子密度；基于多个图像对应的子密度之和，得到点密度。

对于空间中的某个点v来说，可以将其投影到多个图像上，并将多个图像上观测到的颜色值作为对应方向上的子目标颜色，可选的，可以记第k个图像上的子目标颜色为ｃ

其中，o

同时，为了应对遮挡的影响，可以使用点v到o

作为第k个图像的子透明度，其中，r(

到此，可以得到K组子透明度，每组子透明度

进一步的，在得到不同图像对应的子透明度后可以根据子透明度和该空间点的密度信息得到不同图像对应的子密度，可以根据多个图像对应的子密度求和，得到空间点对应的点密度。

本申请上述实施例中，将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色，包括：确定辐射场与观测图像的投影矩阵；基于投影矩阵，确定观测图像中与空间点相对应的像素点；获取像素点的颜色，得到观测颜色。

在一种可选的实施例中，空间点v可以有自己的三维坐标，通过相机参数，可以计算出该三维空间中的空间点在观测图像上的图像坐标，该过程称为将三维空间中的空间点投影到观测图像上。通过投影过程，能够确定三维空间中的空间点和二维图像中的像素点之间的对应关系，由于二维图像中的像素点具有颜色信息，通过这种对应关系，就可以获得空间点在观测图像中不同图像上的观测颜色。

本申请上述实施例中，该方法还包括如下至少之一：基于所述定量处理结果，重新对所述目标对象进行拍摄，得到新观测图像，并基于预设重建算法利用所述新观测图像对所述目标对象进行三维重建；基于所述定量处理结果，确定目标重建算法，并基于所述目标重建算法利用所述观测图像对所述目标对象进行三维重建。

在一种可选的实施例中，在定量处理结果的效果较差时，可以重新对目标对象进行拍摄，得到新观测图像，并基于预设重建算法利用新观测图像对目标对象进行三维重建；在定量处理结果的效果较好时，可以根据目标重建算法利用观测图像对目标对象进行三维重建；从而可以提高对三维重建的效果。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请不同实施例的方法。

实施例2

根据本申请实施例，还提供了一种辐射场的处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图5是根据本申请实施例2的另一种辐射场的处理方法的流程图，如图5所示，该方法可以包括如下步骤：

步骤S502，响应作用于操作界面上的输入指令，在操作界面上显示重建图像和观测图像。

其中，重建图像用于表征利用辐射场渲染得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果，观测图像用于表征对目标对象进行拍摄所得到的图像。

上述的操作界面可以是能够方便用户进行操作的显示界面，上述的输入指令可以是用于确认重建图像和观测图像的指令。

步骤S504，响应作用于操作界面上的处理指令，在操作界面上显示辐射场的定量处理结果。

其中，定量处理结果是基于定量处理指标对辐射场的密度信息进行定量处理所得到的，定量处理指标是至少基于辐射场中的空间点的密度信息和空间点在观测图像上的观测颜色所构建的，观测颜色是将辐射场中的空间点投影至观测图像所得到的。

上述的处理指令可以为在需要对辐射场进行定量处理时，通过对操作界面进行相关操作生成的处理指令，可以根据该处理指令对辐射场进行定量处理，得到定量处理结果。

通过上述步骤，响应作用于操作界面上的输入指令，在操作界面上显示重建图像和观测图像，其中，重建图像用于表征利用辐射场渲染得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果，观测图像用于表征对目标对象进行拍摄所得到的图像；响应作用于操作界面上的处理指令，在操作界面上显示辐射场的定量处理结果，其中，定量处理结果是基于定量处理指标对辐射场的密度信息进行定量处理所得到的，定量处理指标是至少基于辐射场中的空间点的密度信息和空间点在观测图像上的观测颜色所构建的，观测颜色是将辐射场中的空间点投影至观测图像所得到的，实现了对辐射场中密度信息进行定量处理的目的。容易注意到的是，可以通过对真实场景下的辐射场进行观察，提出根据辐射场中空间点的密度信息和观测颜色构建辐射场的定量处理指标，对于辐射场中不同位置的点起对应的颜色频率不同，从而其观测颜色不同，因此，密度信息结合观测颜色构建的辐射场的定量处理指标可以实现对辐射场中几何信息的定量处理，可以在定量处理结果较高的情况下实现三维重建和XR应用，从而提高三维重建和XR应用的效果，进而解决了相关技术中对辐射场的定量处理难度较大的技术问题。

实施例3

根据本申请实施例，还提供了一种可以应用于虚拟现实VR设备、增强现实AR设备等虚拟现实场景下的辐射场的处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图6是根据本申请实施例3的一种辐射场的处理方法的流程图。如图6所示，该方法可以包括如下步骤：

步骤S602，在虚拟现实VR设备或增强现实AR设备的呈现画面上展示重建图像和观测图像。

其中，重建图像用于表征利用辐射场渲染得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果，观测图像用于表征对目标对象进行拍摄所得到的图像。

步骤S604，将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色。

步骤S606，至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标。

步骤S608，基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果。

步骤S610，驱动VR设备或AR设备渲染展示定量处理结果。

通过上述步骤，在虚拟现实VR设备或增强现实AR设备的呈现画面上展示重建图像和观测图像，其中，重建图像用于表征利用辐射场渲染得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果，观测图像用于表征对目标对象进行拍摄所得到的图像；将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果；驱动VR设备或AR设备渲染展示定量处理结果，实现了对辐射场中密度信息进行定量处理的目的。容易注意到的是，可以通过对真实场景下的辐射场进行观察，提出根据辐射场中空间点的密度信息和观测颜色构建辐射场的定量处理指标，对于辐射场中不同位置的点起对应的颜色频率不同，从而其观测颜色不同，因此，密度信息结合观测颜色构建的辐射场的定量处理指标可以实现对辐射场中几何信息的定量处理，可以在定量处理结果较高的情况下实现三维重建和XR应用，从而提高三维重建和XR应用的效果，进而解决了相关技术中对辐射场的定量处理难度较大的技术问题。

可选地，在本实施例中，上述辐射场的处理方法可以应用于由服务器、虚拟现实设备所构成的硬件环境中。在虚拟现实VR设备或增强现实AR设备的呈现画面上展示重建图像和观测图像，服务器可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网，上述虚拟现实设备并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等。

可选地，虚拟现实设备包括：存储器、处理器和传输装置。存储器用于存储应用程序，该应用程序可以用于执行：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示重建图像和观测图像，其中，重建图像用于表征利用辐射场渲染得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果，观测图像用于表征对目标对象进行拍摄所得到的图像；将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果；驱动VR设备或AR设备渲染展示定量处理结果。

可选地，该实施例的处理器可以通过传输装置调用上述存储器存储的应用程序以执行上述步骤。传输装置可以通过网络接收服务器发送的媒体文件，也可以用于上述处理器与存储器之间的数据传输。

可选地，在虚拟现实设备中，带有眼球追踪的头戴式显示器，该HMD头显中的屏幕，用于显示展示的视频画面，HMD中的眼球追踪模块，用于获取用户眼球的实时运动轨迹，跟踪系统，用于追踪用户在真实三维空间的位置信息与运动信息，计算处理单元，用于从跟踪系统中获取用户的实时位置与运动信息，并计算出用户头部在虚拟三维空间中的三维坐标，以及用户在虚拟三维空间中的视野朝向等。

在本申请实施例中，虚拟现实设备可以与终端相连接，终端与服务器通过网络进行连接，上述虚拟现实设备并不限定于：虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等，上述终端并不限定于PC、手机、平板电脑等，服务器可以为媒体文件运营商对应的服务器，上述网络包括但不限于：广域网、城域网或局域网。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例4

根据本申请实施例，还提供了一种辐射场的处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此的顺序执行所示出或描述的步骤。

图7是根据本申请实施例4的一中辐射场的处理方法的流程图。如图7所示，该方法可以包括如下步骤：

步骤S702，通过调用第一接口获取观测图像和辐射场。

其中，第一接口包括第一参数，第一参数的参数值为观测图像和辐射场，观测图像用于表征对目标对象进行拍摄所得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果。

上述的第一接口可以是客户端与服务器连接的接口，客户端可以通过第一接口将观测图像和辐射场上传至服务器。

步骤S704，将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色。

步骤S706，至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标。

步骤S708，基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果。

步骤S710，通过调用第二接口输出定量处理结果。

其中，第二接口包括第二参数，第二参数的参数值为定量处理结果。

上述的第二接口可以是客户端与服务器连接的接口，服务器可以通过第二接口将定量处理结果返回给客户端。

通过上述步骤，通过调用第一接口获取观测图像和辐射场，其中，第一接口包括第一参数，第一参数的参数值为观测图像和辐射场，观测图像用于表征对目标对象进行拍摄所得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果；将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果；通过调用第二接口输出定量处理结果，其中，第二接口包括第二参数，第二参数的参数值为定量处理结果，实现了对辐射场中密度信息进行定量处理的目的。容易注意到的是，可以通过对真实场景下的辐射场进行观察，提出根据辐射场中空间点的密度信息和观测颜色构建辐射场的定量处理指标，对于辐射场中不同位置的点起对应的颜色频率不同，从而其观测颜色不同，因此，密度信息结合观测颜色构建的辐射场的定量处理指标可以实现对辐射场中几何信息的定量处理，可以在定量处理结果较高的情况下实现三维重建和XR应用，从而提高三维重建和XR应用的效果，进而解决了相关技术中对辐射场的定量处理难度较大的技术问题。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例１提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例5

根据本申请实施例，还提供了一种辐射场的处理方法的辐射场的处理装置，图8是根据本申请实施例5的一种辐射场的处理装置的示意图，如图8所示，该装置800包括：获取模块802、投影模块804、构建模块806、定量处理模块808。

其中，获取模块用于获取观测图像和辐射场，其中，观测图像用于表征对目标对象进行拍摄所得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果；投影模块用于将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；构建模块用于至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；定量处理模块用于基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果。

此处需要说明的是，上述的获取模块802、投影模块804、构建模块806、定量处理模块808对应于实施例1中的步骤S302至步骤S308，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的AR/VR设备中。

本申请实施例中，构建模块包括：第一确定单元、拟合单元、构建单元。

其中，第一确定单元用于确定空间点到目标原点的透明度，其中，目标原点用于表征观测图像对应的拍摄设备的原点；拟合单元用于利用预设基函数对观测颜色进行拟合，得到空间点对应的目标颜色；构建单元用于利用密度信息、透明度和目标颜色，构建定量处理指标。

本申请实施例中，确定单元还用于确定空间点到目标原点的射线，基于射线上的目标点在辐射场中的密度值，确定透明度。

本申请实施例中，预设基函数包含多个函数，其中，拟合单元还用于确定多个函数中的第一个函数对应的拟合颜色为观测颜色，基于第一个函数、第一个函数对应的拟合颜色和透明度，确定第一个函数对应的权重值，基于观测颜色、第一个函数和第一个函数对应的权重值，确定位于第一个函数之后的第二函数对应的拟合颜色，基于第二函数、第二函数对应的拟合颜色和透明度，确定第二函数对应的权重值，将第二函数作为第一个函数，并重复执行确定第二函数对应的拟合颜色以及确定第二函数对应的权重值的步骤，直至第二函数为多个函数中的最后一个函数，确定最后一个函数对应的拟合颜色为目标颜色。

本申请上述实施例中，拟合单元还用于在观测图像包括多个图像的情况下，确定第一个函数中不同图像对应的子函数，透明度中不同图像对应的子透明度，以及第一个函数对应的拟合颜色中不同图像对应的子拟合颜色，获取子函数、子透明度和子拟合颜色的乘积，得到不同图像对应的子权重值，对多个图像对应的子权重值进行求和，得到第一个函数对应的权重值。

本申请实施例中，构建单元还用于利用密度信息、透明度和目标颜色，得到空间点对应的点颜色，利用密度信息和透明度，得到空间点对应的点密度，基于辐射场中的多个空间点对应的点颜色和点密度，构建定量处理指标。

本申请实施例中，在观测图像包括多个图像的情况下，构建单元还用于确定透明度中不同图像对应的子透明度，以及目标颜色中不同图像对应的子目标颜色，基于子透明度、子目标颜色和密度信息，得到不同图像对应的子颜色，基于多个图像对应的子颜色之和，得到点颜色。

本申请实施例中，在观测图像包括多个图像的情况下，构建单元还用于确定透明度中不同图像对应的子透明度，基于子透明度和密度信息，得到不同图像对应的子密度，基于多个图像对应的子密度之和，得到点密度。

本申请实施例中，投影模块，包括：第二确定单元、获取单元。

其中，第二确定单元用于确定辐射场与观测图像的投影矩阵；第二确定单元还用于基于投影矩阵，确定观测图像中与空间点相对应的像素点；获取单元还用于获取像素点的颜色，得到观测颜色。

本申请上述实施例中，该装置法还包括如下至少之一：第一重建模块、第二重建模块。

其中，第一重建模块用于基于所述定量处理结果，重新对所述目标对象进行拍摄，得到新观测图像，并基于预设重建算法利用所述新观测图像对所述目标对象进行三维重建；第二重建模块用于基于所述定量处理结果，确定目标重建算法，并基于所述目标重建算法利用所述观测图像对所述目标对象进行三维重建。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例6

根据本申请实施例，还提供了一种用于实施上述辐射场的处理方法的辐射场的处理装置，图9是根据本申请实施例6的一种辐射场的处理装置的示意图，如图9所示，该装置包括：第一显示模块902、第二显示模块904。

其中，第一显示模块用于响应作用于操作界面上的输入指令，在操作界面上显示重建图像和观测图像，其中，重建图像用于表征利用辐射场渲染得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果，观测图像用于表征对目标对象进行拍摄所得到的图像；第二显示模块用于响应作用于操作界面上的处理指令，在操作界面上显示辐射场的定量处理结果，其中，定量处理结果是基于定量处理指标对辐射场的密度信息进行定量处理所得到的，定量处理指标是至少基于辐射场中的空间点的密度信息和空间点在观测图像上的观测颜色所构建的，观测颜色是将辐射场中的空间点投影至观测图像所得到的。

此处需要说明的是，上述第一显示模块902、第二显示模块904对应于实施例2中的步骤S502至步骤S504，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的AR/VR设备中。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例7

根据本申请实施例，还提供了一种用于实施上述辐射场的处理方法的辐射场的图像处理装置，图10是根据本申请实施例7的一种辐射场的处理装置的示意图，如图10所示，该装置包括：展示模块1002、投影模块1004、构建模块1006、定量处理模块1008、驱动模块1010。

其中，展示模块用于在虚拟现实VR设备或增强现实AR设备的呈现画面上展示重建图像和观测图像，其中，重建图像用于表征利用辐射场渲染得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果，观测图像用于表征对目标对象进行拍摄所得到的图像；投影模块用于将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；构建模块用于至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；定量处理模块用于基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果；驱动模块用于驱动VR设备或AR设备渲染展示定量处理结果。

此处需要说明的是，上述展示模块1002、投影模块1004、构建模块1006、定量处理模块1008、驱动模块1010对应于实施例3中的步骤S602至步骤S610，五个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的AR/VR设备中。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例8

根据本申请实施例，还提供了一种用于实施上述辐射场的处理方法的辐射场的处理装置，图11是根据本申请实施例8的一种图像处理装置的示意图，如图11所示，该装置1100包括：获取模块1102、投影模块1104、构建模块1106、定量处理模块1108、输出模块1110。

其中，获取模块用于通过调用第一接口获取观测图像和辐射场，其中，第一接口包括第一参数，第一参数的参数值为观测图像和辐射场，观测图像用于表征对目标对象进行拍摄所得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果；投影模块用于将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；构建模块用于至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；定量处理模块用于基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果；输出模块用于通过调用第二接口输出定量处理结果，其中，第二接口包括第二参数，第二参数的参数值为定量处理结果。

此处需要说明的是，上述获取模块1102、投影模块1104、构建模块1106、定量处理模块1108、输出模块1110对应于实施例4中的步骤S702至步骤S710，五个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的AR/VR设备中。

需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。

实施例9

本申请的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。

可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。

在本实施例中，上述计算机终端可以执行辐射场的处理方法中以下步骤的程序代码：获取观测图像和辐射场，其中，观测图像用于表征对目标对象进行拍摄所得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果；将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果。

可选地，图12是根据本申请实施例的一种计算机终端的结构框图。如图12所示，该计算机终端A可以包括：一个或多个(图中仅示出一个)处理器102、存储器104、存储控制器、以及外设接口，其中，外设接口与射频模块、音频模块和显示器连接。

其中，存储器可用于存储软件程序以及模块，如本申请实施例中的辐射场的处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的辐射场的处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取观测图像和辐射场，其中，观测图像用于表征对目标对象进行拍摄所得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果；将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果。

可选地，上述处理器还可以执行如下步骤的指令：确定空间点到目标原点的透明度，其中，目标原点用于表征观测图像对应的拍摄设备的原点；利用预设基函数对观测颜色进行拟合，得到空间点对应的目标颜色；利用密度信息、透明度和目标颜色，构建定量处理指标。

可选地，上述处理器还可以执行如下步骤的指令：确定空间点到目标原点的射线；基于射线上的目标点在辐射场中的密度值，确定透明度。

可选地，上述处理器还可以执行如下步骤的指令：确定多个函数中的第一个函数对应的拟合颜色为观测颜色；基于第一个函数、第一个函数对应的拟合颜色和透明度，确定第一个函数对应的权重值；基于观测颜色、第一个函数和第一个函数对应的权重值，确定位于第一个函数之后的第二函数对应的拟合颜色；基于第二函数、第二函数对应的拟合颜色和透明度，确定第二函数对应的权重值；将第二函数作为第一个函数，并重复执行确定第二函数对应的拟合颜色以及确定第二函数对应的权重值的步骤，直至第二函数为多个函数中的最后一个函数；确定最后一个函数对应的拟合颜色为目标颜色。

可选地，上述处理器还可以执行如下步骤的指令：确定第一个函数中不同图像对应的子函数，透明度中不同图像对应的子透明度，以及第一个函数对应的拟合颜色中不同图像对应的子拟合颜色；获取子函数、子透明度和子拟合颜色的乘积，得到不同图像对应的子权重值；对多个图像对应的子权重值进行求和，得到第一个函数对应的权重值。

可选地，上述处理器还可以执行如下步骤的指令：利用密度信息、透明度和目标颜色，得到空间点对应的点颜色；利用密度信息和透明度，得到空间点对应的点密度；基于辐射场中的多个空间点对应的点颜色和点密度，构建定量处理指标。

可选地，上述处理器还可以执行如下步骤的指令：确定透明度中不同图像对应的子透明度，以及目标颜色中不同图像对应的子目标颜色；基于子透明度、子目标颜色和密度信息，得到不同图像对应的子颜色；基于多个图像对应的子颜色之和，得到点颜色。

可选地，上述处理器还可以执行如下步骤的指令：确定透明度中不同图像对应的子透明度；基于子透明度和密度信息，得到不同图像对应的子密度；基于多个图像对应的子密度之和，得到点密度。

可选地，上述处理器还可以执行如下步骤的指令：确定辐射场与观测图像的投影矩阵；基于投影矩阵，确定观测图像中与空间点相对应的像素点；获取像素点的颜色，得到观测颜色。

可选地，上述处理器还可以执行如下步骤的指令：基于所述定量处理结果，重新对所述目标对象进行拍摄，得到新观测图像，并基于预设重建算法利用所述新观测图像对所述目标对象进行三维重建；基于所述定量处理结果，确定目标重建算法，并基于所述目标重建算法利用所述观测图像对所述目标对象进行三维重建。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：响应作用于操作界面上的输入指令，在操作界面上显示重建图像和观测图像，其中，重建图像用于表征利用辐射场渲染得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果，观测图像用于表征对目标对象进行拍摄所得到的图像；响应作用于操作界面上的处理指令，在操作界面上显示辐射场的定量处理结果，其中，定量处理结果是基于定量处理指标对辐射场的密度信息进行定量处理所得到的，定量处理指标是至少基于辐射场中的空间点的密度信息和空间点在观测图像上的观测颜色所构建的，观测颜色是将辐射场中的空间点投影至观测图像所得到的。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示重建图像和观测图像，其中，重建图像用于表征利用辐射场渲染得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果，观测图像用于表征对目标对象进行拍摄所得到的图像；将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果；驱动VR设备或AR设备渲染展示定量处理结果。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：通过调用第一接口获取观测图像和辐射场，其中，第一接口包括第一参数，第一参数的参数值为观测图像和辐射场，观测图像用于表征对目标对象进行拍摄所得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果；将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果；通过调用第二接口输出定量处理结果，其中，第二接口包括第二参数，第二参数的参数值为定量处理结果。

在本申请实施例中，首先可以获取对目标对象进行拍摄得到的观测图像和利用观测图像对目标对象进行三维重建得到的辐射场，可以将辐射场中的空间点投影值观测图像，得到空间点在观测图像上的观测颜色，然后至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标，最后可以基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果，实现了对辐射场中密度信息进行定量处理的目的。容易注意到的是，可以通过对真实场景下的辐射场进行观察，提出根据辐射场中空间点的密度信息和观测颜色构建辐射场的定量处理指标，对于辐射场中不同位置的点起对应的颜色频率不同，从而其观测颜色不同，因此，密度信息结合观测颜色构建的辐射场的定量处理指标可以实现对辐射场中几何信息的定量处理，可以在定量处理结果较高的情况下实现三维重建和XR应用，从而提高三维重建和XR应用的效果，进而解决了相关技术中对辐射场的定量处理难度较大的技术问题。

本领域普通技术人员可以理解，图12所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternetDevices，MID)、PAD等终端设备。图12其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图12中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图12所示不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。

实施例14

本申请的实施例还提供了一种计算机可读存储介质。可选地，在本实施例中，上述计算机可读存储介质可以用于保存上述实施例1所提供的图像处理方法所执行的程序代码。

可选地，在本实施例中，上述计算机可读存储介质可以位于AR/VR设备网络中AR/VR设备终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：获取观测图像和辐射场，其中，观测图像用于表征对目标对象进行拍摄所得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果；将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果。

可选地，上述计算机可读存储介质还被设置为用于执行以下步骤的程序代码：确定空间点到目标原点的透明度，其中，目标原点用于表征观测图像对应的拍摄设备的原点；利用预设基函数对观测颜色进行拟合，得到空间点对应的目标颜色；利用密度信息、透明度和目标颜色，构建定量处理指标。

可选地，上述计算机可读存储介质还被设置为用于执行以下步骤的程序代码：确定空间点到目标原点的射线；基于射线上的目标点在辐射场中的密度值，确定透明度。

可选地，上述计算机可读存储介质还被设置为用于执行以下步骤的程序代码：确定多个函数中的第一个函数对应的拟合颜色为观测颜色；基于第一个函数、第一个函数对应的拟合颜色和透明度，确定第一个函数对应的权重值；基于观测颜色、第一个函数和第一个函数对应的权重值，确定位于第一个函数之后的第二函数对应的拟合颜色；基于第二函数、第二函数对应的拟合颜色和透明度，确定第二函数对应的权重值；将第二函数作为第一个函数，并重复执行确定第二函数对应的拟合颜色以及确定第二函数对应的权重值的步骤，直至第二函数为多个函数中的最后一个函数；确定最后一个函数对应的拟合颜色为目标颜色。

可选地，上述计算机可读存储介质还被设置为用于执行以下步骤的程序代码：确定第一个函数中不同图像对应的子函数，透明度中不同图像对应的子透明度，以及第一个函数对应的拟合颜色中不同图像对应的子拟合颜色；获取子函数、子透明度和子拟合颜色的乘积，得到不同图像对应的子权重值；对多个图像对应的子权重值进行求和，得到第一个函数对应的权重值。

可选地，上述计算机可读存储介质还被设置为用于执行以下步骤的程序代码：利用密度信息、透明度和目标颜色，得到空间点对应的点颜色；利用密度信息和透明度，得到空间点对应的点密度；基于辐射场中的多个空间点对应的点颜色和点密度，构建定量处理指标。

可选地，上述计算机可读存储介质还被设置为用于执行以下步骤的程序代码：确定透明度中不同图像对应的子透明度，以及目标颜色中不同图像对应的子目标颜色；基于子透明度、子目标颜色和密度信息，得到不同图像对应的子颜色；基于多个图像对应的子颜色之和，得到点颜色。

可选地，上述计算机可读存储介质还被设置为用于执行以下步骤的程序代码：确定透明度中不同图像对应的子透明度；基于子透明度和密度信息，得到不同图像对应的子密度；基于多个图像对应的子密度之和，得到点密度。

可选地，上述计算机可读存储介质还被设置为用于执行以下步骤的程序代码：确定辐射场与观测图像的投影矩阵；基于投影矩阵，确定观测图像中与空间点相对应的像素点；获取像素点的颜色，得到观测颜色。

可选地，上述计算机可读存储介质还被设置为用于执行以下步骤的程序代码：基于所述定量处理结果，重新对所述目标对象进行拍摄，得到新观测图像，并基于预设重建算法利用所述新观测图像对所述目标对象进行三维重建；基于所述定量处理结果，确定目标重建算法，并基于所述目标重建算法利用所述观测图像对所述目标对象进行三维重建。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：响应作用于操作界面上的输入指令，在操作界面上显示重建图像和观测图像，其中，重建图像用于表征利用辐射场渲染得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果，观测图像用于表征对目标对象进行拍摄所得到的图像；响应作用于操作界面上的处理指令，在操作界面上显示辐射场的定量处理结果，其中，定量处理结果是基于定量处理指标对辐射场的密度信息进行定量处理所得到的，定量处理指标是至少基于辐射场中的空间点的密度信息和空间点在观测图像上的观测颜色所构建的，观测颜色是将辐射场中的空间点投影至观测图像所得到的。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示重建图像和观测图像，其中，重建图像用于表征利用辐射场渲染得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果，观测图像用于表征对目标对象进行拍摄所得到的图像；将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果；驱动VR设备或AR设备渲染展示定量处理结果。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：通过调用第一接口获取观测图像和辐射场，其中，第一接口包括第一参数，第一参数的参数值为观测图像和辐射场，观测图像用于表征对目标对象进行拍摄所得到的图像，辐射场用于表征利用观测图像对目标对象进行三维重建所得到的重建结果；将辐射场中的空间点投影至观测图像，得到空间点在观测图像上的观测颜色；至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标；基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果；通过调用第二接口输出定量处理结果，其中，第二接口包括第二参数，第二参数的参数值为定量处理结果。

在本申请实施例中，首先可以获取对目标对象进行拍摄得到的观测图像和利用观测图像对目标对象进行三维重建得到的辐射场，可以将辐射场中的空间点投影值观测图像，得到空间点在观测图像上的观测颜色，然后至少基于辐射场中的空间点的密度信息和观测颜色，构建辐射场的定量处理指标，最后可以基于定量处理指标对辐射场的密度信息进行定量处理，得到辐射场的定量处理结果，实现了对辐射场中密度信息进行定量处理的目的。容易注意到的是，可以通过对真实场景下的辐射场进行观察，提出根据辐射场中空间点的密度信息和观测颜色构建辐射场的定量处理指标，对于辐射场中不同位置的点起对应的颜色频率不同，从而其观测颜色不同，因此，密度信息结合观测颜色构建的辐射场的定量处理指标可以实现对辐射场中几何信息的定量处理，可以在定量处理结果较高的情况下实现三维重建和XR应用，从而提高三维重建和XR应用的效果，进而解决了相关技术中对辐射场的定量处理难度较大的技术问题。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对不同实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请不同实施例中的各功能单元可以集成在一个处理单元中，也可以是不同单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请不同实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。