深度图像生成方法、装置、电子设备和存储介质

技术领域

本申请涉及图像处理技术，特别是涉及一种深度图像生成方法、装置、电子设备和计算机可读存储介质。

背景技术

随着电子设备技术的发展，深度图像的需求越来越大。结构光模组具有低成本、高实时性和便捷性等优点，已被广泛应用于获取深度图像。然而由于器件功耗、精度和外界因素等影响，结构光模组输出的深度图像可能存在较多噪声，这些噪声会影响深度图像的准确性。

发明内容

本申请实施例提供了一种深度图像生成方法、装置、电子设备和计算机可读存储介质，可以生成高质量、准确的深度图像。

一种深度图像生成方法，包括：

获取目标对象对应的原始深度信息；基于原始深度信息生成原始深度图像，对原始深度图像进行去噪处理，得到第一去噪图像；

对原始深度信息进行去噪处理，得到预处理深度信息，基于预处理深度信息生成第二去噪图像；

融合第一去噪图像和第二去噪图像，获得与目标对象相对应的目标深度图像。

一种深度图像生成装置，包括：

获取模块，用于获取目标对象对应的原始深度信息；第一去噪模块，用于基于原始深度信息生成原始深度图像，对原始深度图像进行去噪处理，得到第一去噪图像；

第二去噪模块，用于对原始深度信息进行去噪处理，得到预处理深度信息，基于预处理深度信息生成第二去噪图像；

融合模块，用于融合第一去噪图像和第二去噪图像，获得与目标对象相对应的目标深度图像。

一种电子设备，包括存储器及处理器，存储器中储存有计算机程序，其特征在于，计算机程序被处理器执行时，使得处理器执行上述深度图像生成方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现上述深度图像生成方法的步骤。

上述深度图像生成方法、装置、电子设备和计算机可读存储介质，对目标对象对应的原始深度信息进行两个通路的去噪处理，第一通路是先基于原始深度信息生成原始深度图像，再对原始深度图像进行去噪处理，得到第一去噪图像，第二通路是先对原始深度信息进行去噪处理，得到预处理深度信息，再基于预处理深度信息生成第二去噪图像，最后对第一去噪图像和第二去噪图像进行融合处理，获得目标对象对应的目标深度图像，由于第一去噪图像具有较好的去噪效果，第二去噪图像具有较高的准确性和图像质量，将二者融合，能够获得高质量、准确的深度图像。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中深度图像生成方法的流程图；

图2为另一个实施例中深度图像生成方法的流程图；

图3为一个实施例中去噪处理步骤的流程图；

图4为一个实施例中不同级别图像的示意图；

图5为又一个实施例中深度图像生成方法的流程图；

图6为一个实施例中深度图像生成装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

在一个实施例中，如图1所示，提供了一种深度图像生成方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤102，获取目标对象对应的原始深度信息；其中，目标对象是本申请实施例中的拍摄对象。

在一个实施例中，终端配置有结构光模组，通过结构光模组采集拍摄对象的深度图像。可选地，结构光模组可包括信号发射器、信号接收器和深度图像生成器，信号发射器用于向拍摄对象发射光斑信号，信号接收器用于接收拍摄对象反射的光斑信号，深度图像生成器用于基于拍摄对象反射的光斑信号生成拍摄对象对应的深度图像。

在一个实施例中，原始深度信息可以是目标对象反射的光斑信号。在另一些实施例中，原始深度信息可以是对目标对象反射的光斑信号进行光电转换处理得到的二维电信号，也可以是对二维电信号进行预处理得到的预处理二维电信号，例如散斑、激光条纹、格雷码、正弦条纹等电信号，还可以是对预处理二维电信号进一步处理得到的、用于生成深度图像的中间图像数据或者其它形式数据。

在一个实施例中，终端向目标对象发射光斑信号，接收目标对象反射的光斑信号，根据目标对象反射的光斑信号确定目标对象对应的原始深度信息。

步骤104，基于原始深度信息生成原始深度图像，对原始深度图像进行去噪处理，得到第一去噪图像。

本申请中，参照图2，终端对目标对象对应的原始深度信息进行两个通路的去噪处理，第一通路是先基于原始深度信息生成原始深度图像，再对原始深度图像进行去噪处理，得到第一去噪图像；第二通路是先对原始深度信息进行去噪处理，得到预处理深度信息，再基于预处理深度信息生成第二去噪图像。可以理解，第一通路和第二通路输入的原始深度信息可以是相同或不同的信息，例如第一通路输入的原始深度信息可以是目标对象反射的光斑信号，第二通路输入的原始深度信息可以是对目标对象反射的光斑信号进行光电转换处理得到的二维电信号，等等。

在一个实施例中，终端通过结构光模组中的深度图像生成器，基于原始深度信息生成原始深度图像。可选地，终端通过结构光模组中的深度图像生成器，对原始深度信息进行模板匹配，获得原始深度信息对应的深度图像，也即是原始深度图像。

在一个实施例中，终端对原始深度信息进行处理，获得深度图像生成器所需的数据，将处理后的原始深度信息输入深度图像生成器，处理方式比如滤波、编码、数据格式转换等。

在一个实施例中，终端根据通用的去噪策略对原始深度图像进行去噪处理，得到第一去噪图像。可以理解，通用的去噪策略即可满足本申请实施例对去噪处理的要求，因此可采用通用的去噪策略对原始深度图像进行去噪处理。本实施例中，在第一通路中对原始深度图像进行去噪处理，能够消除原始深度图像中的错误信息，达到较好的去噪效果。

步骤106，对原始深度信息进行去噪处理，得到预处理深度信息，基于预处理深度信息生成第二去噪图像。

在一个实施例中，终端根据通用的去噪策略对原始深度信息进行去噪处理，得到预处理深度信息。可以理解，终端可采用与第一通路中的去噪策略相同或不同的去噪策略，对原始深度信息进行去噪处理。

在一个实施例中，终端对原始深度图像或原始深度信息进行去噪处理，去噪处理前后的数据类型可保持一致。例如，原始深度信息为二维电信号，终端对原始深度信息进行去噪处理，预处理深度信息也为二维电信号。在一个实施例中，终端通过结构光模组中的深度图像生成器，基于预处理深度信息生成第二去噪图像。可选地，终端通过结构光模组中的深度图像生成器，对预处理深度信息进行模板匹配，获得预处理深度信息对应的深度图像，也即是第二去噪图像。在一个实施例中，终端对预处理深度信息进行处理，获得深度图像生成器所需的数据，将处理后的预处理深度信息输入深度图像生成器，处理方式比如滤波、编码、数据格式转换等。

本实施例中，在第一通路中对原始深度图像进行去噪处理，由于原始深度图像已经损失了比如细节、纹理、边缘等部分原始深度信息，所得到的第一去噪图像虽然去噪效果好，但是可能不够精确。在第二通路中对原始深度信息进行去噪处理，由于还未损失部分原始深度信息，所得到的预处理信息较为精确，基于预处理信息生成第二去噪图像，能够提高深度图像的准确性。

步骤108，融合第一去噪图像和第二去噪图像，获得与目标对象相对应的目标深度图像。

在一个实施例中，终端对第一去噪图像和第二去噪图像进行融合处理，获得目标对象相对应的目标深度图像。

本实施例中，由于第一去噪图像具有较好的去噪效果，而第二去噪图像具有较高的准确性和图像质量，将二者融合，能够获得高质量、准确的深度图像。

本申请提供的结构光模组，相比于传统的结构光模组，添加了对原始深度图像进行去噪处理、对原始深度信息进行去噪处理、基于预处理深度信息生成深度图像、对第一去噪图像和第二去噪图像进行融合等处理步骤。这样，终端在通过本申请提供的结构光模组拍摄深度图像时，能够获得准确、高质量的深度图像。

本实施例中的深度图像生成方法，对目标对象对应的原始深度信息进行两个通路的去噪处理，第一通路是先基于原始深度信息生成原始深度图像，再对原始深度图像进行去噪处理，得到第一去噪图像，第二通路是先对原始深度信息进行去噪处理，得到预处理深度信息，再基于预处理深度信息生成第二去噪图像，最后对第一去噪图像和第二去噪图像进行融合处理，获得目标对象对应的目标深度图像，由于第一去噪图像具有较好的去噪效果，第二去噪图像具有较高的准确性和图像质量，将二者融合，能够获得高质量、准确的深度图像。

在一个实施例中，将原始深度图像或者原始深度信息作为原始深度数据，参照图3，对原始深度数据进行去噪处理的步骤包括：对原始深度数据进行空域去噪处理，得到空域去噪数据；基于原始深度数据对应的参考去噪数据，对空域去噪数据进行时域去噪处理，得到融合去噪数据；对原始深度数据和融合去噪数据进行纹理融合处理，得到目标去噪数据；目标去噪数据为第一去噪图像或者预处理深度信息。

在一个实施例中，终端对原始深度图像和原始深度信息可采用相同的去噪策略。为了方便描述，本申请实施例对原始深度图像和原始深度信息在去噪处理过程中的输入数据(即原始深度数据)、中间数据(即空域去噪数据、参考去噪数据和融合去噪数据)和输出数据(即目标去噪数据)采用统一的命名，但是二者在去噪处理过程中的输入数据、中间数据和输出数据分别是不同的数据。下面对原始深度图像和原始深度信息的去噪处理过程分别进行介绍。

在一个实施例中，对于原始深度图像，终端对原始深度图像进行空域去噪处理，得到空域去噪图像；基于光斑信号对应的参考去噪图像，对空域去噪图像进行时域去噪处理，得到融合去噪图像；对原始深度图像和融合去噪图像进行纹理融合处理，得到第一去噪图像。

本实施例中，对于原始深度图像，在去噪处理过程中，输入数据、中间数据和输出数据均可以是深度图像格式。在一个实施例中，对于原始深度信息，终端对原始深度信息进行空域去噪处理，得到空域去噪信息；基于光斑信号对应的参考去噪信息，对空域去噪信息进行时域去噪处理，得到融合去噪信息；对原始深度信息和融合去噪信息进行纹理融合处理，得到预处理深度信息。

在一个实施例中，对于原始深度信息，在去噪处理过程中，输入数据和输出数据可以是图像格式或非图像格式，中间数据可以是图像格式。可选地，若原始深度信息是非图像格式，可先将原始深度信息先转换为图像格式，再对格式转换后的原始深度信息进行去噪处理。可以理解，本实施例中的图像格式与深度图像格式不同，例如二维电信号图像等。在一个实施例中，终端根据通用的空域去噪策略对原始深度数据进行空域去噪处理，得到空域去噪数据。空域去噪可以是对单帧图像的像素的灰度值进行处理。通用的空域去噪策略比如中值滤波算法、算术均值滤波与高斯滤波算法、双边滤波算法等。

在一个实施例中，终端向目标对象连续发射多于一条光斑信号，接收目标对象反射的多于一条光斑信号，对目标对象反射的光斑信号进行采样，得到预设数量的光斑信号。对于采样得到的其中一条光斑信号，该光斑信号对应的参考去噪数据，可由采样得到其它光斑信号确定。这样，终端基于参考去噪数据对空域去噪数据进行时域去噪处理，能够提高去噪的准确性和去噪效果。

在一个实施例中，终端对原始深度数据和融合去噪数据进行纹理融合处理，根据原始深度数据的纹理修复融合去噪数据的纹理，使得去噪处理后的目标去噪数据能够保持清晰的纹理。

本实施例中，在去噪处理过程中，先对原始深度数据进行空域去噪处理，在基于原始深度数据对应的参考去噪数据进行时域去噪处理，最后基于对原始深度数据进行纹理融合处理，这样，不仅能够提高去噪的准确性和去噪效果，还使得去噪处理后的目标去噪数据能够保持清晰的纹理。

在一个实施例中，该方法还包括：获得目标对象反射的多于一条光斑信号；确定多于一条光斑信号分别对应的原始深度数据；根据多于一条光斑信号形成光斑信号序列，对于光斑信号序列中的每条光斑信号，根据光斑信号序列中位于光斑信号之前的光斑信号所对应的融合去噪数据，确定光斑信号对应的参考去噪数据，将光斑信号对应的参考去噪数据，作为根据光斑信号确定的原始深度数据所对应的参考去噪数据。

在一个实施例中，终端可按照多于一条光斑信号的接收时间，形成光斑信号序列。例如，终端可按照多于一条光斑信号的接收时间由近至远或者由远至近，对多于一条光斑信号进行排序，得到光斑信号序列。在另一些实施例中，终端可对多于一条光斑信号进行随机排序，形成光斑信号序列。

在一个实施例中，终端向目标对象连续发射多于一条光斑信号，接收目标对象反射的多于一条光斑信号，对目标对象反射的光斑信号进行采样，得到预设数量的光斑信号。预设数量可按照实际应用进行设定，比如4条。

在一个实施例中，对于光斑信号序列中的每条光斑信号，终端可根据光斑信号序列中位于该光斑信号之前的光斑信号所对应的融合去噪数据，确定该光斑信号对应的参考去噪数据。

在一个实施例中，终端将光斑信号序列中位于该光斑信号之前、且与该光斑信号相邻的光斑信号所对应的融合去噪数据，作为该光斑信号对应的参考去噪数据。在另一些实施例中，终端根据光斑信号序列中位于该光斑信号之前的所有光斑信号对应的融合去噪数据，确定该光斑信号对应的参考去噪数据，例如将光斑信号序列中位于该光斑信号之前的所有光斑信号对应的融合去噪数据进行融合处理，将融合处理结果作为该光斑信号对应的参考去噪数据。这里的融合处理方式可以是对融合去噪数据按照像素位置取均值、最大值或最小值等。

在一个实施例中，该方法还包括：对于光斑信号序列中的每条光斑信号，当光斑信号为光斑信号序列中的首条光斑信号时，在获得首条光斑信号对应的空域去噪数据后，对首条光斑信号对应的原始深度数据和空域去噪数据进行纹理融合处理，得到目标去噪数据。

在一个实施例中，若该光斑信号为光斑信号序列中的首条光斑信号，终端可直接对该光斑信号对应的原始深度数据和空域去噪数据进行纹理融合处理，并将该光斑信号对应的空域去噪数据或者目标去噪数据加入参考数据集，以为光斑信号序列中其它的光斑信号提供参考去噪数据。

在一个实施例中，终端可将光斑信号序列中任意一条光斑信号对应的目标去噪数据输出作为第一去噪图像或者预处理深度信息，例如将光斑信号序列中最后一条光斑信号对应的目标去噪数据输出作为第一去噪图像或者预处理深度信息。

本实施例中，将目标对象连续反射的多于一条光斑信号形成光斑信号序列，通过光斑信号序列在去噪处理过程中提供参考去噪数据，提高去噪的准确性和去噪效果。

在一个实施例中，空域去噪数据为空域去噪图像，参考去噪数据为参考去噪图像，融合去噪数据为融合去噪图像；基于原始深度数据对应的参考去噪数据，对空域去噪数据进行时域去噪处理，得到融合去噪数据，包括：基于参考去噪图像与空域去噪图像之间的差异，构建目标差分图像；确定与目标差分图像对应的融合去噪权重；利用融合去噪权重对参考去噪图像和空域去噪图像进行时域去噪处理，得到融合去噪图像。

其中，目标差分图像反映参考去噪图像与空域去噪图像之间的差异大小，参考去噪图像与空域去噪图像之间的差异越大，目标差分图像的像素值均值越大。

对于原始深度图像和原始深度信息，为了方便描述，本申请实施例对二者在去噪处理过程中的中间数据(即空域去噪图像、参考去噪图像和融合去噪图像)采用统一的命名，但是二者在去噪处理过程中的中间数据分别是不同格式的图像。例如，对于原始深度图像，其在去噪处理过程中的空域去噪图像可以是深度图像格式，对于原始深度信息，其在去噪处理过程中的空域去噪图像可以是二维电信号图像格式。

在一个实施例中，终端基于参考去噪图像与空域去噪图像在各像素位置的像素值差异，构建目标差分图像。例如，终端获取参考去噪图像与空域去噪图像在各像素位置的像素值差值，将差值的绝对值作为目标差分图像在各像素位置的像素值。在一个实施例中，终端根据目标差分图像与融合去噪权重之间的关系，确定与目标差分图像对应的融合去噪权重。例如，终端根据目标差分图像的像素值均值与融合去噪权重之间的关系，确定与目标差分图像对应的融合去噪权重。可选地，目标差分图像的像素值均值与融合去噪权重可以呈反比。

在一个实施例中，终端根据目标差分图像的像素值均值与预设阈值之间的大小关系，确定融合去噪权重。在另一些实施例中，终端根据目标差分图像的像素值均值与预设阈值之间的大小关系，确定融合去噪权重的求解关系式，按照确定的求解关系式计算融合去噪权重；终端将目标差分图像的像素值均值与预设阈值作为自变量，根据预设的函数关系计算融合去噪权重，等等。

在一个实施例中，终端利用融合去噪权重对参考去噪图像和空域去噪图像进行时域去噪处理得到融合去噪图像，融合去噪图像可通过以下公式计算得到：

其中，fnr_frm

本实施例中，对参考去噪数据和空域去噪数据进行时域去噪处理，提高去噪的准确性和去噪效果。

在一个实施例中，基于参考去噪图像与空域去噪图像之间的差异，构建目标差分图像，包括：获取不同级别的参考去噪图像；其中，将参考去噪图像平均划分为多于一个图像块，不同级别的参考去噪图像中图像块的数量不同；获取不同级别的空域去噪图像；其中，将空域去噪图像平均划分为多于一个图像块，不同级别的空域去噪图像中图像块的数量不同；基于相同级别的参考去噪图像与空域去噪图像之间的差异，获得相应级别的差分图像；根据不同级别的差分图像生成目标差分图像。

在一个实施例中，终端将参考去噪图像平均划分为多于一个图像块，按照图像块大小的不同，得到不同级别的参考去噪图像；同理，将空域去噪图像平均划分为多于一个图像块，按照图像块大小的不同，得到不同级别的空域去噪图像；基于相同级别的参考去噪图像与空域去噪图像之间的差异，获得相应级别的差分图像；根据不同级别的差分图像生成目标差分图像。

举例说明，参照图4，可以看到，按照图像块大小的不同，得到不同级别的参考去噪图像和空域去噪图像，对每个级别的参考去噪图像和空域去噪图像分别确定相应的差分图像。

在一个实施例中，终端获取相同级别的参考去噪图像与空域去噪图像在各像素位置的像素值差值，将差值的绝对值作为相应级别的差分图像在各像素位置的像素值。在一个实施例中，终端根据不同级别的差分图像生成目标差分图像，生成方式可以是对不同级别的差分图像按照像素位置取均值、最大值或最小值等。

在一个实施例中，终端在获得目标差分图像后，可对目标差分图像进行滤波处理，以强化和平滑目标差分图像中的边界。可选地，终端先对目标差分图像进行平滑滤波处理，再基于平滑滤波结果进行膨胀处理，得到最终的目标差分图像。

在一个实施例中，将参考去噪图像平均划分为多于一个图像块，将每个图像块中各像素位置的像素值均值，作为每个图像块中每个像素位置的像素值；将空域去噪图像平均划分为多于一个图像块，将每个图像块中各像素位置的像素值均值，作为每个图像块中每个像素位置的像素值；基于相同级别的参考去噪图像与空域去噪图像之间的差异，获得相应级别的差分图像，包括：基于相同级别的参考去噪图像与空域去噪图像在各像素位置的像素值差异，获得相应级别的差分图像。

在一个实施例中，终端按照图像块大小的不同，得到不同级别的参考去噪图像和空域去噪图像，对于其中一个级别的参考去噪图像或空域去噪图像，将每个图像块中各像素位置的像素值均值，作为每个图像块中每个像素位置的像素值，这样可避免错误去噪，提高去噪的准确性。

本实施例中，按照图像块大小的不同，得到不同级别的参考去噪图像和空域去噪图像，且对于其中一个级别的参考去噪图像或空域去噪图像，将每个图像块中各像素位置的像素值均值，作为每个图像块中每个像素位置的像素值，将根据不同级别的参考去噪图像和空域去噪图像分别确定的目标差分图像进行融合，能够提高去噪的准确性。

在一个实施例中，基于参考去噪图像与空域去噪图像之间的差异，构建目标差分图像，包括：当光斑信号对应的参考去噪图像的数量为多于一个时，基于各参考去噪图像与空域去噪图像之间的差异，分别构建差分图像；根据多于一个差分图像生成目标差分图像。

在一个实施例中，终端可按照预设数量的光斑信号的接收时间，形成光斑信号序列，对于光斑信号序列中的每条光斑信号，将光斑信号序列中位于该光斑信号之前的光斑信号所对应的融合去噪数据，作为该光斑信号对应的参考去噪数据。当该光斑信号对应的参考去噪图像的数量为多于一个时，终端利用各参考去噪图像分别与空域去噪图像构建差分图像，根据多于一个差分图像生成目标差分图像。

在一个实施例中，目标差分图像可以通过以下公式计算得到：

其中，

在一个实施例中，目标差分图像还可以通过以下公式计算得到：

其中，

本实施例中，当光斑信号对应的参考去噪图像的数量为多于一个时，终端利用各参考去噪图像分别与空域去噪图像构建差分图像，根据多于一个差分图像生成目标差分图像，能够提高去噪的准确性。

在一个实施例中，对原始深度数据和融合去噪数据进行纹理融合处理，得到目标去噪数据，包括：获取原始深度数据对应的纹理值；确定纹理值对应的纹理融合权重；利用纹理融合权重对原始深度数据和融合去噪数据进行纹理融合处理，得到目标去噪数据。

在一个实施例中，终端可基于通用的边缘检测算子对原始深度数据进行检测，得到纹理值。例如，终端可基于水平Sobel算子和垂直Sobel算子对原始深度数据进行检测，生成梯度值，将该梯度值作为原始深度数据对应的纹理值。

在一个实施例中，原始深度数据对应的纹理值与纹理融合权重可呈正比。可选地，终端根据预先设置的纹理值与纹理融合权重之间的映射关系，确定纹理值对应的纹理融合权重。在一个实施例中，终端利用纹理融合权重对原始深度数据和融合去噪数据进行纹理融合处理，得到目标去噪数据，目标去噪数据通过以下公式计算得到：

本实施例中，outfrm为目标去噪数据；k为纹理融合权重；grad_val为纹理值；curfrm为原始深度数据；tnrfrm为融合去噪数据。

本实施例中，根据原始深度数据的纹理修复融合去噪数据的纹理，使得去噪处理后的目标去噪数据能够保持清晰的纹理。

在一个实施例中，融合第一去噪图像和第二去噪图像，获得与目标对象相对应的目标深度图像，包括：获取第一去噪图像和第二去噪图像在各像素位置的像素值和梯度；根据第一去噪图像和第二去噪图像在各像素位置的像素值和梯度，确定目标深度图像在各像素位置的像素值。

在一个实施例中，终端检测第一去噪图像和第二去噪图像在各像素位置的像素值和梯度，根据第一去噪图像和第二去噪图像在各像素位置的像素值和梯度，确定目标深度图像在各像素位置的像素值。

在一个实施例中，目标深度图像通过以下公式计算得到：

其中，Val

本实施例中，由于第一去噪图像具有较好的去噪效果，第二去噪图像具有较高的准确性和图像质量，将二者融合，能够获得高质量、准确的深度图像。

在一个实施例中，终端对目标对象对应的原始深度信息进行两个通路的去噪处理，第一通路是先基于原始深度信息生成原始深度图像，再对原始深度图像进行去噪处理，得到第一去噪图像，第二通路是先对原始深度信息进行去噪处理，得到预处理深度信息，再基于预处理深度信息生成第二去噪图像，最后对第一去噪图像和第二去噪图像进行融合处理，获得目标对象对应的目标深度图像，其中第一通路的去噪力度小于第二通路的去噪力度。

在一个实施例中，终端基于目标对象反射的光斑信号确定原始深度信息，先对原始深度信息进行去噪处理，得到预处理深度信息，再基于预处理深度信息生成第二去噪图像，将第二去噪图像作为目标对象对应的目标深度图像。

在一个实施例中，如图5所示，提供了一种深度图像生成方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤502，获取目标对象对应的原始深度信息，该原始深度信息是通过目标对象反射的光斑信号确定的。

步骤504，基于原始深度信息生成原始深度图像；对原始深度图像进行空域去噪处理得到第一空域去噪图像；获取不同级别的第一参考去噪图像，其中，将第一参考去噪图像平均划分为多于一个图像块，不同级别的第一参考去噪图像中图像块的数量不同，将每个图像块中各像素位置的像素值均值，作为每个图像块中每个像素位置的像素值；获取不同级别的第一空域去噪图像，其中，将第一空域去噪图像平均划分为多于一个图像块，不同级别的第一空域去噪图像中图像块的数量不同第一空域去噪图像，将每个图像块中各像素位置的像素值均值，作为每个图像块中每个像素位置的像素值；基于相同级别的第一参考去噪图像与第一空域去噪图像在各像素位置的像素值差异，获得相应级别的差分图像，根据不同级别的差分图像生成第一目标差分图像；确定与第一目标差分图像对应的融合去噪权重；利用融合去噪权重对第一参考去噪图像和第一空域去噪图像进行时域去噪处理得到第一融合去噪图像；获取原始深度图像对应的纹理值，确定纹理值对应的纹理融合权重，利用纹理融合权重对原始深度图像和第一融合去噪图像进行纹理融合处理，得到第一去噪图像。

步骤506，对原始深度信息进行空域去噪处理，得到第二空域去噪图像；获取不同级别的第二参考去噪图像，其中，将第二参考去噪图像平均划分为多于一个图像块，不同级别的第二参考去噪图像中图像块的数量不同，将每个图像块中各像素位置的像素值均值，作为每个图像块中每个像素位置的像素值；获取不同级别的第二空域去噪图像，其中，将第二空域去噪图像平均划分为多于一个图像块，不同级别的第二空域去噪图像中图像块的数量不同，将每个图像块中各像素位置的像素值均值，作为每个图像块中每个像素位置的像素值；基于相同级别的第二参考去噪图像与第二空域去噪图像在各像素位置的像素值差异，获得相应级别的差分图像，根据不同级别的差分图像生成第二目标差分图像；确定与第二目标差分图像对应的融合去噪权重；利用融合去噪权重对第二参考去噪图像和第二空域去噪图像进行时域去噪处理得到第二融合去噪图像；获取原始深度信息对应的纹理值，确定纹理值对应的纹理融合权重，利用纹理融合权重对原始深度信息和第二融合去噪图像进行纹理融合处理，得到预处理深度信息；基于预处理深度信息生成第二去噪图像。

可以理解，步骤504与步骤506中对原始深度图像和原始深度信息在去噪处理过程中的中间数据(即空域去噪图像、参考去噪图像、目标差分图像和融合去噪图像等)分别是不同的数据。为了区分，将步骤504中的中间数据分别命名为第一空域去噪图像、第一参考去噪图像、第一目标差分图像和第一融合去噪图像，将步骤506中的中间数据分别命名为第二空域去噪图像、第二参考去噪图像、第二目标差分图像和第二融合去噪图像。

步骤508，获取第一去噪图像和第二去噪图像在各像素位置的像素值和梯度，根据第一去噪图像和第二去噪图像在各像素位置的像素值和梯度，确定目标深度图像在各像素位置的像素值。

在一个实施例中，目标深度图像通过以下公式计算得到：

其中，Val

本实施例中的深度图像生成方法，对目标对象对应的原始深度信息进行两个通路的去噪处理，第一通路是先基于原始深度信息生成原始深度图像，再对原始深度图像进行去噪处理，得到第一去噪图像，第二通路是先对原始深度信息进行去噪处理，得到预处理深度信息，再基于预处理深度信息生成第二去噪图像，最后对第一去噪图像和第二去噪图像进行融合处理，获得目标对象对应的目标深度图像，由于第一去噪图像具有较好的去噪效果，第二去噪图像具有较高的准确性和图像质量，将二者融合，能够获得高质量、准确的深度图像。

应该理解的是，虽然图2、图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图6为一个实施例的深度图像生成装置的结构框图。如图6所示，提供了一种深度图像生成装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块602、第一去噪模块604、第二去噪模块606和融合模块608，其中：

获取模块602，用于获取目标对象对应的原始深度信息；第一去噪模块604，用于基于原始深度信息生成原始深度图像，对原始深度图像进行去噪处理，得到第一去噪图像；

第二去噪模块606，用于对原始深度信息进行去噪处理，得到预处理深度信息，基于预处理深度信息生成第二去噪图像；

融合模块608，用于融合第一去噪图像和第二去噪图像，获得与目标对象相对应的目标深度图像。

在一个实施例中，将原始深度图像或者原始深度信息作为原始深度数据，第一去噪模块604或第二去噪模块606还用于：对原始深度数据进行空域去噪处理，得到空域去噪数据；基于原始深度数据对应的参考去噪数据，对空域去噪数据进行时域去噪处理，得到融合去噪数据；对原始深度数据和融合去噪数据进行纹理融合处理，得到目标去噪数据；目标去噪数据为第一去噪图像或者预处理深度信息。

在一个实施例中，深度图像生成装置还包括排序模块和确定模块，获取模块602，还用于：获得目标对象反射的多于一条光斑信号；确定模块，用于：确定所述多于一条光斑信号分别对应的原始深度数据；排序模块，用于：根据多于一条光斑信号形成光斑信号序列；确定模块，还用于：根据所述多于一条光斑信号形成光斑信号序列，对于所述光斑信号序列中的每条光斑信号，根据所述光斑信号序列中位于所述光斑信号之前的光斑信号所对应的融合去噪数据，确定所述光斑信号对应的参考去噪数据，将所述光斑信号对应的参考去噪数据，作为根据所述光斑信号确定的原始深度数据所对应的参考去噪数据。

在一个实施例中，第一去噪模块604或第二去噪模块606还用于：对于光斑信号序列中的每条光斑信号，当光斑信号为光斑信号序列中的首条光斑信号时，在获得首条光斑信号对应的空域去噪数据后，对首条光斑信号对应的原始深度数据和空域去噪数据进行纹理融合处理，得到目标去噪数据。

在一个实施例中，空域去噪数据为空域去噪图像，参考去噪数据为参考去噪图像，融合去噪数据为融合去噪图像；第一去噪模块604或第二去噪模块606还用于：基于参考去噪图像与空域去噪图像之间的差异，构建目标差分图像；确定与目标差分图像对应的融合去噪权重；利用融合去噪权重对参考去噪图像和空域去噪图像进行时域去噪处理，得到融合去噪图像。

在一个实施例中，第一去噪模块604或第二去噪模块606还用于：当光斑信号对应的参考去噪图像的数量为多于一个时，基于各参考去噪图像与空域去噪图像之间的差异，分别构建差分图像；根据多于一个差分图像生成目标差分图像。

在一个实施例中，第一去噪模块604或第二去噪模块606还用于：获取不同级别的参考去噪图像；其中，将参考去噪图像平均划分为多于一个图像块，不同级别的参考去噪图像中图像块的数量不同；获取不同级别的空域去噪图像；其中，将空域去噪图像平均划分为多于一个图像块，不同级别的空域去噪图像中图像块的数量不同；基于相同级别的参考去噪图像与空域去噪图像之间的差异，获得相应级别的差分图像；根据不同级别的差分图像生成目标差分图像。

在一个实施例中，将参考去噪图像平均划分为多于一个图像块，将每个图像块中各像素位置的像素值均值，作为每个图像块中每个像素位置的像素值；将空域去噪图像平均划分为多于一个图像块，将每个图像块中各像素位置的像素值均值，作为每个图像块中每个像素位置的像素值；第一去噪模块604或第二去噪模块606还用于：基于相同级别的参考去噪图像与空域去噪图像在各像素位置的像素值差异，获得相应级别的差分图像。

在一个实施例中，第一去噪模块604或第二去噪模块606还用于通过以下公式计算融合去噪图像：

其中，fnr_frm

在一个实施例中，第一去噪模块604或第二去噪模块606还用于：获取原始深度数据对应的纹理值；确定纹理值对应的纹理融合权重；利用纹理融合权重对原始深度数据和融合去噪数据进行纹理融合处理，得到目标去噪数据。

在一个实施例中，融合模块608还用于：获取第一去噪图像和第二去噪图像在各像素位置的像素值和梯度；根据第一去噪图像和第二去噪图像在各像素位置的像素值和梯度，确定目标深度图像在各像素位置的像素值。

在一个实施例中，融合模块608还用于通过以下公式计算目标深度图像：

其中，Val

关于深度图像生成装置的具体限定可以参见上文中对于深度图像生成方法的限定，在此不再赘述。上述深度图像生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本实施例中的深度图像生成装置，对目标对象对应的原始深度信息进行两个通路的去噪处理，第一通路是先基于原始深度信息生成原始深度图像，再对原始深度图像进行去噪处理，得到第一去噪图像，第二通路是先对原始深度信息进行去噪处理，得到预处理深度信息，再基于预处理深度信息生成第二去噪图像，最后对第一去噪图像和第二去噪图像进行融合处理，获得目标对象对应的目标深度图像，由于第一去噪图像具有较好的去噪效果，第二去噪图像具有较高的准确性和图像质量，将二者融合，能够获得高质量、准确的深度图像。

上述深度图像生成装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将深度图像生成装置按照需要划分为不同的模块，以完成上述深度图像生成装置的全部或部分功能。

图7为一个实施例中电子设备的内部结构示意图。如图7所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种深度图像生成7方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal DigitalAssistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。

本申请实施例中提供的深度图像生成装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行深度图像生成方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行深度图像生成方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。