一种深度图像增强处理方法及装置

技术领域

本发明涉及图像处理领域，具体而言，涉及一种深度图像增强处理方法及装置。

背景技术

现有技术方案，多是基于RGB(Red，Green，Blue)图像和其对应的边缘信息作为引导进行双边滤波，很少考虑到深度不连续在RGB中不可见的场景，无法有效解决该场景下的边缘模糊问题。

相关技术中提出一种融合RGB图像信息的深度图像增强方法，在保证边缘清晰的前提下实现对深度图中无效区域的修复，并能提高对各个深度缺失区域边缘的锐化程度。但当目标颜色与背景的颜色相似或者纹理一样时，该方法难以从RGB中提取出到边缘信息，仍然无法有效解决增强后出现的目标边缘模糊的情况。

针对相关技术中当目标颜色与背景的颜色相似或者纹理一样时，深度图像增强后出现目标边缘模糊的问题，尚未提出解决方案。

发明内容

本发明实施例提供了一种深度图像增强处理方法及装置，以至少解决相关技术中当目标颜色与背景的颜色相似或者纹理一样时，深度图像增强后出现目标边缘模糊的问题。

根据本发明的一个实施例，提供了一种深度图像增强处理方法，包括：

在同一目标场景下，对RGB彩色相机采集的RGB图像进行边缘提取，得到第一边缘信息，并对深度相机采集的深度图像进行边缘提取，得到第二边缘信息；

根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值；

根据所述边缘信息加权值对所述深度图像进行增强处理。

可选地，根据所述边缘信息加权值对所述深度图像进行增强处理包括：

根据所述边缘信息加权值对所述深度图像进行联合双边滤波处理，得到增强处理后的深度图像。

可选地，通过以下方式根据所述边缘信息加权值对所述深度图像进行联合双边滤波处理，得到增强处理后的深度图像：

其中，P(p)为增强处理后的深度图像的像素值，p和q为像素点，I(p)、I(q)分别为所述RGB图像中像素点p、q对应的像素值，W(q)为像素点q的边缘信息加权值，D(q)为所述深度图像中像素点q对应的像素值，f

可选地，根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值包括：

通过以下方式将所述第一边缘信息与所述第二边缘信息进行融合，得到每个像素点对应的边缘信息加权值：

其中，W(q)表示像素点q对应的边缘信息加权值，

可选地，在对RGB彩色相机采集的RGB图像进行边缘提取，得到第一边缘信息，并对深度相机采集的深度图像进行边缘提取，得到第二边缘信息之前，所述方法还包括：

对所述RGB彩色相机和所述深度相机进行标定处理；

分别利用标定好的所述RGB彩色相机和所述深度相机进行图像信息采样，得到所述RGB图像与所述深度图像，其中，所述RGB相机的采样分辨率大于所述深度相机的采样分辨率。

可选地，在对RGB彩色相机采集的RGB图像进行边缘提取，得到第一边缘信息，并对深度相机采集的深度图像进行边缘提取，得到第二边缘信息之前，所述方法还包括：

对所述深度图像进行上采样，使得上采样后的所述深度图像的分辨率与所述RGB图像的分辨率相同。

可选地，对RGB彩色相机采集的RGB图像进行边缘提取，得到第一边缘信息，并对深度相机采集的深度图像进行边缘提取，得到第二边缘信息包括：

对所述RGB图像进行求导，得到所述第一边缘信息；

对上采样后的所述深度图像进行求导，得到所述第二边缘信息。

根据本发明的另一个实施例，还提供了一种深度图像增强处理装置，包括：

边缘提取模块，用于在同一目标场景下，对RGB彩色相机采集的RGB图像进行边缘提取，得到第一边缘信息，并对深度相机采集的深度图像进行边缘提取，得到第二边缘信息；

确定模块，用于根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值；

增强处理模块，用于根据所述边缘信息加权值对所述深度图像进行增强处理。

可选地，所述增强处理模块，还用于

根据所述边缘信息加权值对所述深度图像进行联合双边滤波处理，得到增强处理后的深度图像。

可选地，所述增强处理模块，还用于通过以下方式根据所述边缘信息加权值对所述深度图像进行联合双边滤波处理，得到增强处理后的深度图像：

其中，P(p)为增强处理后的深度图像的像素值，p和q为像素点，I(p)、I(q)分别为所述RGB图像中像素点p、q对应的像素值，W(q)为像素点q的边缘信息加权值，D(q)为所述深度图像中像素点q对应的像素值，f

可选地，所述确定模块，还用于通过以下方式将所述第一边缘信息与所述第二边缘信息进行融合，得到每个像素点对应的边缘信息加权值：

其中，W(q)表示像素点q对应的边缘信息加权值，

可选地，所述装置还包括：

标定处理模块，用于对所述RGB彩色相机和所述深度相机进行标定处理；

图像采集模块，用于分别利用标定好的所述RGB彩色相机和所述深度相机进行图像信息采样，得到所述RGB图像与所述深度图像，其中，所述RGB相机的采样分辨率大于所述深度相机的采样分辨率。

可选地，所述装置还包括：

上采样模块，用于对所述深度图像进行上采样，使得上采样后的所述深度图像的分辨率与所述RGB图像的分辨率相同。

可选地，所述边缘提取模块包括：

第一求导子模块，用于对所述RGB图像进行求导，得到所述第一边缘信息；

第二求导子模块，用于对上采样后的所述深度图像进行求导，得到所述第二边缘信息。

根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，在同一目标场景下，对RGB彩色相机采集的RGB图像进行边缘提取，得到第一边缘信息，并对深度相机采集的深度图像进行边缘提取，得到第二边缘信息；根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值；根据所述边缘信息加权值对所述深度图像进行增强处理，可以解决相关技术中当目标颜色与背景的颜色相似或者纹理一样时，深度图像增强后出现目标边缘模糊的问题，结合两幅图中提取的边缘信息，作为一个边缘信息加权值，进行深度图像增强，不仅能够有效的提高深度图的分辨率，且能够保证不同场景下目标增强后的边缘清晰度。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的深度图像增强处理方法的移动终端的硬件结构框图；

图2是根据本发明实施例的深度图像增强处理方法的流程图；

图3是根据本发明实施例的基于双边滤波的深度图像增强的流程图；

图4是根据本发明实施例的深度图像增强处理装置的框图；

图5是根据本发明优选实施例的深度图像增强处理装置的框图一；

图6是根据本发明优选实施例的深度图像增强处理装置的框图二。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

实施例1

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的深度图像增强处理方法的移动终端的硬件结构框图，如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的深度图像增强处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及远程登录的控制，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于上述移动终端或网络架构的深度图像增强处理方法，图2是根据本发明实施例的深度图像增强处理方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，在同一目标场景下，对RGB彩色相机采集的RGB图像进行边缘提取，得到第一边缘信息，并对深度相机采集的深度图像进行边缘提取，得到第二边缘信息；

步骤S204，根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值；

本发明实施例中，上述步骤S204具体可以包括：

通过以下方式将所述第一边缘信息与所述第二边缘信息进行融合，得到每个像素点对应的边缘信息加权值：

其中，W(q)表示像素点q对应的边缘信息加权值，

步骤S206，根据所述边缘信息加权值对所述深度图像进行增强处理。

本发明实施例中，上述步S206具体可以包括：根据所述边缘信息加权值对所述深度图像进行联合双边滤波处理，得到增强处理后的深度图像具体，可以通过以下方式得到增强处理后的深度图像：

其中，P(p)为增强处理后的深度图像的像素值，p和q为像素点，I(p)、I(q)分别为所述RGB图像中像素点p、q对应的像素值，W(q)为像素点q的边缘信息加权值，D(q)为所述深度图像中像素点q对应的像素值，f

通过上述步骤S202至S206，可以解决相关技术中当目标颜色与背景的颜色相似或者纹理一样时，深度图像增强后出现目标边缘模糊的问题，结合两幅图中提取的边缘信息，作为一个边缘信息加权值，进行深度图像增强，不仅能够有效的提高深度图的分辨率，且能够保证不同场景下目标增强后的边缘清晰度。

在一可选的实施例中，在上述步骤S202之前，对所述RGB彩色相机和所述深度相机进行标定处理；分别利用标定好的所述RGB彩色相机和所述深度相机进行图像信息采样，得到所述RGB图像与所述深度图像，其中，所述RGB相机的采样分辨率大于所述深度相机的采样分辨率，具体的，所述RGB相机的采样分辨率可以为2048*2048、1024*1024等，具体可以根据需要设置，所述RGB相机的采样分辨率为500*500等。

在另一可选的实施例中，在上述步骤S202之前，对所述深度图像进行上采样，使得上采样后的所述深度图像的分辨率与所述RGB图像的分辨率相同。对应的，上述步骤S202具体可以包括：对所述RGB图像进行求导，得到所述第一边缘信息；对上采样后的所述深度图像进行求导，得到所述第二边缘信息。

本发明实施例在目标颜色和背景颜色相似或者一致的场景下，对RGB图像进行初步的边缘提取判断，为了解决深度不连续在RGB图像中不可见的情况时提取不出有效的边缘信息，进一步在深度图中进行边缘提取，通过结合两幅图中提取的边缘信息，作为一个边缘信息加权值，最后进行联合双边滤波上采样。基于加权双边滤波的深度图增强方法，不仅能够有效的提高深度图的分辨率，而且能够保证不同场景下目标增强后的边缘清晰度。图3是根据本发明实施例的基于双边滤波的深度图像增强的流程图，如图3所示，具体可以包括：

步骤S1，对RGB彩色相机和深度相机进行标定处理。

步骤S2，分别利用标定好的相机进行图像信息采样，RGB相机的采样分辨率为2048x2048，深度相机的采样分辨率为500x500。

对深度相机采集到的低分辨率的深度图进行上采样操作，使得其分辨率和RGB相机采集的彩色图像分辨率一致。

步骤S3，分别对RGB图像和进行上采样的深度图像进行求导计算，以此来得出图像中的目标边缘信息。

步骤S4，将两幅图像求得的边缘信息进行融合，得到边缘信息权重图像。计算公式如下：

其中，

步骤S5，将RGB图像和上采样后的深度图像进行联合双边滤波处理，其中权值图像作为图像中目标的边缘信息的附加权重，一起进行联合双边滤波操作，公式如下

式中P(p)为滤波后的像素值，p和q为像素点，I(p)为点像素对应的RGB像素值，f

式中，σ表征着高斯滤波器的宽度，且和滤波后图像的平滑程度有关。其值越大，高斯滤波器的宽度越宽，滤波后的图像越平滑。

步骤S6，在保证目标边缘信息清晰的条件下，可以得到与RGB图像相同分辨率的高分辨深度图像。

移动机器人的应用场景，需要利用视觉里程计根据相邻的图像信息，定量地估计相机运动。其中最为有效的方法是利用深度传感器采集到的深度数据，在已知特征点匹配的情况下，建立两个三维目标之间的位姿估计问题，利用迭代最近点(Iterative ClosestPoint，简称为ICP)算法求解出两个三维点云之间的变换矩阵。但是，由于目前的深度图存在分辨率低、空洞和噪声等问题，容易造成ICP估计的不准确。本发明实施例，可以满足该场景。深度传感器采集到的低分辨率深度图像，通过利用高分辨率的RGB图像作为引导，结合提出的边缘置信权重进行联合双边滤波，不仅可以对低分辨的深度图像进行高分辨率的增强，而且可以有效的保证目标图像中的边缘信息的清晰度，当利用该增强后的深度图进行2D-3D的转换时，可以得到更多的三维点云信息，以此提高了两个点云目标的配准精度。

不同于其他的深度图增强方法，其具有快速和准确增强特点，特别适用强光或者目标颜色和背景相似等场景。在通过对彩色图像和RGB图像同时进利用像素的梯度进行边缘信息的提取，不仅速度快，同时，还可以有效抑制深度不连续在彩色图中不可见的特点，有效提高了本方法适用的广泛性。

实施例2

根据本发明的另一个实施例，还提供了一种深度图像增强处理装置，图4是根据本发明实施例的深度图像增强处理装置的框图，如图4所示，包括：

边缘提取模块42，用于在同一目标场景下，对RGB彩色相机采集的RGB图像进行边缘提取，得到第一边缘信息，并对深度相机采集的深度图像进行边缘提取，得到第二边缘信息；

确定模块44，用于根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值；

增强处理模块46，用于根据所述边缘信息加权值对所述深度图像进行增强处理。

可选地，所述增强处理模块46，还用于

根据所述边缘信息加权值对所述深度图像进行联合双边滤波处理，得到增强处理后的深度图像。

可选地，所述增强处理模块46，还用于通过以下方式根据所述边缘信息加权值对所述深度图像进行联合双边滤波处理，得到增强处理后的深度图像：

其中，P(p)为增强处理后的深度图像的像素值，p和q为像素点，I(p)、I(q)分别为所述RGB图像中像素点p、q对应的像素值，W(q)为像素点q的边缘信息加权值，D(q)为所述深度图像中像素点q对应的像素值，f

可选地，所述确定模块44，还用于通过以下方式将所述第一边缘信息与所述第二边缘信息进行融合，得到每个像素点对应的边缘信息加权值：

其中，W(q)表示像素点q对应的边缘信息加权值，

图5是根据本发明优选实施例的深度图像增强处理装置的框图一，如图5所示，所述装置还包括：

标定处理模块52，用于对所述RGB彩色相机和所述深度相机进行标定处理；

图像采集模块54，用于分别利用标定好的所述RGB彩色相机和所述深度相机进行图像信息采样，得到所述RGB图像与所述深度图像，其中，所述RGB相机的采样分辨率大于所述深度相机的采样分辨率。

图6是根据本发明优选实施例的深度图像增强处理装置的框图二，如图6所示，所述装置还包括：

上采样模块62，用于对所述深度图像进行上采样，使得上采样后的所述深度图像的分辨率与所述RGB图像的分辨率相同。

可选地，所述边缘提取模块42包括：

第一求导子模块，用于对所述RGB图像进行求导，得到所述第一边缘信息；

第二求导子模块，用于对上采样后的所述深度图像进行求导，得到所述第二边缘信息。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，在同一目标场景下，对RGB彩色相机采集的RGB图像进行边缘提取，得到第一边缘信息，并对深度相机采集的深度图像进行边缘提取，得到第二边缘信息；

S2，根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值；

S3，根据所述边缘信息加权值对所述深度图像进行增强处理。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

实施例4

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，在同一目标场景下，对RGB彩色相机采集的RGB图像进行边缘提取，得到第一边缘信息，并对深度相机采集的深度图像进行边缘提取，得到第二边缘信息；

S2，根据所述第一边缘信息与所述第二边缘信息确定边缘信息加权值；

S3，根据所述边缘信息加权值对所述深度图像进行增强处理。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。