深度图处理方法、装置及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及深度图处理方法、装置及存储介质。

背景技术

通过图像的深度图生成点云是大多数视觉模对的一种经典方法。由于计算资源以及硬件的限制，深度图的分辨率是有局限的。但是对于大的FOV摄像头，譬如鱼眼广角等，导致单位面积下生成的点云的点的个数有限，同时由于图像的水平和垂直特性，有些情况下生成的点云是层状的，譬如图1所示。

发明内容

鉴于以上相关技术的缺点，本公开的目的在于提供深度图处理方法、装置及存储介质，以解决相关技术利用深度图生成点云呈层状分布的技术问题。

本公开第一方面提供一种深度图处理方法，其包括：

获取深度图及与所述深度图配准的彩色图；

对所述彩色图进行目标检测，得到所述目标在所述彩色图中的第一轮廓区域；

基于所述深度图与彩色图之间的配准关系，将所述第一轮廓区域映射到所述深度图，得到所述目标在所述深度图中的第二轮廓区域；

基于插值法在所述第二轮廓区域插入像素点。

在可选实施例中，所述基于插值法在所述第二轮廓区域插入像素点，包括：

在所述第二轮廓区域中，计算相邻两个像素点之间的深度差，并根据所述深度差及深度差阈值的比较结果确定在所述相邻两个像素点之间待插入的像素点个数；

根据待插入的像素点个数在所述相邻两个像素点之间插入像素点。

在可选实施例中，所述计算相邻两个像素点之间的深度差，并根据所述深度差及深度差阈值之间的比较结果确定在所述相邻两个像素点之间待插入的像素点个数，包括：

对所述第二轮廓区域中任意4个相邻的像素点构建网格，并对沿行方向相邻的两个像素点及沿列方向相邻的两个像素点分别计算深度差，并根据所述深度差与深度差阈值的比较结果确定待插入的像素点个数。

在可选实施例中，所述计算相邻两个像素点之间的深度差，并根据所述深度差及深度差阈值之间的比较结果确定在所述相邻两个像素点之间待插入的像素点个数，还包括：

在所述网格中，确定沿第一方向排布的两对像素点，每一对像素点包含沿第二方向相邻的两个像素点，所述第一方向为行方向且所述第二方向为列方向、或者所述第一方向为列方向且所述第二方向为行方向；

对所述沿第一方向排布的两对像素点，按照如下公式计算每一对沿第二方向相邻的两个像素点之间待插入的像素点个数N：

N＝MAX(ABS(D0–D1)/T，ABS(D2–D3)/T)

其中，D0和D1为其中一对沿所述第二方向相邻的两个像素点的深度值，D2和D3为另一对沿所述第二方向相邻的两个像素点的深度值，T为深度差阈值。

在可选实施例中，根据待插入的像素点个数在所述相邻两个像素点之间插入像素点，包括：

对每一对沿所述第二方向相邻的两个像素点，根据沿所述第二方向相邻的两个像素点之间的深度差及待插入像素点个数N计算待插入像素点的深度值，使插入后沿所述第二方向任意相邻的两个像素点的深度差不超过所述深度差阈值；

根据待插入的像素点个数N及深度值，在所述相邻两个像素点之间插入像素点。

在可选实施例中，所述深度图处理方法还包括：

在沿第一方向排布的两对像素点的每一对相邻像素点之间均插入像素点的情况下，所插入像素点沿所述第一方向相邻，并根据沿所述第一方向相邻的所插入像素点之间的深度差及深度差阈值的比较结果，在沿所述第一方向相邻的所插入像素点之间再插入像素点，使再插入像素点与相邻像素点之间的深度差不超过所述深度差阈值。

在可选实施例中，所述对所述彩色图进行目标检测，得到所述目标在所述彩色图中的第一轮廓区域，包括：

对所述彩色图进行图像语义分割，得到第一轮廓区域。

在可选实施例中，所述对所述彩色图进行图像语义分割，得到第一轮廓区域，包括：

使用Mask R-CNN模型对所述彩色图进行图像语义分割，得到第一轮廓区域。

在可选实施例中，基于所述深度图与彩色图之间的配准关系，将所述第一轮廓区域映射到所述深度图，得到所述目标在所述深度图中的第二轮廓区域，包括：

基于所述深度图与彩色图之间的配准关系，将所述深度图与彩色图求交集，在所述深度图中得到与所述第一轮廓区域相交的第二轮廓区域。

在可选实施例中，将插入像素点的深度图转换成点云图。

本公开第二方面还提供一种深度图处理装置，其包括：

获取模块，获取深度图及与所述深度图配准的彩色图；

目标检测模块，对所述彩色图进行目标检测，得到所述目标在所述彩色图中的第一轮廓区域；

映射模块，基于所述深度图与彩色图之间的配准关系，将所述第一轮廓区域映射到所述深度图，得到所述目标在所述深度图中的第二轮廓区域；

插入模块，基于插值法在所述第二轮廓区域插入像素点。

本公开第三方面提供一种计算机装置，包括：通信器、存储器及处理器；通信器用于与外部通信；存储器存储有程序指令；处理器用于运行程序指令以执行如第一方面任一项的深度图处理方法。

本公开第四方面提供一种计算机可读存储介质，存储有程序指令，程序指令被运行以执行如第一方面任一项的深度图处理方法。

如上，本公开实施例中提供深度图处理方法、装置及存储介质，通过获取深度图及与所述深度图配准的彩色图，对所述彩色图进行目标检测，得到所述目标在所述彩色图中的第一轮廓区域，基于所述深度图与彩色图之间的配准关系，将所述第一轮廓区域映射到所述深度图，得到所述目标在所述深度图中的第二轮廓区域，基于插值法在所述第二轮廓区域插入像素点。

在这种情况下，利用与深度图配准的彩色图，对深度图中对应目标的第二轮廓区域进行定位，也就是能够在同一目标内对深度图进行像素点插值，从而对深度图进行像素点插值的性能进行提升。进一步地，在将深度图转换成点云时，由于插值的原因，可以降低或者避免出现点云层状分布的问题。

附图说明

图1展示使用相关技术的深度图转换得到的点云图。

图2展示本公开一种实施例的深度图处理方法的流程图。

图3展示本公开实施例的一种彩色图；

图4展示与图3所示彩色图配准的深度图；

图5展示本公开实施例的另一种彩色图；

图6展示对图5所示彩色图进行图像语义分割得到的示意图；

图7展示本公开另一种实施例的深度图处理方法的流程图；

图8展示本公开又一种实施例的深度图处理方法的流程图；

图9展示本公开实施例的像素点插值示意图；

图10展示本公开实施例的深度图处理装置的模块示意图。

图11展示本公开一实施例中计算机装置的结构示意图。

具体实施方式

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本公开所揭露的消息轻易地了解本公开的其他优点与功效。本公开还可以通过另外不同的具体实施方式加以实施或应用系统，本公开中的各项细节也可以根据不同观点与应用系统，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

下面以附图为参考，针对本公开的实施例进行详细说明，以便本公开所属技术领域的技术人员能够容易地实施。本公开可以以多种不同形态体现，并不限定于此处说明的实施例。

在本公开的表示中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的表示意指结合该实施例或示例表示的具体特征、结构、材料或者特点包括于本公开的至少一个实施例或示例中。而且，表示的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本公开中表示的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于表示目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的表示中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

为了明确说明本公开，省略与说明无关的器件，对于通篇说明书中相同或类似的构成要素，赋予了相同的参照符号。

在通篇说明书中，当说某器件与另一器件“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种器件“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素排除在外，而是意味着可以还包括其它构成要素。

虽然在一些实例中术语第一、第二等在本文中用来表示各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一接口及第二接口等表示。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在的特征、步骤、操执行、元件、模块、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操执行、元件、模块、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操执行的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

此处使用的专业术语只用于言及特定实施例，并非意在限定本公开。此处使用的单数形态，只要语句未明确表示出与之相反的意义，那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、执行业、要素及/或成份具体化，并非排除其它特性、区域、整数、步骤、执行业、要素及/或成份的存在或附加。

表示“下”、“上”等相对空间的术语可以为了更容易地说明在附图中图示的一器件相对于另一器件的关系而使用。这种术语是指，不仅是在附图中所指的意义，还包括使用中的装置的其它意义或执行业。例如，如果翻转附图中的装置，曾说明为在其它器件“下”的某器件则说明为在其它器件“上”。因此，所谓“下”的示例性术语，全部包括上与下方。装置可以旋转90°或其它角度，代表相对空间的术语也据此来解释。

虽然未不同地定义，但包括此处使用的技术术语及科学术语，所有术语均具有与本公开所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的消息相符的意义，只要未进行定义，不得过度解释为理想的或非常公式性的意义。

图2展示本公开实施例提供的深度图处理方法的流程图，本方法的执行主体可以为深度图处理系统，具体对应于服务器或图像处理终端，如图2所示，本方法包括如下步骤：

步骤210：获取深度图及与深度图配准的彩色图；

步骤220：对彩色图进行目标检测，得到目标在彩色图中的第一轮廓区域；

步骤230：基于深度图与彩色图之间的配准关系，将第一轮廓区域映射到深度图，得到目标在深度图中的第二轮廓区域；

步骤240：基于插值法在第二轮廓区域插入像素点。

使用本实施例，利用与深度图配准的彩色图，对深度图中对应目标的第二轮廓区域进行定位，也就是能够在同一目标内对深度图进行像素点插值，从而对深度图进行像素点插值的性能进行提升。进一步地，在将深度图转换成点云时，由于插值的原因，可以降低或者避免出现点云层状分布的问题。

在本公开实施例中，在具体应用场景中，可以通过光学采集设备实时地采集深度图及彩色图，以获取深度图及彩色图。这样，在使用灰度相机时，采集的彩色图为灰度图像。而在使用彩色相机时，采集的彩色图为彩色图像。

为了提升后续配准准确度，深度图及彩色图是经过配准的，也就是有相同的大小以及每个目标在所在图中的位置也是一致的，这能提升本实施例方案的可行性。因此，深度图及彩色图的拍摄位置及环境因素保持一致。

如图3和图4所示，图3为彩色图(实际为进行灰度处理后的彩色图)，图4为与图3配准的深度图。

在本公开实施例中，对彩色图进行目标检测，在于检测目标物及其第一轮廓区域及位置。这里的目标可以是人或物体等有具体轮廓的目标，这跟拍摄环境有关在此不再一一列举。

在本公开实施例中，对彩色图进行目标检测，得到目标在彩色图中的第一轮廓区域，包括：

对彩色图进行图像语义分割，得到第一轮廓区域。

其中，图像语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类，因此语义分割是从像素级别来理解图像的。比如说，属于人的像素都要分成一类，属于摩托车的像素也要分成一类，除此之外还有背景像素也被分为一类。

在本公开实施例中，图像语义分割算法可以为如下至少一种基于深度学习的图像分割算法：

基于特征编码(feature encoder based)的图像分割算法，如VGGNet、ResNet，其中VGGNet是一种深度卷积神经网络，ResNet是指残差网络；

基于区域选择(regional proposal based)的图像分割算法，如R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN、Mask Scoring R-CNN；

基于RNN的图像分割算法，如ReSeg模型、MDRNNs(Multi-Dimensional RecurrentNeural Networks)模型；

基于上采样/反卷积的图像分割算法，如FCN(Fully Convolutional Network)、SetNet；

基于提高特征分辨率的图像分割算法；

基于特征增强的分割算法；

使用CRF/MRF的图像分割算法。

在本公开实施例中，具体地，可以使用Mask R-CNN模型对彩色图进行图像语义分割，得到第一轮廓区域。具体地，将彩色图输入Mask R-CNN模型，以对彩色图基于目标的第一轮廓区域进行分割，从而对该彩色图得到多个第一轮廓区域。

Mask R-CNN是faster R-CNN的扩展形式，能够有效地检测图像中的目标，实现像素级别的图像实例分割(Instance Segmentation)，Mask R-CNN将目标物检测和分隔同时并行处理，取得较好实例分割效果。并且，Mask R-CNN训练简单，只需要在Faster R-CNN的基础上增加一个较小的开销，同时还能为每个实例生成一个高质量的分隔掩码(segmentation mask)。

在Mask R-CNN的工作中，它主要完成了三件事情：目标检测，目标分类，像素级分割。Mask R-CNN是一个两阶段的框架，第一个阶段扫描环境图像并生成候选区域提议(proposals，即有可能包含一个目标物的区域)，第二阶段分类提议并生成边界框和掩码。Mask R-CNN扩展自Faster R-CNN。Faster R-CNN是一个流行的目标检测框架，Mask R-CNN将其扩展为实例分割框架。

在本公开实施例中，除了基于深度学习的图像语义分割算法之外，图像语义分割算法还可以采用传统图像分割算法或基于边缘检测的图像分割算法等，在此不作限定。

如图5和图6所示，图5为彩色图，图6为对图5所示彩色图进行图像语义分割后的灰色图示意图，其中使用不同深度灰度表征不同物体的第一轮廓区域，其中可见各类汽车、人、马路、路边物体及楼宇等。而在实际中，可以使用不同颜色表征不同供物体的第一轮廓区域。

在本公开实施例中，基于深度图与彩色图之间的配准关系，将第一轮廓区域映射到深度图，得到目标在深度图中的第二轮廓区域，包括：

基于深度图与彩色图之间的配准关系，将深度图与彩色图求交集，在深度图中得到与第一轮廓区域相交的第二轮廓区域。

第二轮廓区域与第一轮廓区域之间的轮廓及位置基本一致，以便后面能够准确插入像素点。其中，深度图中的第二轮廓区域表征一个目标的边界，以便能够更准确地对同一目标进行像素点插值，提升本方案的可行性。

在本公开实施例中，基于插值法在第二轮廓区域插入像素点，包括：

在第二轮廓区域中，计算相邻两个像素点之间的深度差，并根据深度差及深度差阈值的比较结果确定在相邻两个像素点之间待插入的像素点个数；

根据待插入的像素点个数在相邻两个像素点之间插入像素点。

在本实施例中，深度图使用像素值表征深度值，也就是深度值是像素点的像素值。在相邻两个像素点之间的深度差较大时，具体指深度差超过深度差阈值，此时确定在该相邻两个像素点之间进行插值。

其中，待插入像素点的个数与深度差相比于深度差阈值的偏差有关，其依据是在插入像素点之后，每相邻两个像素点之间的深度差不超过深度差阈值。

在本公开实施例中，计算相邻两个像素点之间的深度差，并根据深度差及深度差阈值之间的比较结果确定在相邻两个像素点之间待插入的像素点个数，包括：

对第二轮廓区域中任意4个相邻的像素点构建网格，并对沿行方向相邻的两个像素点及沿列方向相邻的两个像素点分别计算深度差，并根据深度差与深度差阈值的比较结果确定待插入的像素点个数。

在该实施例中，在网格中，4个像素点为网格节点，且每个像素点沿行方向及列方向各自与不同像素点相邻，相邻两个像素点之间没有其他像素点。

在具体实施例中，沿着行方向及列方向依次移动，每次选择4个像素点采用如上方式构建网格，并对沿行方向相邻的两个像素点及沿列方向相邻的两个像素点分别计算深度差，并根据深度差与深度差阈值的比较结果确定待插入的像素点个数。

在本公开实施例中，计算相邻两个像素点之间的深度差，并根据深度差及深度差阈值之间的比较结果确定在相邻两个像素点之间待插入的像素点个数，还包括：

在网格中，确定沿第一方向排布的两对像素点，每一对像素点包含沿第二方向相邻的两个像素点，第一方向为行方向且第二方向为列方向、或者第一方向为列方向且第二方向为行方向；

对沿第一方向排布的两对像素点，按照如下公式计算每一对沿第二方向相邻的两个像素点之间待插入的像素点个数N：

N＝MAX(ABS(D0–D1)/T，ABS(D2–D3)/T)

其中，D0和D1为其中一对沿第二方向相邻的两个像素点的深度值，D2和D3为另一对沿第二方向相邻的两个像素点的深度值，T为深度差阈值。

在本公开实施例中，根据待插入的像素点个数在相邻两个像素点之间插入像素点，包括：

对每一对沿第二方向相邻的两个像素点，根据沿第二方向相邻的两个像素点之间的深度差及待插入像素点个数N计算待插入像素点的深度值，使插入后沿第二方向任意相邻的两个像素点的深度差不超过深度差阈值；

根据待插入的像素点个数N及深度值，在相邻两个像素点之间插入像素点。

在本实施例中，可以计算深度差与待插入像素点的个数N之间的比值，该比值表征待插入像素点与相邻节点之间的深度差，进而根据已知相邻像素点的深度值及上述比值计算待插入像素点的深度值。

在本公开实施例中，深度图处理方法还包括：

在沿第一方向排布的两对像素点的每一对相邻像素点之间均插入像素点的情况下，所插入像素点沿第一方向相邻，并根据沿第一方向相邻的所插入像素点之间的深度差及深度差阈值的比较结果，在沿第一方向相邻的所插入像素点之间再插入像素点，使再插入像素点与相邻像素点之间的深度差不超过深度差阈值。

使用本实施例，最终使得沿行方向及列方向相邻的任意两个像素点之间的深度差不会超过深度差阈值。

图7为本公开实施例提供的深度图处理方法的流程图，如图7所示，本方法包括但不限于如下步骤：

步骤710：获取深度图及与深度图配准的彩色图；

步骤720：对彩色图进行目标检测，得到目标在彩色图中的第一轮廓区域；

比值730：基于深度图与彩色图之间的配准关系，将第一轮廓区域映射到深度图，得到目标在深度图中的第二轮廓区域；

步骤740：基于插值法在第二轮廓区域插入像素点；

步骤750：将插入像素点的深度图转换成点云图。

在本实施例中，由于事先插入像素点，增加像素点密度，相应地，可以降低或消除点云图中点云层状分布的问题。

图8为本公开实施例提供的深度图处理方法的具体应用场景下的流程图，如图8所示，本方法具体包括如下步骤：

步骤810：获取经过配准的深度图D和彩色图R；

步骤820：对彩色图R进行像素级分割，分割后对应彩色图R得到多个区域R1…Rn；

步骤830：把R1…Rn从彩色图1:1映射到深度图D，得到相同的区域D1…Dn。

这样，对深度图的每个区域Di做如下相同的插值方案：

步骤840：设置深度差阈值T，其表征插入像素点之后相邻像素点深度差不超过T；

步骤850：参考图9所示，对于区域Di中任意相邻的4个像素点D0、D1、D2和D3的网格，确定x和y方向各需要插值的像素点个数Nx及Ny，譬如x方向需要插值的像素点个数：Nx＝MAX(ABS(D0–D1)/T，ABS(D2–D3)/T)，y方向需要插值的像素点个数：Ny＝MAX(ABS(D0–D2)/T，ABS(D1–D3)/T)，该公式表示两条边中取计算得到的最大值，其中x方向和y方向分别对应上文的行方向和列方向；

步骤860：根据Nx和Ny，平分到网格中，得出需要插值的像素点的总个数(浅色点)；

步骤870：对每个像素点根据其位置进行双线性插值得到对应的深度值；

步骤880：根据深度值和位置进行2d到3d的映射，得到点云图。

如图10所示，展示本公开一实施例的深度图处理装置的模块示意图。需说明的是，深度图处理装置的原理可以参考之前实施例中的深度图处理方法，故此处不对相同技术内容执行重复赘述。

深度图处理装置1000可以包括：

获取模块1010，获取深度图及与深度图配准的彩色图；

目标检测模块1020，对彩色图进行目标检测，得到目标在彩色图中的第一轮廓区域；

映射模块1030，基于深度图与彩色图之间的配准关系，将第一轮廓区域映射到深度图，得到目标在深度图中的第二轮廓区域；

插入模块1040，基于插值法在第二轮廓区域插入像素点。

在一些实施例中，插入模块1040具体用于：

在第二轮廓区域中，计算相邻两个像素点之间的深度差，并根据深度差及深度差阈值的比较结果确定在相邻两个像素点之间待插入的像素点个数；

根据待插入的像素点个数在相邻两个像素点之间插入像素点。

在一些实施例中，插入模块1040具体还用于：

对第二轮廓区域中任意4个相邻的像素点构建网格，并对沿行方向相邻的两个像素点及沿列方向相邻的两个像素点分别计算深度差，并根据深度差与深度差阈值的比较结果确定待插入的像素点个数。

在一些实施例中，插入模块1040具体还用于：

在网格中，确定沿第一方向排布的两对像素点，每一对像素点包含沿第二方向相邻的两个像素点，第一方向为行方向且第二方向为列方向、或者第一方向为列方向且第二方向为行方向；

对沿第一方向排布的两对像素点，按照如下公式计算每一对沿第二方向相邻的两个像素点之间待插入的像素点个数N：

N＝MAX(ABS(D0–D1)/T，ABS(D2–D3)/T)

其中，D0和D1为其中一对沿第二方向相邻的两个像素点的深度值，D2和D3为另一对沿第二方向相邻的两个像素点的深度值，T为深度差阈值。

在一些实施例中，插入模块1040具体还用于：

对每一对沿第二方向相邻的两个像素点，根据沿第二方向相邻的两个像素点之间的深度差及待插入像素点个数N计算待插入像素点的深度值，使插入后沿第二方向任意相邻的两个像素点的深度差不超过深度差阈值；

根据待插入的像素点个数N及深度值，在相邻两个像素点之间插入像素点。

在一些实施例中，插入模块1040具体还用于：

在沿第一方向排布的两对像素点的每一对相邻像素点之间均插入像素点的情况下，所插入像素点沿第一方向相邻，并根据沿第一方向相邻的所插入像素点之间的深度差及深度差阈值的比较结果，在沿第一方向相邻的所插入像素点之间再插入像素点，使再插入像素点与相邻像素点之间的深度差不超过深度差阈值。

在一些实施例中，目标检测模块1020具体用于：

对彩色图进行图像语义分割，得到第一轮廓区域。

在一些实施例中，目标检测模块1020具体还用于：

使用Mask R-CNN模型对彩色图进行图像语义分割，得到第一轮廓区域。

在一些实施例中，映射模块1030具体用于：

基于深度图与彩色图之间的配准关系，将深度图与彩色图求交集，在深度图中得到与第一轮廓区域相交的第二轮廓区域。

在一些实施例中，深度图处理模块还用于，将插入像素点的深度图转换成点云图。

需特别说明的是，在图10实施例中的各个功能模块，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以程序指令产品的形式实现。程序指令产品包括一个或多个程序指令。在计算机上加载和执行程序指令指令时，全部或部分地产生按照本公开的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。程序指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。

并且，图10实施例所揭露的装置，可通过其它的模块划分方式实现。以上所表示的装置实施例仅仅是示意性的，例如模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或模块可以结合或者可以动态到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接于可以是通过一些接口，装置或模块的间接耦合或通信连接于，可以是电性或其它的形式。

另外，图10实施例中的各功能模块及子模块可以动态在一个处理部件中，也可以是各个模块单独物理存在，也可以两个或两个以上模块动态在一个部件中。上述动态的部件既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述动态的部件如果以软件功能模块的形式实现并执行为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。

本公开实施例中还可以提供一种计算机可读存储介质，存储有程序指令，程序指令被运行时执行之前图2实施例中的方法步骤。

上述实施例中的方法步骤被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此表示的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。

需特别说明的是，本公开上述实施例的流程图表示的流程或方法表示可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。

例如，图2所示实施例中的各个步骤的顺序可能可以在具体场景中加以变化，并非以上述表示为限。

如图11所示，展示本公开一实施例中计算机装置的结构示意图。

在一些实施例中，计算机装置用于装载实现深度图处理方法的程序指令。计算机装置具体可实现为例如服务器、台式机、笔记本电脑、移动终端等，而可能被基于开发、测试等商业目的而存储和/或运行此程序指令的实施者所使用。

图11展示的计算机装置1100仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图11所示，计算机装置1100以通用计算设备的形式表现。计算机装置1100的组件可以包括但不限于：上述至少一个处理单元1110、上述至少一个存储单元1120、连接不同系统组件(包括存储单元1120和处理单元1110)的总线1130。

其中，存储单元存储有程序代码，程序代码可以被处理单元1110执行，使得计算机装置用于实现本公开上述实施例(例如图2实施例)中描述方法步骤。

在一些实施例中，存储单元1120可以包括易失性存储单元，例如随机存取存储单元(RAM)1121和/或高速缓存存储单元1122，还可以进一步包括只读存储单元(ROM)1123。

在一些实施例中，存储单元1120还可以包括具有一组(至少一个)程序模块1125的程序/实用工具1124，这样的程序模块1125包括但不限于：操执行系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

在一些实施例中，总线1130可以包括数据总线、地址总线和控制总线。

在一些实施例中，计算机装置1100也可以与一个或多个外部设备1200(例如键盘、指向设备、蓝牙设备等)通信，这种通信可以通过输入/输出(I/O)接口1150进行。可选的，计算机装置1100还包括显示单元1140，其连接到输入/输出(I/O)接口1150，用于进行显式。并且，计算机装置1100还可以通过网络适配器1160与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1160通过总线1130与计算机装置1100的其它模块通信。应当明白，尽管图中未示出，可以结合计算机装置1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

综上，本公开实施例中提供深度图处理方法、装置及存储介质，通过获取深度图及与深度图配准的彩色图，对彩色图进行目标检测，得到目标在彩色图中的第一轮廓区域，基于深度图与彩色图之间的配准关系，将第一轮廓区域映射到深度图，得到目标在深度图中的第二轮廓区域，基于插值法在第二轮廓区域插入像素点。

在这种情况下，利用与深度图配准的彩色图，对深度图中对应目标的第二轮廓区域进行定位，也就是能够在同一目标内对深度图进行像素点插值，从而对深度图进行像素点插值的性能进行提升。进一步地，在将深度图转换成点云时，由于插值的原因，可以降低或者避免出现点云层状分布的问题。

上述实施例仅例示性说明本公开的原理及其功效，而非用于限制本公开。任何熟悉此技术的人士皆可在不违背本公开的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本公开所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本公开的权利要求所涵盖。