图像处理方法、装置以及电子设备

技术领域

本申请涉及图像处理技术领域，更具体地，涉及一种图像处理方法、装置以及电子设备。

背景技术

在电子设备配置有图像采集装置后，电子设备可以通过该图像采集装置来进行图像采集。例如，拍摄图片或者录制视频等。而随着图像采集装置的升级，部分图像采集装置可以采集深度图像，但是相关的图像采集装置所采集的深度图像的通常存在分辨率低下的问题。

发明内容

鉴于上述问题，本申请提出了一种图像处理方法、装置以及电子设备，以实现改善上述问题。

第一方面，本申请提供了一种图像处理方法，应用于电子设备，所述方法包括：获取第一深度图像以及与所述第一深度图像对应的彩色图像；对所述第一深度图像进行插值处理，得到参考深度图像；基于所述参考深度图像得到对应的数据保真约束函数，以及基于所述参考深度图像以及所述彩色图像得到平滑特性约束函数；基于所述数据保真约束函数以及所述平滑特性约束函数，得到深度图像表达函数；基于最优化方式获取所述深度图像表达函数对应的解，以得到参考深度图像中每个像素对应的更新后的深度值，并基于所述更新后的深度值得到第二深度图像。

第二方面，本申请提供了一种图像处理装置，运行于电子设备，所述装置包括：图像输入单元，用于获取第一深度图像以及与所述第一深度图像对应的彩色图像；插值处理单元，用于对所述第一深度图像进行插值处理，得到参考深度图像；第一函数生成单元，用于基于所述参考深度图像得到对应的数据保真约束函数，以及基于所述参考深度图像以及所述彩色图像得到平滑特性约束函数；第二函数生成单元，用于基于所述数据保真约束函数以及所述平滑特性约束函数，得到深度图像表达函数；图像处理单元，用于基于最优化方式获取所述深度图像表达函数对应的解，以得到参考深度图像中每个像素对应的更新后的深度值，并基于所述更新后的深度值得到第二深度图像。

第三方面，本申请提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

第四方面，本申请提供的一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。

本申请提供的一种图像处理方法、装置以及电子设备，在获取第一深度图像以及与所述第一深度图像对应的彩色图像后，对所述第一深度图像进行插值处理，得到参考深度图像，然后基于所述参考深度图像得到对应的数据保真约束函数，以及基于所述参考深度图像以及所述彩色图像得到平滑特性约束函数，进而基于所述数据保真约束函数以及所述平滑特性约束函数，得到深度图像表达函数，最终基于最优化方式获取所述深度图像表达函数对应的解，以得到参考深度图像中每个像素对应的更新后的深度值，并基于所述更新后的深度值得到第二深度图像。

从而通过上述方式可以使得在得到第一深度图像以及与所述第一深度图像对应的彩色图像后，可以得到分辨率提升后的第二深度图像，进而实现了在原本的深度图像分辨率交底的情况下，可以通过与原本的深度图像对应的彩色图像来实现对原本的深度图像进行分辨率提升。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请提出的一种图像处理方法的流程图；

图2示出了本申请提出的一种彩色图像与深度图像对应的示意图；

图3示出了本申请提出的两个图像中位置对应的像素的示意图；

图4示出了本申请提出的另一种图像处理方法的流程图；

图5示出了图4所示的图像处理方法的流程图中S240的一种流程图；

图6示出了本申请提出的像素的邻域的示意图；

图7示出了图4所示的图像处理方法的流程图中S250的一种流程图；

图8示出了本申请提出的再一种图像处理方法的流程图；

图9示出了本申请提出的又一种图像处理方法的流程图；

图10示出了本申请提出的另一种图像处理装置的结构框图；

图11示出了本申请提出的再一种图像处理装置的结构框图；

图12示出了本申请提出的一种电子设备的结构框图；

图13是本申请实施例的用于保存或者携带实现根据本申请实施例的图像处理方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着更多的电子设备配置有图像采集装置，电子设备用户更加习惯使用电子设备的图像采集装置进行图像采集。例如，使用电子设备拍摄图片，或者使用电子设备采集视频等。而随着图像采集装置的升级，部分图像采集装置可以采集深度图像。其中，深度图像(depth image)也被称为距离影像(range image)，是指将从图像采集装置到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图像经过坐标转换可以计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图像数据。

但是，发明人在对具备采集深度图像的图像采集器件进行研究中发现，相关的图像采集装置所采集的深度图像的通常存在分辨率低下的问题，进而造成电子设备后续可能无效有效的对所采集的深度图像进行利用。

因此，发明人提出了本申请中的一种图像处理方法、装置以及电子设备，在获取第一深度图像以及与所述第一深度图像对应的彩色图像后，对所述第一深度图像进行插值处理，得到参考深度图像，然后基于所述参考深度图像得到对应的数据保真约束函数，以及基于所述参考深度图像以及所述彩色图像得到平滑特性约束函数，进而基于所述数据保真约束函数以及所述平滑特性约束函数，得到深度图像表达函数，最终基于最优化方式获取所述深度图像表达函数对应的解，以得到参考深度图像中每个像素对应的更新后的深度值，并基于所述更新后的深度值得到第二深度图像。

从而通过上述方式可以使得在得到第一深度图像以及与所述第一深度图像对应的彩色图像后，可以得到分辨率提升后的第二深度图像，进而实现了在原本的深度图像分辨率交底的情况下，可以通过与原本的深度图像对应的彩色图像来实现对原本的深度图像进行分辨率提升。

请参阅图1，本申请提供的一种图像处理方法，应用于电子设备，所述方法包括：

S110：获取第一深度图像以及与所述第一深度图像对应的彩色图像。

其中，需要说明的是，深度图像是包含与视点的场景对象的表面的距离有关的信息的图像。彩色图像可以理解为每个像素由多个颜色通道的分量构成的图像。其中，多个颜色通道可以为RGB模式的颜色通道，也可以为基于CMYK模式的颜色通道。而本申请实施例中所提供的图像处理方法是可以通过彩色图像来对深度图像的分辨率进行提升，那么用于对深度图像进行分辨率提升的彩色图像的图像内容则会和需要进行分辨率提升的深度图像的图像内容是有关联的。

其中，与彩色图像对应的深度图像中的像素的像素值，可以表征对应彩色图像所表征内容与图像采集器件之间的距离。若通过图像采集器件对指定区域内的物体进行图像采集得到了一副彩色图像，那么该彩色图像所表征内容为该指定区域内的物体，进而与该所采集的彩色图像对应的深度图像中的像素值则会表征该指定区域内的物体与图像采集器件之间的距离，对应的，该所采集的彩色图像对应的深度图像可以为表征该指定区域内的物体与图像采集器件之间的距离的图像。示例性的，如图2所示，若通过图像采集器件对区域10中的阴影范围内的物体进行图像采集，则可以得到彩色图像11和深度图像12，其中，彩色图像11的内容则为该阴影范围内的物体，深度图像12则表征的是阴影范围内的物体与图像采集器件之间的距离。那么基于上述内容可以理解的是，本实施例中的第一深度图像可以为表征所对应的彩色图像中的物体与图像采集器件之间的距离的图像。

需要说明的是，该图像采集装置可以包括有多个图像采集器件，例如，可以包括有彩色图像采集器件以及深度图像采集器件。那么在彩色图像和深度图像分别是由不同的图像采集器件进行采集的情况下，前述介绍的物体与图像采集装置之间的距离则可以理解为物体与图像采集装置之间的距离。

在本申请实施例中，第一深度图像与对应的彩色图像之间可以已经处于对齐状态。其中，图像对齐可以理解为对图像进行视角上的转换，进而使得原本内容相同但是视角的不同的两张图像可以变得视角也相同，从而实现两张图像对应位置的像素具有相同的语义。其中，两张图像对应位置的像素可以理解为，两张图像中位置相同的两个像素。示例性的，如图3所示，图像14中的像素141的坐标为(1,1)，图像15中的像素151的坐标为(1,1)，那么像素141在图像14中的位置与像素151在图像15中的位置是相同的，那么像素141和像素151则可以称为图像14和图像15这两个图像中位置对应的两个像素。

并且，在本实施例中可以有多种方式来获取得到第一深度图像以及与所述第一深度图像对应的彩色图像。

作为一种方式，所述电子设备包括图像采集装置，所述获取第一深度图像以及与所述第一深度图像对应的彩色图像，包括：获取所述图像采集装置采集的第一初始深度图像以及第一初始彩色图像；对所述第一初始深度图像以及第一初始彩色图像进行对齐，得到第一深度图像以及与所述第一深度图像对应的彩色图像。需要说明的是，电子设备的图像采集装置可以同时包括有彩色图像采集器件以及深度图像采集器件，但是该彩色图像采集器件以及深度图像采集器件是会分别设置在电子设备中的不同的位置的，进而使得在进行图像采集的过程中，对于同一个物体而言，彩色图像采集器件以及深度图像采集器件的视角是不同，那么为了便于后续进行深度图像的分辨率的提升过程中，能够更好将深度图像和彩色图像中的像素进行对应，则可以对彩色图像采集器件所采集的第一初始彩色图像，以及深度图像采集器件所采集的第一初始深度图像进行图像对齐，进而得到第一深度图像以及与所述第一深度图像对应的彩色图像。

可选的，在本申请实施例中，图像对齐的过程可以包括提取两幅图像各自的特征点，对两幅图像的特征点集进行匹配得到最优匹配，再利用仿射变换或者透视变换等优化两幅图像之间的对应关系，从而求得最优变换参数，最终可利用最优化参数，将其中一幅图像变形为与另外一幅图像同样的空间布局。在本实施例中，因为彩色图像相比第一深度图像具有更多的图像信息，则可以为将彩色图像变形为与第一深度图像同样的空间布局。

作为另外一种方式，本申请实施例提供的图像处理方法可以用于对数据集中的图像进行处理。那么所述获取第一深度图像以及与所述第一深度图像对应的彩色图像，包括：从指定数据集中获取第二初始深度图像以及与所述第二初始深度图像对应的第二初始彩色图像，所述第二初始彩色图像与所述第二初始深度图像处于对齐状态；在所述第二初始深度图像中添加高斯噪声，得到带噪深度图像；对所述带噪深度图像进行下采样得到第一深度图像，并将所述第二初始彩色图像作为与所述第一深度图像对应的彩色图像。

需要说明的是，在从数据集中获取第二初始深度图像以及与所述第二初始深度图像对应的第二初始彩色图像的这种方式中，第二初始深度图像以及第二初始彩色图像可能是已经经过优化处理后的图像，该优化处理可以包括去除图像中的噪声，并且，该第二初始深度图像的分辨率与第二初始彩色图像的分辨率可能是相同的，那么为了能够更好的在处理数据集的图像中的这种方式中，更好的体现本申请实施例中的方法的实际效果，则可以通过在所述第二初始深度图像中添加高斯噪声，得到带噪深度图像的方式使得带噪深度图像可以模拟实际的图像采集过程所采集的深度图像。

并且，通过图像采集器件所采集的深度图像的分辨率通常是低于对应的采集图像的分辨率的，那么通过对带噪深度图像进行下采样以降低分辨率的方式，可以得到本申请实施例中所需的第一深度图像。

S120：对所述第一深度图像进行插值处理，得到参考深度图像。

其中，对图像进行插值处理就是利用原始图像中已知邻近像素点的灰度值(或彩色图像中的三色值)来产生未知像素点的灰度值，以便由原始图像再生出具有更高分辨率的图像。在本申请实施例中，可以基于双三次插值的方式对第一深度图像进行插值处理。双三次插值又叫双立方插值，用于在图像中“插值”(Interpolating)或增加“像素”(Pixel)数量/密度，以增加图像中的数据，以便可以增大图像的面积以及(或者)分辨率。

需要说明的是，在本实施例中第一深度图像的分辨率可能是低于实际对应的彩色图像的分辨率的，那么通过对第一深度图像进行插值处理所得到的参考深度图像的分辨率则可以与彩色图像的分辨率相同。示例性的，彩色图像的分辨率可以为320×320，第一深度图像的分辨率可以为40×40，那么通过对第一深度图像进行插值处理后得到的参考深度图像的分辨率则可以为320×320。

S130：基于所述参考深度图像得到对应的数据保真约束函数，以及基于所述参考深度图像以及所述彩色图像得到平滑特性约束函数。

通过前述步骤所得到的参考深度图像相比于第一深度图像而言，已经实现了在分辨率上的提升，那么在后续的步骤中则需要再继续获取得到参考深度图像中每个像素对应的深度值。

其中，数据保真约束函数用于保证超分辨后得到的图像(即参考深度图像在经过后续计算出的深度值进行每个像素的深度值更新后)所表征的图像内容不会变换。比如，原来的第一深度图像中所表征的是一只的猫，那么在经过后续计算出的深度值进行每个像素的深度值更新后的图像需要依然表征的是原来那只猫。那么数据保真约束函数可以理解为一个约束，即对超分辨后得到的图像(即经过后续计算出的深度值进行每个像素的深度值更新后的图像)和原图(可以为第一深度图像，也可以为参考深度图像)的差距尽可能小，这就是数据保真项的含义。

平滑特性约束函数用于避免超分辨后得到的图像存在局部的突变或者噪声。

S140：基于所述数据保真约束函数以及所述平滑特性约束函数，得到深度图像表达函数。

可选的，在本申请实施例中可以将数据保真约束函数以及所述平滑特性约束函数相加得到深度图像表达函数。示例性的，若数据保真约束函数为E

F＝E

S150：基于最优化方式获取所述深度图像表达函数对应的解，以得到参考深度图像中每个像素对应的更新后的深度值，并基于所述更新后的深度值得到第二深度图像。

其中，需要说明的是数据保真约束函数以及所述平滑特性约束函数中的都各自有表征第二深度图像的自变量，而该F则可以理解为对应于表征第二深度图像的自变量所对应的因变量，那么在基于最优化方式获取所述深度图像表达函数对应的解的过程则可以理解为获取当F最小时，表征第二深度图像的自变量的值作为参考深度图像中每个像素对应的更新后的深度值(即为第二深度图像中每个像素的深度值)。其中，需要说明的是，深度图像为一个二维图像，那么表征第二深度图像的自变量对应的解则可以理解为一个二维矩阵，而该二维矩阵中的元素则为二维的第二深度图像中每个像素对应的深度值。

本申请提供的一种图像处理方法，在获取第一深度图像以及与所述第一深度图像对应的彩色图像后，对所述第一深度图像进行插值处理，得到参考深度图像，然后基于所述参考深度图像得到对应的数据保真约束函数，以及基于所述参考深度图像以及所述彩色图像得到平滑特性约束函数，进而基于所述数据保真约束函数以及所述平滑特性约束函数，得到深度图像表达函数，最终基于最优化方式获取所述深度图像表达函数对应的解，以得到参考深度图像中每个像素对应的更新后的深度值，并基于所述更新后的深度值得到第二深度图像。

从而通过上述方式可以使得在得到第一深度图像以及与所述第一深度图像对应的彩色图像后，可以得到分辨率提升后的第二深度图像，进而实现了在原本的深度图像分辨率交底的情况下，可以通过与原本的深度图像对应的彩色图像来实现对原本的深度图像进行分辨率提升。

请参阅图4，本申请提供的一种图像处理方法，应用于电子设备，所述方法包括：

S210：获取第一深度图像以及与所述第一深度图像对应的彩色图像。

S220：对所述第一深度图像进行插值处理，得到参考深度图像。

S230：基于所述参考深度图像得到对应的数据保真约束函数。

可选的，在本实施例中，数据保真约束函数的表达式如下：

其中，D

S240：基于所述参考深度图像中每个像素的邻域中第一像素的邻域以及第二像素的邻域，确定所述参考深度图像中每个像素对应的自适应参数，其中，所述第一像素为每个像素的邻域中对应深度值最小的像素，所述第二像素为每个像素的邻域中对应深度值最大的像素。

在本申请实施例中，自适应参数可以起到保留参考深度图像中的上边缘的作用。

作为一种方式，如图5所示，所述基于所述参考深度图像中每个像素的邻域中第一像素的邻域以及第二像素的邻域，确定所述参考深度图像中每个像素对应的自适应参数，包括：

S241：获取第一中间值，所述第一中间值为参考深度图像中每个像素的邻域中第一像素的邻域所包括像素的像素值之和。

可选的，可以基于下列公式来计算得到第一中间值，该公式为：

其中，X

其中，像素的邻域可以理解为包围该像素的像素所组成的区域。示例性的如图6所示，对于其中的像素a而言，包括该像素a的像素包括像素b、像素e以及像素d。那么像素a的邻域中所包括的像素则会有像素b、像素e以及像素d。再例如，包围像素e的像素有像素a、像素b、像素c、像素d、像素f、像素g、像素h以及像素k，那么像素e的邻域中的像素则会包括有像素a、像素b、像素c、像素d、像素f、像素g、像素h以及像素k。

那么在计算像素a对应的自适应参数的过程中，若像素e为第一像素，那么像素a对应的第一中间值则为像素a、像素b、像素c、像素d、像素f、像素g、像素h以及像素k各自像素值的和。

S242：获取第二中间值，所述第二中间值为参考深度图像中每个像素的邻域中第二像素的邻域所包括像素的像素值之和。

可选的，可以基于下列公式来计算得到第二中间值，该公式为：

其中，X

S243：获取所述第一中间值与所述第二中间值的比值作为每个像素对应的中间变量。

可选的，可以通过下列公式来计算得到中间变量，该公式为：

其中，的O表征的是参考深度图像，θ

S244：基于中间变量与自适应参数的对应关系以及每个像素对应的中间变量，得到每个像素对应的自适应参数。

其中，μ表征的是每个像素对应的自适应参数。当θ

S250：基于所述彩色图像中每个像素各自对应的多个颜色通道的值，确定所述彩色图像中每个像素对应的权重系数。

作为一种方式，如图7所示，所述基于所述彩色图像中每个像素各自对应的多个颜色通道的值，确定所述彩色图像中每个像素对应的权重系数，包括：

S251：获取所述彩色图像中当前像素的第三中间值，所述第三中间值为第一指定指数函数的值，所述第一指定指数函数的底数为e，指数为所述当前像素与所述当前像素的邻域中的目标像素的位置信息的差值的平方与第一中间参数的比值对应的负数。

可选的，可以通过下列公式来计算得到第三中间值，该公式为：

需要说明的是，对于正在计算权重系数的当前像素而言，权重系数是相对于两个像素之间的值。在该公式中，i表征的是当前像素，j表征的是当前像素的邻域中的目标像素。其中的i-j则表征的是像素i和像素j之间的欧氏距离。

S252：获取所述彩色图像中当前像素的第四中间值，所述第四中间值为第二指定指数函数的值，所述第二指定指数函数的底数为e，指数为所述当前像素与所述当前像素的邻域中的目标像素的在多个颜色通道上的像素差值的平方的和，与第二中间参数的比值对应的负数。

可选的，可以通过下列公式来计算得到第四中间值，该公式为：

其中，

S253：获取所述当前像素的第三中间值与所述第四中间值的乘积，作为所述当前像素对应的权重系数。

那么可以通过下列公式来计算得到该当前像素对应的权重系数，该公式为：

其中，

S260：基于所述参考深度图像中每个像素对应的自适应参数，以及所述彩色图像中每个像素对应的权重系数，得到平滑特性约束函数。

可选的，平滑特性约束函数的表达式如下：

其中，D

需要说明的是，对于上述公式中的

S270：基于所述数据保真约束函数以及所述平滑特性约束函数，得到深度图像表达函数。

S280：基于最优化方式获取所述深度图像表达函数对应的解，以得到参考深度图像中每个像素对应的更新后的深度值，并基于所述更新后的深度值得到第二深度图像。

本申请提供的一种图像处理方法，从而通过上述方式可以使得在得到第一深度图像以及与所述第一深度图像对应的彩色图像后，可以得到分辨率提升后的第二深度图像，进而实现了在原本的深度图像分辨率交底的情况下，可以通过与原本的深度图像对应的彩色图像来实现对原本的深度图像进行分辨率提升。并且，在本申请实施例中还会基于所述参考深度图像中每个像素的邻域中第一像素的邻域以及第二像素的邻域，确定所述参考深度图像中每个像素对应的自适应参数，进而可以在提升深度图像的深度的同时有效的保留深度图像中的边缘信息，以便在提升分辨率的同时避免造成深度图像的内容的改变。

请参阅图8，本申请提供的一种图像处理方法，应用于电子设备，所述方法包括：

S310：获取第一深度图像以及与所述第一深度图像对应的彩色图像。

S320：对所述第一深度图像进行插值处理，得到参考深度图像。

S330：基于所述参考深度图像得到对应的数据保真约束函数，以及基于所述参考深度图像以及所述彩色图像得到平滑特性约束函数。

S340：获取深度约束函数。

可选的，该深度约束函数的表达式可以如下：

其中，深度约束函数的引入主要是为了抑制由于彩色图像引导信息(例如，前述的权重参数)过强造成的伪影现象。伪影现象通俗的可以理解为超分辨率重建的深度图像(即后续的第二图像)的局部出现深度值变化过大或者过小现象。因此这里需要施加一个约束，使得深度图像上每个像素的深度和周围深度值相差不是很大，从而抑制伪影现象。

S350：基于所述数据保真约束函数、所述平滑特性约束函数以及所述深度约束参数，得到深度图像表达函数。

在本实施例中，在引入深度约束函数后，可以得到的深度图像表达函数如下：

F＝E

S360：基于最优化方式获取所述深度图像表达函数对应的解，以得到参考深度图像中每个像素对应的更新后的深度值，并基于所述更新后的深度值得到第二深度图像。

需要说明的是，在本申请实施例中深度图像的像素对应的像素值本身表征的就是深度，进而深度图像中像素对应的像素值实际可以理解为该像素对应的像素值。

本申请提供的一种图像处理方法，从而通过上述方式可以使得在得到第一深度图像以及与所述第一深度图像对应的彩色图像后，可以得到分辨率提升后的第二深度图像，进而实现了在原本的深度图像分辨率交底的情况下，可以通过与原本的深度图像对应的彩色图像来实现对原本的深度图像进行分辨率提升。并且，在本实施例中还引入了深度约束函数，进而在获取深度图像表达函数的中会包括深度约束函数，进而实现去除深度图噪声并抑制由于彩色图像作为引导图像可能产生的伪影现象。

下面再通过一个流程图，如图9所示，对本申请实施例涉及的一种图像处理方法的流程进行介绍。

获取原始深度图以及与该原始深度图对应的彩色图像。

其中，需要说明的是原始深度图与彩色图像为处于对齐状态，且它们的分辨率都相同，例如，可以均为320×320。可选的，这里的原始深度图以及与该原始深度图对应的彩色图像可以为从Middlebury数据集中获取得到。

对原始深度图增加高斯噪声，得到带噪深度图。

对带噪深度图进行下采样，得到分辨率相对原始深度图更低的深度图。可选的，这里的下采样可以为八倍下采样，进而得到分辨率为40×40的深度图。

对下采样后的深度图进行插值处理，得到初始高分辨率深度图。

对应的，这里的插值处理的程度与前述下采样的程度是对应的，进而使得通过对下采样后的深度图进行插值处理，所得到的初始高分辨率深度图的分辨率与原始深度图对应的彩色图像的分辨率一致。

可以理解的是，本实施例中的初始高分辨率深度图可以理解为前述实施例中的参考深度图像。

基于该初始高分辨率深度图得到数据保真项以及计算自适应参数。该数据保真项可以理解为前述实施例中的数据保真约束函数。

基于彩色图像计算权重系数。

基于自适应参数以及权重系数获取得到带权正则项。

本实施例中的带权正则项可以理解为前述的平滑特性约束函数。

获取全变分正则项。

本实施例中的全变分正则项可以理解为前述的深度约束函数。

构建包括数据保真项、带权正则项以及全变分正则项的完整深度图超分辨率模型。可选的，该完整深度图超分辨率模型可以理解为前述实施例中的深度图像表达函数。

通过对该完整深度图超分辨率模型进行求解，得到超分辨率重建深度图。

其中，对该完整深度图超分辨率模型进行求解，可以理解为前述的基于最优化方式获取所述深度图像表达函数对应的解。

需要说明的是，在本申请实施例中作为引导图像的彩色图像计算权重参数方式不局限于以指数为底数的计算方式，也可以三角函数的形式或是其他函数形式进行计算。再者，完整深度图超分辨率模型的构建不局限于数据保真项，带权正则项以及全变分正则项三项，也可以增加其他用于保留深度图对象边缘的正则项。

请参阅图10，本申请提供的种图像处理装置400，运行于电子设备，所述装置400包括：

图像输入单元410，用于获取第一深度图像以及与所述第一深度图像对应的彩色图像。

作为一种方式，图像输入单元410，具体用于获取所述图像采集装置采集的第一初始深度图像以及第一初始彩色图像；对所述第一初始深度图像以及第一初始彩色图像进行对齐，得到第一深度图像以及与所述第一深度图像对应的彩色图像。

作为另外一种方式，图像输入单元410，具体用于从指定数据集中获取第二初始深度图像以及与所述第二初始深度图像对应的第二初始彩色图像，所述第二初始彩色图像与所述第二初始深度图像处于对齐状态；在所述第二初始深度图像中添加高斯噪声，得到带噪深度图像；对所述带噪深度图像进行下采样得到第一深度图像，并将所述第二初始彩色图像作为与所述第一深度图像对应的彩色图像。

插值处理单元420，用于对所述第一深度图像进行插值处理，得到参考深度图像；

第一函数生成单元430，用于基于所述参考深度图像得到对应的数据保真约束函数，以及基于所述参考深度图像以及所述彩色图像得到平滑特性约束函数；

第二函数生成单元440，用于基于所述数据保真约束函数以及所述平滑特性约束函数，得到深度图像表达函数；

图像处理单元450，用于基于最优化方式获取所述深度图像表达函数对应的解，以得到参考深度图像中每个像素对应的更新后的深度值，并基于所述更新后的深度值得到第二深度图像。

作为一种方式，第一函数生成单元430，具体用于基于所述参考深度图像中每个像素的邻域中第一像素的邻域以及第二像素的邻域，确定所述参考深度图像中每个像素对应的自适应参数，其中，所述第一像素为每个像素的邻域中对应深度值最小的像素，所述第二像素为每个像素的邻域中对应深度值最大的像素；基于所述彩色图像中每个像素各自对应的多个颜色通道的值，确定所述彩色图像中每个像素对应的权重系数；基于所述参考深度图像中每个像素对应的自适应参数，以及所述彩色图像中每个像素对应的权重系数，得到平滑特性约束函数。

可选的，第一函数生成单元430，具体用于获取第一中间值，所述第一中间值为参考深度图像中每个像素的邻域中第一像素的邻域所包括像素的像素值之和；获取第二中间值，所述第二中间值为参考深度图像中每个像素的邻域中第二像素的邻域所包括像素的像素值之和；获取所述第一中间值与所述第二中间值的比值作为每个像素对应的中间变量；基于中间变量与自适应参数的对应关系以及每个像素对应的中间变量，得到每个像素对应的自适应参数。

可选的，第一函数生成单元430，具体用于获取所述彩色图像中当前像素的第三中间值，所述第三中间值为第一指定指数函数的值，所述第一指定指数函数的底数为e，指数为所述当前像素与所述当前像素的邻域中的目标像素的位置信息的差值的平方与第一中间参数的比值对应的负数；获取所述彩色图像中当前像素的第四中间值，所述第四中间值为第二指定指数函数的值，所述第二指定指数函数的底数为e，指数为所述当前像素与所述当前像素的邻域中的目标像素的在多个颜色通道上的像素差值的平方的和，与第二中间参数的比值对应的负数；获取所述当前像素的第三中间值与所述第四中间值的乘积，作为所述当前像素对应的权重系数。

如图11所示，所述装置400，还包括：

第三函数生成单元460，用于获取深度约束函数。在这种方式下，图像处理单元450，具体用于基于所述数据保真约束函数、所述平滑特性约束函数以及所述深度约束参数，得到深度图像表达函数。

下面将结合图12对本申请提供的一种电子设备进行说明。

请参阅图12，基于上述的图像处理方法、装置，本申请实施例还提供的另一种可以执行前述终端控制方法的电子设备100。电子设备100包括相互耦合的一个或多个(图中仅示出一个)处理器102、存储器104、网络模块106以及图像采集装置108。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序。

其中，处理器102可以包括一个或者多个处理核。处理器102利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器102可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。

存储器104可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

所述网络模块106用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。所述无线模块106可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述无线模块106可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。

再者，该图像采集装置108可以用于进行图像采集。可选的，图像采集装置108可以包括有彩色图像采集器件以及深度图像采集器件。

请参考图13，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

综上所述，本申请提供的一种图像处理方法、装置以及电子设备，在获取第一深度图像以及与所述第一深度图像对应的彩色图像后，对所述第一深度图像进行插值处理，得到参考深度图像，然后基于所述参考深度图像得到对应的数据保真约束函数，以及基于所述参考深度图像以及所述彩色图像得到平滑特性约束函数，进而基于所述数据保真约束函数以及所述平滑特性约束函数，得到深度图像表达函数，最终基于最优化方式获取所述深度图像表达函数对应的解，以得到参考深度图像中每个像素对应的更新后的深度值，并基于所述更新后的深度值得到第二深度图像。

从而通过上述方式可以使得在得到第一深度图像以及与所述第一深度图像对应的彩色图像后，可以得到分辨率提升后的第二深度图像，进而实现了在原本的深度图像分辨率交底的情况下，可以通过与原本的深度图像对应的彩色图像来实现对原本的深度图像进行分辨率提升。并且，将彩色图像的信息以权重的方式融入到深度图超分辨重建方法中，实现了多信息的融合互补。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。