一种深度图超分辨率重建和去噪神经网络的数据处理方法

技术领域

本发明涉及图像数据处理的技术领域，具体的，涉及一种深度图超分辨率重建和去噪神经网络的数据处理方法。

背景技术

与传统的纹理图像相比，深度图是一种特殊的图像，它用于记录场景的几何信息。近年来，结合纹理图和深度图的RGB-D数据格式已被广泛应用于虚拟现实、三维重建等高新技术方面。随着成像技术的不断提高，高质量的纹理图已实现移动设备的获取。然而，作为现代多媒体重要组成部分的深度图的获取质量却差强人意。虽然传统的立体匹配方法受益于神经网络技术的发展，其性能已得到显著提高，但是，在遮挡区域和低纹理区域的匹配歧义性问题并未得到完全解决。随着深度传感器的价格逐步下降，大量应用使用消费级传感器直接实时获取场景深度图。其中，主流的基于飞行时间的深度传感器技术通过测量发射和接收红外线之间的相位差计算深度信息。由于直接获取的深度图分辨率较低且易受到噪声污染，所以，需要对原始深度图进行超分辨重建和去噪处理。通常，深度图超分辨率重建和去噪是联合处理的，因此，可以使用深度图超分辨率重建指代该联合处理方法。

深度图超分辨率重建方法可以分为单深度图超分辨率重建和基于纹理图指导的超分辨率重建两大类。单深度图超分辨率重建受到传统的单纹理图超分辨率重建研究的影响，引入了稀疏编码和神经网络等模型。例如，不同的研究人员提出了多种实现方法，典型的实现方法有如下的几种：提取各向异性扩散张量用于描述高质量深度图边界的锐化度，并将其引入马尔可夫随机场；在稀疏编码中引入局部坐标先验，针对低分辨率深度图图像块和高分辨率深度图图像块联合训练对应的字典对，该初始增强结果的质量被自适应规正滤波器和L0梯度平滑优化进一步提升；结合多方向字典稀疏表示和自回归模型重建高质量深度图；使用深度卷积神经网络训练马尔可夫随机场的数据项和规正项；使用深度卷积神经网络重构高质量深度边界图，并以此为指导信息构建规正项；使用深度监督神经网络将深度图超分辨率重建分解为一系列视点合成子任务；使用深度稠密残差单元构造金字塔结构。虽然单深度图超分辨率重建方法在低尺度下具有较稳定的性能，但是，对于中高尺度，往往会丢失深度图细小结构信息，扭曲图像细节。

与单深度图超分辨率重建相比，基于纹理图指导的深度图超分辨率重建方法通过引入高质量纹理图指导信息，提升了算法在中高尺度下的鲁棒性。此类方法可以被细分为三大类，即基于局部滤波的方法、基于全局模型优化的方法和基于机器学习的方法。以下将分别介绍这些方法中的一些典型的工作。

基于局部滤波的方法是基于预设置的特殊滤波器和局部先验，每个像素的深度值被独立地计算。不同研究人员提出了多种实现方法，包括：基于双边滤波器的架构，通过迭代优化深度图边界提升深度图质量；减小初始深度图中不可靠边界像素的权重；构造像素坐标和颜色组成的联合空间，并基于该空间的测地距计算双边滤波器的权重；使用联合双边滤波器对所有像素在深度参考值列表中计算代价，为每个像素选择代价最小的参考深度值；搜索联合直方图的最大值，使用L1范数优化提升深度图质量；将滤波后的深度图和纹理图的关系用局部线性函数描述；使用联合三边滤波器综合考虑深度图中的空间、颜色和梯度信息，抑制纹理拷贝赝像。总体来说，基于滤波的方法计算复杂度低，但是性能有限。

基于全局模型优化的方法是利用预设定的全局先验，将深度图超分辨率重建建模成全局优化问题，即所有像素的深度值被同时优化获取。不同研究人员提出了多种实现方法，包括：使用离散马尔可夫随机场实现深度图超分辨率重建；从高分辨率纹理图中提取边界、梯度和分割指导信息构建规正项；基于纹理图指导的各向异性扩散张量，提出二阶变分先验构造规正项；基于鲁棒的M估计器构造规正项抑制纹理拷贝赝像；基于显式纹理图和深度图边界不一致性度量构建规正项；构造最小生成森林空间，并基于该空间的距离度量构造规正项；基于低秩先验和纹理图在空间和梯度域的指导信息提出变分模型；基于迁移图拉普拉斯模型提出自适应数据项和规正项；采用自回归模型描述纹理图的指导信息。与基于局部滤波的方法相比，基于全局模型优化的方法具有较高的计算复杂度，其整体性能有一定提升。

随着公开数据库的逐步丰富，基于机器学习的方法展现出较强的深度图和纹理图关系模型的表征能力。不同研究人员提出了多种实现方法，包括：拓展稀疏编码，联合训练针对高分辨率纹理图图像块、低分辨率深度图图像块和高分辨率深度图图像块的三个字典；采用显式度量纹理图和深度图在梯度域的相关性，并将其嵌入多尺度字典对学习，抑制纹理拷贝赝像，同时，引入重叠区域一致性约束减弱边界模糊的副作用；利用对偶稀疏性约束，针对纹理图和深度图训练分析算子对。随着神经网络的兴起，其已逐渐成为主流。引入局部和全局残差学习增强了神经网络的训练稳定性，并引入批归一化层提升去噪能力；结合纹理图指导信息，使用神经网络训练马尔可夫随机场的数据项和规正项；结合多尺度残差学习和稠密连接修正深度特征，设计神经网络逐步提取多尺度纹理图指导特征；由粗到细地学习卷积核参数的方法；交替迭代的纹理特征指导的深度特征增强单元和深度特征指导的纹理特征增强单元以抑制边界不一致性导致的赝像。

然而，现有的方法往往通过更深的结构和特殊的网络单元隐式学习有效纹理指导特征。随着网络结构复杂度的显著提升，高效地学习纹理指导特征面临挑战。

发明内容

针对现有技术的不足，本发明提供一种显式引入深度梯度域特征的高效深度图超分辨率重建和去噪神经网络的数据处理方法。

为实现上述目的，本发明通过以下技术方案予以实现：一种深度图超分辨率重建和去噪神经网络的数据处理方法，包括：获取原始图像数据，利用原始图像数据制作纹理图和深度图图像对；对深度图显式引入深度梯度域和像素域特征，构造神经网络渐进式增强深度特征；设定损失函数，并对损失函数进行优化，迭代更新神经网络模型参数，学习目标数据分布；以高分辨率纹理图和低分辨率深度图为输入，通过训练的神经网络模型重构高质量深度图。

优选的，利用原始图像数据制作纹理图和深度图图像对包括：获取预设数量的高分辨率纹理、高分辨率深度图和对应低分辨率深度图的图像对，将图像对按像素坐标位置顺序裁剪成子图像对，并对子图像对进行数据增强，获得训练数据，将训练数据进行归一化处理；随机将训练数据分为训练集和验证集两部分。

优选的，对子图像对进行数据增强包括：对子图像对进行旋转和/或翻转的操作。

优选的，设定损失函数包括：针对图像没有噪声的情况，选用无噪数据训练模型，并选择第一范数作为损失函数。

优选的，设定损失函数包括：针对图像存在噪声污染的情况，选用加噪数据训练模型，并选择第第一范数作为损失函数初步训练模型，然后，选择第二范数微调模型。

优选的，迭代更新神经网络模型参数包括：在神经网络模型参数随机初始化后，使用Adam优化器迭代优化损失函数，当验证集上的性能在连续预设次数的训练集遍历后无法改善时，停止训练过程。

优选的，使用Adam优化器迭代优化损失函数时，随着迭代次数增加，迭代的步长逐步减小。

优选的，通过训练的神经网络模型重构高质量深度图包括：以高分辨率纹理图和低分辨率深度图作为输入后，通过前向传播训练的神经网络模型，获取重建的高质量深度图。

与现有技术相比，本发明的有益效果是：本发明提出一种深度图超分辨率重建和去噪神经网络的数据处理方法，其能够获得鲁棒的深度图增强效果，同时具有使用简便、运行速度快等优点。

附图说明

图1是应用本发明实施例设置的深度图超分辨率重建和去噪神经网络的流程图。

图2是本发明深度图超分辨率重建和去噪神经网络的数据处理方法实施例的流程图；

图3是应用本发明实施例设置的深度图超分辨率重建和去噪神经网络的拓扑图。

图4是应用本发明实施例设置的深度图超分辨率重建和去噪神经网络的交叉融合模块的拓扑图。

图5是本发明深度图超分辨率重建和去噪神经网络的数据处理方法实施例在无噪情况下深度图的增强效果图。

图6是本发明深度图超分辨率重建和去噪神经网络的数据处理方法实施例在有噪情况下深度图的增强效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明是一种深度图超分辨率重建和去噪神经网络的数据处理方法，本发明的方法可以应用计算机装置实现，例如，计算机装置包括处理器、显卡以及存储器，存储器上存储有计算机程序和图像数据，通过计算机程序可以实现本发明的深度图超分辨率重建和去噪神经网络的数据处理方法。

应用本发明构建深度图超分辨率重建和去噪神经网络的过程如图1所示，先构造训练数据11，然后，同时执行设计神经网络12以及设计损失函数13的操作，接着，训练神经网络14，最后，对神经网络进行测试15。该神经网络以高分辨率纹理图I

下面结合图2介绍本发明的深度图超分辨率重建和去噪神经网络的数据处理方法的流程。首先，执行步骤S1，获取初始图像数据。具体的，在开源数据库中收集RGB-D图像对，例如，收集高分辨率纹理图

然后，构造训练数据，例如，执行步骤S2，将高分辨率深度图

优选的，针对图像可能存在噪声的情况，需要在训练数据的低分辨率深度图中添加高斯噪声。最后，随机将训练数据分为训练集和验证集两部分。在模型训练阶段，训练集中的样本对被神经网络随机读取。相应的操作可以通过下面的公式进行：

其中，H表示变换矩阵，例如裁剪、旋转、翻转等操作，N代表加性噪声，即添加高斯噪声。

在设计神经网络时，首先执行步骤S3，对纹理图和深度图图像对显式引入深度梯度域和像素域特征，构造神经网络渐进式增强深度特征。本实施例所构造的深度卷积神经网络如图3所示，其中k,s,c分别表示卷积核尺寸、卷积步长和输出通道数。从图3可见，深度卷积神经网络包含三个支路，分别是指导特征提取支路、深度像素域特征增强支路和深度梯度域特征增强支路。指导特征提取支路通过最大池化层依次执行2倍的下采样操作，逐步提取多尺度纹理指导特征。像素域和梯度域的深度特征的增强分别在另外两个支路中执行2倍上采样操作实现，以保证深度特征与各级纹理指导特征的分辨率具有一致性。

另外，对深度特征的优化总体分为两个阶段。第一阶段的优化由纹理特征提供指导，在两个独立支路中初步提升像素域和梯度域的深度特征质量。第二阶段的优化利用像素域和梯度域的深度特征互补性，在交叉融合模块中实现像素域和梯度域的深度特征迭代交替更新。结合图4可以看出，交叉融合模块接收深度像素域特征和深度梯度域特征，并进行融合计算后获得更新的深度特征。

此外，本实施例还通过全局和局部残差学习提升神经网络模型训练的稳定性，从而实现各个尺度下高频细节的恢复。基本组成单元的计算公式如下所示：

F

其中，F

接着，执行步骤S4，设计并优化损失函数。在深度卷积神经网络离线训练过程中，通过设计和迭代优化损失函数，实现神经网络模型的参数更新。本实施例中，针对无噪和有噪两种情况，分别设计不同的损失函数。具体的，针对无噪的情况，选用无噪数据训练，并使用第一范数作为损失函数。针对有噪的情况，选择有噪数据训练，并先使用低一范数作为损失函数初步训练模型，然后，选用第二范数微调模型。第一范数和第二范数的公式分别如式5和式6所示：

L(θ)＝||G(I

然后，执行步骤S5，迭代更新神经网络模型参数，学习目标数据分布。迭代更新神经网络模型参数时，在神经网络模型参数随机初始化后，使用Adam优化器迭代优化损失函数，当验证集上的性能在连续预设次数的训练集遍历后无法改善时，停止训练过程。例如，使用Adam优化器迭代最小化损失函数，随着迭代次数增加，每一次迭代的步长逐步减小。当验证集上的性能在连续5次训练集遍历后无法改善时，则停止训练过程，即训练结束。

在神经网络测试阶段，执行步骤S6，以高分辨率纹理图和低分辨率深度图为输入，通过训练的神经网络模型重构高质量深度图。例如，使用下面的公式作为以高分辨率纹理图和低分辨率深度图为输入的高分辨率深度图重建过程：

其中，G(I

参见图5，是根据本发明所提出的神经网络在无噪情况下深度图的超分辨率重建效果图，其中，图5的(a)、(b)是原始低分辨率深度图，图5的(c)、(d)是重建的高分辨率深度图。从图5的(c)、(d)可以明显看出，本发明的方法鲁棒效果。

参见图6，是根据本发明所提出的神经网络在有噪情况下深度图的联合超分辨率重建和去噪效果图。其中，图6的(a)、(b)是原始低质量深度图，图6的(c)、(d)是重建的高质量深度图。从图6(c)、(d)可以明显看出，本发明具有去噪和鲁棒恢复深度图高频细节的能力。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。