基于多尺度融合及边缘增强的真实图像去噪方法

技术领域

本发明涉及计算机视觉图像技术领域，具体为基于多尺度融合及边缘增强的真实图像去噪方法。

背景技术

随着科学技术的进步，移动设备日益普及，图像的获取越来越便捷。由于使用了相对低成本的传感器和镜头，移动相机如手机相机捕捉到的图像通常会受到噪声的干扰，尤其是光线不足时，噪声的影响更加严重，这会导致图像质量下降，为后续的应用带来困难。保证图像质量是对图像进行高层次视觉应用如目标检测、语义分割等的基础。因此，如何高效地对真实图像进行去噪，进而提高图像的质量，是计算机视觉领域的一个重要的研究课题。

真实图像去噪技术(Real-Image Denoising)是指从观测到的来自真实世界的有噪声图像恢复出相应的无噪声图像，是从软件的角度解决图像噪声去除问题的重要技术手段。真实图像的噪声移除为使计算机能够更好地观察、分析、处理图片提供重要的技术支持，在高清晰度电视、医学影像、卫星成像、监控系统等很多领域都具有非常重要的应用价值。

传统的真实图像去噪算法将真实噪声建模成高斯分布，其中较为常用的包括非局部块匹配算法(BM3D)、稀疏编码算法(KSVD)等等，这些方法能够去除一定的噪声，但是使用阶段涉及复杂的优化步骤，时间代价较高，为快速应用带来麻烦，此外使用时涉及的可调参数过多，去噪效果无法保证。

卷积神经网络是一种专门用来处理具有类似网格结构的数据(例如图像即可以被视为二维的像素网格)的神经网络，已经在大量不同类型的计算机视觉处理任务(如图像分类、目标检测等)中取得成功。目前已经发展出很多基于卷积神经网络的实现真实图像去噪的解决方案，比如，通过几个参数化的线性滤波器以及几个参数化的影响函数来扩展传统的非线性反应扩散模型技术(TNRD)，基于编解码及跳连的全卷积神经网络的高斯去噪技术(REDNet)，融合残差学习和批归一化的卷积神经网络去噪技术(DnCNN)，使用噪声估计图配合输入，权衡对噪声的抑制和细节保持的去噪技术(FFDNet)，在FFDNet基础上，将噪声水平估计过程也用一个子网络实现，从而实现整个网络盲去噪的技术(CBDNet)，通过增强学习，建立带有路径查找器的多路径CNN，可以为每个图像区域动态选择合适的路径(Path-Restore)等等。但是，这些方法都未能重视真实噪声的内容多样及复杂性，没有考虑到特征通道之间的不同重要性，以及未能充分地利用多尺度的特征，从而取得了较为受限的效果。

发明内容

本发明的目的就在于为了解决现有图像去噪方法都未能重视真实噪声的内容多样及复杂性，没有考虑到特征通道之间的不同重要性，以及未能充分地利用多尺度的特征，从而取得了较为受限的效果的问题，而提出一种设计合理、充分考虑多尺度信息来提升噪声去除效果且相对较为轻量的基于多尺度融合及边缘增强的真实图像去噪方法。

本发明的目的可以通过以下技术方案实现：基于多尺度融合及边缘增强的真实图像去噪方法，包括以下步骤：

步骤一：在图像输入阶段，随机采用数据增强技术，变换样本内容；

步骤二：将原始含噪图片输入网络，对其同时进行三种尺度的卷积操作，利用膨胀卷积技术，使用三个卷积核，参数量不变，进行初步平滑处理，输出三张平滑后的图；

步骤三：将步骤二中输出的图与原始输入图进行级联，送入融合阶段，同时采用跳连结构，及时补充信息，输出融合了不同尺度平滑效果的特征图；

步骤四：对初始输入网络的图像、经过平滑操作的图像以及步骤三输出的特征图采用拉普拉斯算子进行边缘提取，设置阈值对结果进行二值化，得到5通道的边缘图像；将边缘图像与步骤三输出的特征进行级联，送入增强模块；

步骤五：增强模块输出的特征图经过卷积处理，映射到输出的特征维度，然后输出最终的清晰图像，卷积核的输出通道数与输入原始图像的通道数一致。

优选的，数据增强技术的具体实现方法包括以下步骤：

S11：对输入的图像以1/2的概率决定是否对其进行数据增强；

S12：当需数据增强时，则在输入图像中，随机定位3个图像块，允许有重叠，各图像块的宽和高的取值在范围[0，1/4×W]，[0，1/4×H]里随机指定；其中，输入图像宽为W，高为H；

S13：对于被定位到的图像块，将其替换为用于监督对应位置的无噪声图像块内容，即让网络对这部分像素进行恒等映射的学习。

优选的，步骤二中三个所述卷积核的大小依次为3×3、5×5和7×7。

优选的，步骤三中融合阶段由五个注意力模块、一个特征图动态表达模块，以及间隔的下采样、上采样构成。

优选的，融合阶段的具体处理步骤为：

S31：融合阶段的网络结构形字母V，共包含三层，左侧逐步下采样，视为编码器，右侧对应逐步上采样，视为解码器；

S32：每一层首先进行两次3×3×32的卷积，进一步提取特征，再通过一个注意力模块，对携带不同尺度信息的特征图进行通道重要性重校准；

S33：下采样阶段的每一层结尾，使用最大值池化将输入特征的尺寸降低为原来的1/2，进行空间特征的压缩与融合，保留纹理内容，扩大卷积网络的感受野，提取更多语义信息；

S34：上采样阶段的每一层开头，使用转置卷积，进行2倍的上采样，并和下采样阶段同一层的具有相同分辨率的输出进行级联，及时补充前半部分空间信息，同时合并深层次语义特征信息；

S35：对V字形网络的输出，将其再通过特征图动态表达模块，融合不同的尺度信息，每层特征图进行自适应表达，即输出平滑结果，与输入网络的带噪图尺寸大小完全一样。

优选的，注意力模块的具体工作步骤为：

S321：对输入模块的特征图H×W×C，使用一层3×3×C×64的卷积操作，进一步抽象特征；

S322：通过ReLU激活函数，再次通过一层3×3×64×64的卷积操作，而后利用通道注意力机制校准不同通道的重要性；

S323：对模块的输入和S322的输出进行逐像素相加，作为注意力模块的最终输出。

优选的，S35中所述的特征图动态表达模块的具体工作步骤为：

S351：通过三个不同卷积核大小的卷积层来表达特征，得到U'、U”和U”'，然后将结果逐像素相加得到混合特征

S352：将

S353：将三个向量α、β和γ与U'、U”和U”'分别相乘，再逐像素相加，此时各特征通道自适应地选择了不同大小的卷积核进行特征表达；

S354：通过一个单层卷积，得到恢复后的干净图像；其中卷积层的尺寸为3×3×1。

优选的，S322中所述的通道注意力机制具体过程为：

a：对输入的原始特征U进行全局池化，提取其全局语义信息，然后经过全连接层、ReLU非线性变换、全连接层和Sigmoid非线性变换后得到通道校准系数向量μ；

b：使用通道校准系数向量μ与输入特征U相乘，对其重新校准。

优选的，步骤四中增强模块具体工作步骤为：

S41：对输入的特征图H×W×5，依次通过三个级联的残差模块，每个残差模块包括3×3的卷积、ReLU激活函数以及再次的3×3的卷积，最后将结果与模块输入进行逐像素相加；同时整个增强模块采用稠密卷积网络结构，即每一层将之前所有层的输入进行拼接，之后将输出的特征图传递给之后的所有层；

S42：输入与第一个残差模块的输出H×W×5级联，得到的特征图为H×W×10，通过1×1卷积操作将输出映射为H×W×5，送入第二个残差模块；

S43：第二个残差模块的输出与第一个残差模块的输出以及输入特征图级联，得到H×W×15的特征图，通过1×1卷积输出H×W×5，随后送入第三个残差模块；

S44：使用一个1×1的卷积层对输出进行特征映射，得到最终完成去噪且保有边缘细节的图像并输出。

与现有技术相比，本发明的有益效果是：

1、本发明将整个去噪过程分为两个阶段，第一阶段在于获取多尺度去噪后平滑图像，在各个尺度上进行去噪，并针对各尺度特征图自适应表达融合，同时考虑了全局信息和局部信息，减小了因特征信息缺失而造成的图像恢复模糊，且利用图像内容的冗余性帮助整体去噪；第二阶段通过辅助引入边缘信息，恢复边缘及细节内容，提升视觉效果。

2、本发明设计合理，考虑了不同特征通道的重要性，多尺度感受野去噪兼顾了全局信息和局部信息，去噪后的多尺度特征也进行了自适应融合，同时后一阶段对图像的细节进行了增强处理，避免过度平滑这一去噪普遍问题。网络的输出是去噪后的清晰图像，使用输入噪声图像和无噪声的清晰图像对，以平均绝对损失函数为目标来训练网络，以输出图像和无噪声的清晰图像对比来评价去噪效果，保证了去噪质量，同时由于网络体量较小，在保证去噪效果的同时，兼顾了算法运行速度。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1是本发明的多尺度融合及边缘增强网络的主干框架图；

图2是本发明的注意力模块的框架图；

图3是本发明的特征图动态表达模块的框架图；

图4是本发明的数据增强方法示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-4所示，一种基于多尺度融合及边缘增强的真实图像去噪方法，包括以下步骤：

步骤S1、在图像输入阶段，随机采用数据增强技术，变换样本内容；

步骤S2、将原始含噪图片输入网络，对其同时进行三种尺度的卷积操作，利用膨胀卷积的思想，使用三个卷积核，参数量不变，但卷积核大小依次为3×3，5×5，7×7，进行初步平滑处理，输出三张平滑后的图；

步骤S3、将步骤S2的输出与原始输入图进行级联，送入融合阶段，融合阶段由五个注意力模块、一个特征图动态表达模块，以及间隔的下采样、上采样构成，同时采用跳连结构，及时补充信息，最后输出较为精细的融合了不同尺度平滑效果的特征图；以上是网络的去噪阶段；

步骤S4、以下是网络的细节增强阶段。对初始输入网络的图像、经过平滑操作的图像，以及步骤3输出的图像，采用拉普拉斯算子进行边缘提取，设置阈值对结果进行二值化，得到5通道的边缘图像。将边缘图像与步骤3的输出进行级联，送入增强模块；

步骤S5、增强模块的输出特征图经过卷积处理，映射到输出的特征维度，输出最终的清晰图像，卷积核的输出通道数和输入原始图像的通道数一致。

步骤S1的数据增强技术的具体实现方法如下：

步骤S1.1、对输入的图像，以1/2的概率决定是否对其进行数据增强；

步骤S1.2、若需数据增强，则在输入图像中(设输入图像宽为W高为H)，随机定位3个图像块，允许有重叠，各图像块的宽和高的取值在范围[0,1/4*W]，[0,1/4*H]里随机指定；

步骤S1.3、对于被定位到的图像块，将这部分内容替换为用于监督的对应位置的无噪声图像块内容，即让网络对这部分像素进行恒等映射的学习，对网络学习起到了正则化的作用。限制其只在需要去噪的地方进行去噪处理，避免了模型对图像处理得过于平滑(过度去噪)，迫使网络不仅需要学习如何去噪，还需要学习在哪儿去噪。

步骤S3的具体实现方法如下：

步骤S3.1、该融合阶段的网络结构形如字母V，共包含三层，左侧逐步下采样，可视为编码器，右侧对应逐步上采样，可视为解码器；

步骤S3.2、每一层首先进行两次3×3×32的卷积，进一步提取特征，再通过一个注意力模块，对携带不同尺度信息的特征图进行通道重要性重校准；

步骤S3.3、下采样阶段的每一层结尾，使用最大值池化将输入特征的尺寸降低为原来的1/2，进行空间特征的压缩与融合，保留纹理内容，扩大卷积网络的感受野，提取更多语义信息；

步骤S3.4、上采样阶段的每一层开头，使用转置卷积，进行2倍的上采样，并和下采样阶段同一层的具有相同分辨率的输出进行级联，及时补充前半部分空间信息，同时合并深层次语义特征信息；

步骤S3.5、对V字形网络的输出，将其再通过特征图动态表达模块，融合不同的尺度信息，每层特征图进行自适应表达，即输出为较精细的平滑结果，与输入网络的带噪图尺寸大小完全一样；

步骤S3.2的注意力模块的具体实现方法如下：

步骤S3.2.1、对输入模块的特征图H×W×C，使用一层3×3×C×64的卷积操作，进一步抽象特征；

步骤S3.2.2、通过ReLU激活函数，再次通过一层3×3×64×64的卷积操作，而后利用通道注意力机制校准不同通道的重要性；

步骤S3.2.3、对模块的输入和②的输出进行逐像素相加，作为注意力模块的最终输出。

步骤S3.2.2中的通道注意力机制具体实现方法如下：

步骤S3.2.2.1、对输入的原始特征U进行全局池化，提取其全局语义信息，然后经过全连接层、ReLU非线性变换、全连接层和Sigmoid非线性变换后得到通道校准系数向量μ；

步骤S3.2.2.2、使用通道校准系数向量μ与输入特征U相乘，对其重新校准。

步骤S3.5中的特征图动态表达模块具体实现方法如下：

步骤S3.5.1、同时通过三个不同卷积核大小的卷积层来表达特征，得到U'、U”和U”'，然后将结果逐像素相加得到混合特征

步骤S3.5.2、再将

步骤S3.5.3、将三个向量α、β和γ与U'、U”和U”'分别相乘，再逐像素相加，此时各特征通道自适应地选择了不同大小的卷积核进行特征表达；

步骤S3.5.4、通过一个单层卷积，得到恢复后的干净图像。其中卷积层的尺寸为3×3×1。

步骤S4中的增强模块具体实现方法如下：

步骤S4.1.对输入的特征图H×W×5，依次通过三个级联的残差模块，每个残差模块包括3×3的卷积、ReLU激活函数，以及再次的3×3的卷积，最后将结果与模块输入进行逐像素相加。同时整个增强模块采用稠密卷积网络结构，即每一层将之前所有层的输入进行拼接，之后将输出的特征图传递给之后的所有层。

步骤S4.2.输入与第一个残差模块的输出H×W×5级联，得到的特征图为H×W×10，通过1×1卷积操作将输出映射为H×W×5，送入第二个残差模块；

步骤S4.3.第二个残差模块的输出与第一个残差模块的输出以及输入特征图级联，得到H×W×15的特征图，通过1×1卷积输出H×W×5，随后送入第三个残差模块；

步骤S4.4.使用一个1×1的卷积层对输出进行特征映射，得到最终完成去噪并保有边缘细节的图像并输出。增强模块能够减少梯度消失带来的影响，并且加强细节特征的传递，更有效地融合边缘细节特征与去噪后平滑图像。

通过以上步骤即可得到去噪后的清晰图像。

最后，我们以最小化绝对误差损失函数(L1损失函数)为目标训练网络，使用PSNR(Peak Signal to Noise Ratio，峰值信噪比)和SSIM(structural similarity index，结构相似性)评价网络性能。方法如下：

测试环境：Python3.6；TensorFlow框架；Ubuntu16.04系统；NVIDIA GTX 1080tiGPU

测试序列：所选数据集是用于真实图像去噪的达姆施塔特噪声数据集(theDarmstadt Noise Dataset，DND)，包含50对超高分辨率真实噪声-无噪声图像对。

测试方法：为确保公平，该数据集的目标无噪声图像不对外公开，参与测试者提交图像去噪结果至线上，由线上系统统一计算打分，量化测试效果。

测试指标：本发明使用PSNR、SSIM和单张及批量图片处理时间等指标进行评测。对当今流行的不同算法计算这些指标数据然后进行结果对比，证明本发明在真实图像去噪领域能够得到较好的结果。

本发明未述及之处适用于现有技术。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。