一种基于深度学习和图像颜色空间特性的图像去噪方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习和图像颜色空间特性的图像去噪方法。

背景技术

图像去噪是指通过对带有噪声的低质量图像进行处理，使其不含噪声，恢复图像细节，提高图像质量。其属于数字图像处理领域内的底层计算机视觉问题，主要用于解决由成像设备的局限性、网络传输损耗而导致图像质量过低、影响视觉感知效果的问题。在深度学习技术未普及之前，很多传统的图像去噪算法，如均值滤波、中值滤波、高斯滤波、傅里叶变换、小波变换等，都是在空域或变换域中对噪声图片进行滤波使得像素值修正来生成去噪后的图片。

随着深度学习技术在计算机视觉领域研究的深入发展和应用，将深度学习技术应用到图像去噪过程中已经成为解决问题的新思路。相较于传统的图像算法，其在训练过程中自行学习由噪声图像映射到干净图像的函数，取得了超越传统方法的结果。自卷积神经网络在图像领域得到广泛应用以来，由于其高效的特征提取能力，在高层次图像任务中取得了很大的成就。将卷积神经网络应用于图像去噪算法取得优异性能后，该模型又证明了卷积神经网络在细节恢复方面具有较好的性能。因此，我们需要更多地研究如何利用深度学习技术使用来解决图像的去噪问题。

大部分传统去噪算法都是基于高斯滤波或者小波变换进行去噪处理，对于图像去噪的普适性不够强，速度较慢，且不能灵活地处理不同噪声水平的图像，限制了在现实生活应用的价值。同时，现有基于深度学习的算法大部分都是针对人工合成的加性高斯白噪声图像进行去噪的，对于真实噪声图像的去噪研究较少，而真实图像中的噪声正是目前最需要解决的一种噪声，它广泛存在于现实生活中。

发明内容

针对现有技术的不足，本发明提供一种基于深度学习和图像颜色空间特性的图像去噪方法。考虑到图像的成像原理，利用噪声对于不同颜色通道的影响，对图像进行初步的处理，以增强更多图像信息，帮助网络进行训练。最终算法可以对包含真实噪声的图像和人工合成噪声的图像进行去噪，同时保留了图像的细节信息。由此，本发明设计的网络可以训练出更具有普适性的去噪图像结果，提高了图像去噪的简便性和准确性，具有现实应用价值。

一种基于深度学习和图像颜色空间特性的图像去噪方法，包括以下步骤：

步骤1：读取数据集，对噪声图像进行数据增强；

读取真实噪声和人工合成噪声的公开数据集中的噪声图像，将噪声图像随机剪裁为相同大小的图像块，并且在相同位置处裁切图像块，然后旋转图像，分别以50％概率选取旋转90度、旋转180度、旋转270度、旋转90度并翻转、旋转180度并翻转、旋转270度并翻转、水平翻转和垂直翻转的操作；

步骤2：建立网络模型；

所述网络模型包括：CPBlock图像预处理操作模块，经过处理后的图像提供更多的特征信息；Conv为卷积层，卷积核为3*3，用于改变图像的通道数，生成特征图用于网络训练；BasicBlock为基础模块，用于提取深层特征；

将步骤1处理后的噪声图像块输入到网络模型，首先经过CPBlock进行预处理操作，将预处理所生成的图像和步骤1处理后的噪声图像块进行通道间的拼接，从3通道变为6通道后，经过第一个卷积层，将其变为64通道；共经过四次BasicBlock模块进行深层特征提取，输出后通道数仍为64通道；经过最后一个卷积层将64通道变为3通道后，将其和步骤1处理后的噪声图像块进行相加，最终生成经过网络去噪后的图像predict；

步骤3：对输入的噪声图像进行预处理操作；

先将经过步骤1处理后的噪声图像块利用OpenCV库转为HSV模式；对图像进行高斯模糊，然后将图像按照H、S、V的每种颜色的取值范围分成若干区域；对划分好的每个颜色区域内的R、G、B三个通道的值进行求和，并计算平均值；将R、G、B三个通道的平均值进行排序，针对平均值排名第三的通道，将平均值排名第一和第二的通道的梯度供其参考，公式如下：

针对均值排名第二的通道，将均值排名第一的通道的梯度供其参考，公式如下：

其中，下标low为均值最低的通道，middle为均值排名中间的通道，high为均值最高的通道，newValue

针对均值排名第一的通道，不对其值进行修改；对于每一个划分好的颜色区域，均执行上述操作，最终生成一个和噪声图像值不相同，但尺寸相同的tensor，将其和经过步骤1处理后的噪声图像块拼接为6通道特征图，得到预处理之后的结果；

步骤4：经过卷积层进行通道间信息交换；

将预处理后的结果输入到第一个卷积层，卷积核的大小为3*3，将其从6通道变为64通道，以此进行进一步的通道间信息交换，提取浅层特征。

步骤5：经过基础模块提取深层特征，提升网络效果；

基础模块沿网络传输方向有两个分支，第一个分支用于提取全局特征，为卷积层、平均池化层、卷积层、ReLU激活层、卷积层，其中第二个卷积层为了提升训练速度，减少计算消耗，为1*1的卷积；第二个分支用于提取局部特征，为卷积层、ReLU激活层、卷积层；将两个分支的输出结果相乘，输出为输入特征图以及乘积特征图之和；

步骤6：设置重复经过基础模块的次数，学习到更深层次的特征；

步骤7：经过卷积层将64通道转为3通道图像后，与经过步骤1处理后的噪声图像块进行相加，得到去噪后的图像，完成训练；

步骤8：对步骤7生成的去噪后的图像和训练集中相对应的无噪声干净图像进行损失函数的计算，损失函数为

采用上述技术方案所产生的有益效果在于：

本发明提供一种基于深度学习和图像颜色空间特性的图像去噪方法，可以有效去除真实噪声和人工合成噪声，并降低了去噪过程中对图像细节的破坏，保留了一定的细节信息；与现有方法相比，模型更加简便，训练所耗计算资源较少，可针对真实噪声图像进行去噪，结果更具鲁棒性且表现较为良好。

附图说明

图1为本发明实施例中图像去噪方法整体流程图；

图2为本发明实施例中图像预处理流程图；

图3为本发明实施例中网络结构图；

图4为本发明实施例中人工合成噪声去噪结果图；

图5为本发明实施例中真实噪声去噪结果图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例中使用的数据集有两种，第一种为网络上公开的真实图像数据集SIDD(Smartphone Image Denoising Dataset，智能手机相机降噪处理集)，第二种为人工添加进加性高斯白噪声的人工合成噪声数据集BSD500(Berkeley Segmentation Dataset)，人工添加的噪声水平共有三种：5、10、25。

一种基于深度学习和图像颜色空间特性的图像去噪方法，如图1所示为本发明的主流程图，包括以下步骤：

步骤1：读取数据集，对噪声图像进行数据增强；

读取真实噪声和人工合成噪声的公开数据集中的噪声图像共920张，将噪声图像随机剪裁为相同大小48×48的图像块，并且在干净图像的相同位置处裁切图像块，然后旋转图像以进行数据增强，分别以50％概率选取旋转90度、旋转180度、旋转270度、旋转90度并翻转、旋转180度并翻转、旋转270度并翻转、水平翻转和垂直翻转的操作；在进行每一轮次的训练之前，都会对读取的920张图像进行随机裁切图像块、旋转图像块的操作共20次，以增加训练过程中噪声图像的数量，进行数据增强操作；

步骤2：建立网络模型；

建立一个网络模型，整体网络结构如图3所示。其中x为经过步骤1处理后的噪声图像块；CPBlock图像预处理操作模块，经过处理后的图像提供更多的特征信息，具体操作如步骤3所示；Conv为卷积层，卷积核为3*3，用于改变图像的通道数，生成特征图用于网络训练；BasicBlock为基础模块，用于提取深层特征，模块细节在步骤5中会进行详细介绍；predict为生成的去噪后的图像。

将步骤1处理后的噪声图像块x输入到网络模型，首先经过CPBlock进行预处理操作，将预处理所生成的图像和步骤1处理后的噪声图像块x进行通道间的拼接，从3通道变为6通道后，经过第一个卷积层，将其变为64通道；共经过四次BasicBlock模块进行深层特征提取，输出后通道数仍为64通道；经过最后一个卷积层将64通道变为3通道后，将其和步骤1处理后的噪声图像块x进行相加，最终生成经过网络去噪后的图像predict；

步骤3：对输入的噪声图像进行预处理操作；

如图2所示，网络最初读取的噪声图像为RGB模式，而HSV格式可以很好的将图像划分为黑、白、灰、红、橙、黄、绿、青、蓝、紫十种颜色。为了方便进行图像颜色区域分割，先将经过步骤1处理后的噪声图像块利用OpenCV库转为HSV模式；同时为了减弱噪声对分割区域的影响，对图像进行5*5的高斯模糊，然后将图像按照H、S、V的每种颜色的取值范围分成若干区域；对划分好的每个颜色区域内的R、G、B三个通道的值进行求和，并计算平均值；可以认为，均值更高的颜色通道，受到噪声的影响更少。将R、G、B三个通道的平均值进行排序，针对平均值排名第三的通道，将平均值排名第一和第二的通道的梯度供其参考，以此来增加更多的信息，公式如下：

针对均值排名第二的通道，将均值排名第一的通道的梯度供其参考，公式如下：

其中，下标low为均值最低的通道，middle为均值排名中间的通道，high为均值最高的通道，newValue

针对均值排名第一的通道，没有其他通道的变化幅度可供参考，不对其值进行修改；对于每一个划分好的颜色区域，均执行上述操作，最终生成一个和噪声图像值不相同，但尺寸相同的tensor，将其和经过步骤1处理后的噪声图像块拼接为6通道特征图，得到预处理之后的结果；

步骤4：经过卷积层进行通道间信息交换；

将预处理后的结果输入到第一个卷积层，卷积核的大小为3*3，将其从6通道变为64通道，以此进行进一步的通道间信息交换，提取浅层特征。

步骤5：经过基础模块提取深层特征，提升网络效果；

如图1中的BasicBlock所示，基础模块沿网络传输方向有两个分支，第一个分支用于提取全局特征，为卷积层、平均池化层、卷积层、ReLU激活层、卷积层，其中第二个卷积层为了提升训练速度，减少计算消耗，为1*1的卷积；第二个分支用于提取局部特征，为卷积层、ReLU激活层、卷积层；将两个分支的输出结果相乘，输出为输入特征图以及乘积特征图之和；

步骤6：设置重复经过基础模块的次数，本实施例中共四次，多次重复提取，学习到更深层次的特征；

步骤7：经过卷积层将64通道转为3通道图像后，与经过步骤1处理后的噪声图像块进行相加，得到去噪后的图像，完成训练；

步骤8：对步骤7生成的去噪后的图像和训练集中相对应的无噪声干净图像进行损失函数的计算，以此帮助网络更好的训练。损失函数为

本发明在设计之初，考虑到真实图像噪声的复杂性以及图像成像原理，在成像的过程中，其在R、G、B三个通道内的分布各有不同，每一种颜色区域范围内的噪声分布也有所不同，于是在进行网络训练前先对输入的数据集图片进行了初步处理，进一步增多了噪声图像可提供的信息。

学习能力强同时整个网络中用于特征提取的模块，采用了较为简单的残差网络结构，这样可以避免由于特征提取层过多、网络过深而导致的训练过拟合情况，同时也可以保证网络得到足够的训练，以方便对各种噪声图像达到良好的去噪效果，不需要额外训练其他特定噪声的模型。

本发明实施例中，在训练时，输入大量噪声图像，首先利用各个颜色通道噪声分布情况规律进行初步图像处理，以此增加更多图像信息，同时采用深度学习网络模型进行特征提取，保证了不同水平的噪声特点都可以被网络习得。得以灵活处理。人工合成噪声去噪效果图如图4所示，真实噪声去噪效果图如图5所示，对于各数据集的去噪结果如表格1所示。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。