图像去噪方法、系统、设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种图像去噪方法、系统、设备及存储介质。

背景技术

在真实场景中，影响图像质量的因素有很多，如数据采集、传输过程中引入的误差以及环境干扰等。图像噪声则是引起图像降质的最常见因素，不仅会降低图像信噪比和分辨率，导致视觉体验大打折扣，对后续的图像分析和理解也会造成影响。

现有图像去噪方法可大致分为传统模型驱动去噪方法和基于深度学习的去噪方法。传统方法包括基于偏微分方程的去噪方法、非局部均值去噪方法、基于小波变换的去噪方法以及基于稀疏表示和低秩逼近的方法等。其中，Dabov等人通过利用非局部自相似性和稀疏性先验，提出了一种三维块匹配(BM3D)去噪算法。该方法不仅在主客观评价上都达到了较为出色的效果，而且一定程度上简化了算法。然而，由于只涉及图像的全局结构特性，不涉及图像局部的几何建模，这些传统方法对于图像边缘和细节结构的恢复仍得不到令人满意的效果。

近年来，随着GPU技术的突破，深度学习发展形势大好，很多基于卷积神经网络的图像去噪方法也应运而生。一般来说，传统方法总是在主动地选择特征、设计模型，而基于深度学习的方法却能直接从大量的训练数据中自适应地学习，从而得到图像去噪模型。2017年，Zhang等人提出了一种前馈降噪卷积神经网络(DnCNN)的残差学习策略，用于加速训练和改善性能。2018年，Yang等人提出了一种Wasserstein距离和感知损失的生成对抗网络用于图像去噪。这类方法均具有较高的计算效率并且取得了不错的结果。但由于它们都仅利用图像空域上的特征信息，因此存在着去噪后图像丢失边缘、细节模糊等问题。

目前最先进的模型驱动去噪方法是利用图像的非局部自相似性进行建模。虽然这类方法在图像去噪领域取得了很大的成就，但仍然存在很多问题。首先，基于模型驱动的方法需要对图像进行特征分析，然后手工设计去噪模型，不仅很难表征复杂的图像结构，在特征分析和提取时也需要花费大量的时间精力。再者，这种基于图像先验信息进行建模的方法往往会产生一个非凸模型，会给后续的模型优化带来很大的挑战，要想通过手动调整参数来达到模型最佳的去噪性能也相当困难。

与基于模型驱动的方法不同，深度学习方法可以自动地从初始数据中学习到丰富的图像先验信息。卷积神经网络在图像去噪方向所取得的成功主要归功于其强大的建模能力以及它在网络设计和训练方面的不断进步。可最初的卷积神经网络方法存在着鲁棒性较差，灵活性不够的问题。针对这些不足，Zhang等人提出了一种快速、灵活的卷积神经网络去噪方法(FFDNet)。该方法在网络训练过程中对卷积滤波器进行正交正则化处理，并采用批量归一化和残差学习策略。通过对下采样后的子图像进行处理，FFDNet大大加快了训练和测试速度、扩大了感受野。然而，现有的卷积神经网络去噪方法在恢复图像的复杂结构和细节上仍有待提升，当图像具有更多的纹理细节时，去噪效果就会变差。

发明内容

针对现有技术中的问题，本发明的目的在于提供一种图像去噪方法、系统、设备及存储介质，提高图像信噪比，改善图像质量问题。

本发明实施例提供一种图像去噪方法，包括如下步骤：

构建图像去噪模型，所述图像去噪模型用于对输入的带噪声图像分别进行小波域的特征映射以及空间域的特征映射，得到去除噪声的图像；

训练所述图像去噪模型；

将待处理图像输入训练好的所述图像去噪模型中，得到所述图像去噪模型输出的去噪后图像。

在一些实施例中，所述图像去噪模型包括：

卷积与激活模块，包括用于空间域特征映射的空间域卷积与激活单元和用于小波域特征映射的小波域卷积与激活单元；

融合输出重构模块，用于将所述空间域卷积与激活单元输出的映射后空间域特征图和所述小波域卷积与激活单元输出的映射后小波域特征图融合，得到输出的去除噪声的图像。

在一些实施例中，所述图像去噪模型还包括：

特征提取模块，用于对输入的待处理图像进行特征提取，得到带噪声特征图；

所述空间域卷积与激活单元用于对所述带噪声特征图进行空间域特征映射，所述小波域卷积与激活单元用于对所述带噪声特征图进行小波域特征映射。

在一些实施例中，所述卷积与激活模块还包括：

小波变换单元，用于将所述带噪声特征图进行小波变换后得到带噪声小波域特征图，输入至所述小波域卷积与激活单元；

逆小波变换单元，用于将所述小波域卷积与激活单元输出的映射后小波域特征图进行逆小波变换后，输入至所述融合输出重构模块。

在一些实施例中，所述空间域卷积与激活单元包括多个空间域卷积与激活层，每个所述空间域卷积与激活层包括一卷积层、一批处理层和一激活函数层。

在一些实施例中，所述空间域卷积与激活单元中还包括输入和输出之间的短连接。

在一些实施例中，所述小波域卷积与激活单元包括多个小波域卷积与激活层，每个所述小波域卷积与激活层包括一卷积层和一激活函数层。

在一些实施例中，所述激活函数层包括依次串联的ReLU函数层、空洞卷积层、深度可分离卷积层、卷积层、批处理层和高斯函数层。

在一些实施例中，所述激活函数层包括两个所述空洞卷积层和两个所述深度可分离卷积层，两个所述深度可分离卷积层的输出融合后输入所述卷积层。

在一些实施例中，训练所述图像去噪模型，包括如下步骤：

构建损失函数，所述损失函数包括小波域图像损失函数和空间域图像损失函数；

基于构建的损失函数训练所述图像去噪模型。

在一些实施例中，所述小波域图像损失函数为小波域的均方误差损失函数，所述空间域图像损失函数为空间域的均方误差损失函数。

本发明实施例还提供一种图像去噪系统，用于实现所述的图像去噪方法，所述系统包括：

模型构建模块，用于构建图像去噪模型，所述图像去噪模型用于对输入的带噪声图像分别进行小波域的特征映射以及空间域的特征映射，得到去除噪声的图像；

模型训练模块，用于训练所述图像去噪模型，得到训练好的图像去噪模型；

图像去噪模块，用于将待处理图像输入训练好的所述图像去噪模型中，得到所述图像去噪模型输出的去噪后图像。

本发明实施例还提供一种图像去噪设备，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行所述的图像去噪方法的步骤。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的图像去噪方法的步骤。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

本发明的图像去噪方法、系统、设备及存储介质具有如下有益效果：

本发明针对目前大多数基于深度学习的图像去噪算法所存在的去噪后图像边缘模糊、丢失细节等问题，提出了一种新型基于双域网络的图像去噪模型，作为传统时频域分析方法小波变换与时下热点深度学习算法的结合，该模型将同时在空域和小波域上进行特征提取并互相补充，能够在有效地去除图像噪声、提高图像信噪比的同时，恢复出图像的纹理、边缘等细节信息，具有较好的主客观效果，从而获得更加理想的图像去噪效果。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。

图1是本发明一实施例的图像去噪方法的流程图；

图2是本发明一实施例的图像去噪模型的结构示意图；

图3是本发明一实施例的MsU激活函数层的示意图；

图4是本发明一实施例的图像去噪系统的结构示意图；

图5是本发明一实施例的图像去噪设备的结构示意图；

图6是本发明一实施例的计算机可读存储介质的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此，实际执行的顺序有可能根据实际情况改变。

如图1所示，本发明实施例提供一种图像去噪方法，包括如下步骤：

S100：构建图像去噪模型，所述图像去噪模型用于对输入的带噪声图像分别进行小波域的特征映射以及空间域的特征映射，得到去除噪声的图像；

S200：训练所述图像去噪模型；

S300：将待处理图像输入训练好的所述图像去噪模型中，得到所述图像去噪模型输出的去噪后图像。

通过采用本发明的图像去噪方法，首先通过步骤S100构建一种新型基于双域网络的图像去噪模型，并通过步骤S200对模型进行训练，该图像去噪模型作为传统时频域分析方法小波变换与时下热点深度学习算法的结合，该模型将同时在空域和小波域上进行特征提取并互相补充，在通过步骤S300采用训练好的图像去噪模型对图像进行去噪处理时，能够在有效地去除图像噪声、提高图像信噪比的同时，恢复出图像的纹理、边缘等细节信息，具有较好的主客观效果，从而获得更加理想的图像去噪效果。

如图2所示，在该实施例中，所述图像去噪模型包括：

卷积与激活模块，包括用于空间域特征映射的空间域卷积与激活单元和用于小波域特征映射的小波域卷积与激活单元；

融合输出重构模块，用于将所述空间域卷积与激活单元输出的映射后空间域特征图和所述小波域卷积与激活单元输出的映射后小波域特征图融合，得到输出的去除噪声的图像。

在图2中，Input表示输入，Output表示输出，Contat+Conv表示采用融合函数和卷积层的融合输出重构模块。卷积与激活模块包括从输入Input到融合输出重构模块之间的两个分支，空间域卷积与激活单元即对应于上面的分支，小波域卷积与激活单元对应于下面的分支。

在该实施例中，所述图像去噪模型还包括：

特征提取模块，用于对输入的待处理图像进行特征提取，得到带噪声特征图。具体地，将带噪声的图像y＝x+η作为所述图像去噪模型的输入，首先输入到特征提取模块，通过n

本发明采用和DnCNN一样的残差学习策略：通过训练残差映射

如图2所示，在该实施例中，所述空间域卷积与激活单元包括多个空间域卷积与激活层，每个所述空间域卷积与激活层包括一卷积层Conv、一批处理层BN和一激活函数层MsUs。在该实施例中，所述空间域卷积与激活单元中还包括输入和输出之间的短连接。

所述空间域卷积与激活单元用于对所述带噪声特征图feature

如图2所示，所述小波域卷积与激活单元包括多个小波域卷积与激活层，每个所述小波域卷积与激活层可以包括与所述空间域卷积与激活层一样的结构。由于经过比较，在小波域上不加批处理层的效果更好，因此小波域卷积和激活单元也可以去除批处理层。即每个所述小波域卷积与激活层可以包括一卷积层Conv和一激活函数层MsUw。

在该实施例中，所述卷积与激活模块还包括：

小波变换单元DWT，用于将所述带噪声特征图进行小波变换后得到带噪声小波域特征图，输入至所述小波域卷积与激活单元，经过DWT映射后的特征图有三部分，分别表示通过小波变换得到的三种高频光谱的特征图；

逆小波变换单元IDWT，用于将所述小波域卷积与激活单元输出的映射后小波域特征图进行逆小波变换后，输入至所述融合输出重构模块。

所述小波域卷积与激活单元用于对所述带噪声特征图进行小波域特征映射。具体地，将特征提取层输出的带噪声特征图feature

如图3所示，为本发明提出的一种新的激活函数层MsU的组成示意图。上述的MsUs为空间域的激活函数，MsUw为小波域的激活函数。在该实施例中，所述激活函数层包括依次串联的ReLU函数层、2D空洞卷积层Dilated Conv2d、深度可分离2D卷积层Conv2d Depth-wise、2D卷积层Conv2d、批处理层Batch-Norm和高斯函数层Gaussian。

进一步地，在该实施例中，所述激活函数层包括两个所述2D空洞卷积层DilatedConv2d和两个所述深度可分离2D卷积层Conv2d Depth-wise，两个所述深度可分离2D卷积层Conv2d Depth-wise的输出经过融合层Concat融合后输入所述卷积层。

本发明所提出的MsU激活函数对于各元素对应权值的计算是不同的，它利用多尺度卷积在不同大小的感受野上获取信息。有些信息可以通过大的感受野获取，而另一些则更需要在较小的感受野上获取。通过MsU，每个像素所对应的权值将由不同尺度下的外围相邻像素共同作用得到，从而有效地获取更多信息。采用深度卷积可确保各通道之间不相互影响，同时也达到提高计算效率、减少参数量的作用。最后结合两个不同尺度下卷积操作后的权值，即可得到每个像素的最终激活值。

对于输入噪声图像y，本发明所提出的图像去噪模型旨在学习一个残差映射函数

具体地，在该实施例中，所述步骤S200：训练所述图像去噪模型，包括如下步骤：

构建损失函数，所述损失函数包括高频损失和空间域图像损失，所述高频损失为小波域的均方误差损失函数，所述空间域图像损失为空间域的均方误差损失函数；

基于构建的损失函数训练所述图像去噪模型，训练至所述损失函数小于预设损失函数阈值，得到训练好的所述图像去噪模型，即将所述图像去噪模型训练至收敛。

本发明的网络损失函数通过最小化噪声图像块与干净图像块之间的平均均方误差，不断学习并且更新模型参数。本发明对于该网络模型提出了两种损失：高频损失和空间域图像损失。高频损失是在小波域上的MSE损失，其目的是为了保证纹理和细节信息能够准确的恢复，从而在图像重建的过程中进行有效的补充；空间域图像损失是在空间域上的一种传统MSE损失，其目的是在平滑度和纹理之间取得平衡。

其中，小波域上的MSE损失，定义为：

L

其中λ

其中

空间域图像损失定义如下：

网络总损失函数定义如下：

L

其中λ

本发明将提出的基于双域网络的图像去噪方法(表一中显示为MWCNN)与现有技术中的方法BM3D、WNNM、DnCNN和FFDNet进行比较。其中，BM3D和WNNM是两种典型的基于非局部自相似先验的方法，DnCNN和FFDNet是基于深度学习的方法。

根据设计的噪声图像模型，在无噪测试图像中加入不同噪声水平的高斯白噪声，生成模拟的噪声图像用于训练。为了更全面地评价SWCNN算法，此处设置了3个不同的噪声等级(σ＝15,35,50)。表一展示了不同方法在Set12、BSD68数据集上的PSNR结果比较。可以看出，本发明所提出的图像去噪方法均优于其他对比方法，特别是在高噪声水平下。

表一：不同方法在Set12、BSD68数据集上进行去噪后的PSNR比较

如图4所示，本发明实施例还提供一种图像去噪系统，用于实现所述的图像去噪方法，所述系统包括：

模型构建模块M100，用于构建图像去噪模型，所述图像去噪模型用于对输入的带噪声图像分别进行小波域的特征映射以及空间域的特征映射，得到去除噪声的图像；

模型训练模块M200，用于训练所述图像去噪模型，得到训练好的图像去噪模型；

图像去噪模块M300，用于将待处理图像输入训练好的所述图像去噪模型中，得到所述图像去噪模型输出的去噪后图像。

通过采用本发明的图像去噪方法，首先采用模型构建模块M100构建一种新型基于双域网络的图像去噪模型，并采用模型训练模块M200对模型进行训练，该图像去噪模型作为传统时频域分析方法小波变换与时下热点深度学习算法的结合，该模型将同时在空域和小波域上进行特征提取并互相补充，在采用图像去噪模块M300采用训练好的图像去噪模型对图像进行去噪处理时，能够在有效地去除图像噪声、提高图像信噪比的同时，恢复出图像的纹理、边缘等细节信息，具有较好的主客观效果，从而获得更加理想的图像去噪效果。

在该实施例中，所述模型构建模块M100构建的图像去噪模型包括：

特征提取模块，用于对输入的待处理图像进行特征提取，得到带噪声特征图；

卷积与激活模块，包括用于对所述特征提取模块输出的带噪声特征图进行空间域特征映射的空间域卷积与激活单元、用于对所述特征提取模块输出的带噪声特征图进行小波变换的小波变换单元、用于对所述小波变换单元输出的带噪声小波域特征图进行小波域特征映射的小波域卷积与激活单元、以及用于对所述小波域卷积与激活单元输出的映射后小波域特征图进行逆小波变换单元；

融合输出重构模块，用于将所述空间域卷积与激活单元输出的映射后空间域特征图和所述逆小波变换单元输出的逆小波变换后小波域特征图融合，得到输出的去除噪声的图像。

在该实施例中，所述空间域卷积与激活单元包括多个空间域卷积与激活层，每个所述空间域卷积与激活层包括一卷积层、一批处理层和一激活函数层。所述小波域卷积与激活单元包括多个小波域卷积与激活层，每个所述小波域卷积与激活层包括一卷积层和一激活函数层。所述激活函数层采用MsU激活函数，包括依次串联的ReLU函数层、空洞卷积层、深度可分离卷积层、卷积层、批处理层和高斯函数层。

所述模型训练模块M200训练所述图像去噪模型时，首先构建包括小波域图像损失函数和空间域图像损失函数的总损失函数；然后基于构建的损失函数训练所述图像去噪模型，训练至所述损失函数小于预设损失函数阈值，得到训练好的所述图像去噪模型，即将所述图像去噪模型训练至收敛。在该实施例中，所述小波域图像损失函数为小波域的均方误差损失函数，所述空间域图像损失函数为空间域的均方误差损失函数。

本发明实施例还提供一种图像去噪设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的图像去噪方法的步骤。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

下面参照图5来描述根据本发明的这种实施方式的电子设备600。图5显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述图像去噪方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。

所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

所述图像去噪设备中，所述存储器中的程序被处理器执行时实现所述的图像去噪方法的步骤，因此，所述计算机存储介质也可以获得上述图像去噪方法的技术效果。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的图像去噪方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上执行时，所述程序代码用于使所述终端设备执行本说明书上述图像去噪方法部分中描述的根据本发明各种示例性实施方式的步骤。

参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上执行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

所述计算机存储介质中的程序被处理器执行时实现所述的图像去噪方法的步骤，因此，所述计算机存储介质也可以获得上述图像去噪方法的技术效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。