图像去噪方法、网络模型的训练方法、装置、介质和设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像去噪方法、网络模型的训练方法、装置、介质和设备。

背景技术

目前，现有的用于图像去噪的神经网络在训练时，往往先通过一定的手段获得质量较好的噪声-干净图像对，然后进行有监督训练；或者基于干净图像人为添加噪声合成对应的噪声图像，从而生成噪声-干净图像对。在进行有监督训练时，一方面噪声-干净图像对往往获得难度大，导致训练神经网络成本较高，另一方面人为添加的噪声与自然界真实噪声的分布存在差别，不能客观反映真实噪声，导致训练结果不能与实际应用相匹配。

为此，亟需提供一种图像去噪网络模型的训练方案，来改善现有图像训练集不客观或者获取成本高的问题。

发明内容

本发明实施例提供一种图像去噪方法、网络模型的训练方法、装置、介质和设备，用以提供一种新的自监督图像去噪网络模型的训练方案，来改善现有图像训练集不客观或者获取成本高的问题。

第一方面，本发明提供一种自监督图像去噪网络模型的训练方法，该训练方法可以包括如下步骤：优化特征提取网络模型，优化后的所述自监督图像去噪网络模型中的转换器包括全局特征编码器和局部特征提取器；将真实噪声图像作为网络训练集，将公开测试数据集作为网络验证集；对所述网络图像训练集进行掩码处理，生成掩码图像训练集；将掩码图像训练集输入优化后的特征提取网络模型进行自监督模型训练，直至达到设定迭代次数或者损失值小于设定阈值，输出自监督图像去噪网络模型。

本发明提供一种自监督图像去噪网络模型的训练方法的有益效果在于：可以不需要预先采集噪声-干净图像对，使用带噪图像就能实现图像去噪网络模型的训练，通过优化特征提取网络模型，使得优化后的特征提取网络模型结合提取全局特征和局部特征，能有效降低全局图像噪声同时，保护局部纹理突变。

在一种可能的实施方式中，所述全局特征编码器包括：多头注意力MSA模块、至少两层归一化LN模块和多层感知机MLP模块，其中，每个MSA模块和MLP模块与LN模块之前的特征进行残差连接，所述全局特征编码器

其中，E代表图像块嵌入向量。

在另一种可能的实施方式中，所述方法还包括：所述局部特征提取器包括普通卷积层、可变形卷积层，所述可变形卷积用于提取周围纹理变化特征，所述普通卷积层用于扩展维度，所述局部特征提取器

其中，

在其它可能的实施方式中，所述方法还包括：将掩码图像训练集输入优化后的特征提取网络模型进行自监督模型训练之前，还包括：对掩码图像训练集进行归一化处理。

在又一种可能的实施方式中，对所述网络图像训练集进行掩码处理，生成掩码图像训练集，包括：按照步长通过提取原始图像的部分像素点，生成掩码图像训练集。

第二方面，本发明实施例还提供一种自监督图像去噪网络模型的训练装置，该训练装置包括执行上述第一方面的任意一种可能的实施方式的方法的模块/单元。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。

第三方面，本发明实施例还提供一种图像去噪方法，该方法应用于上述第一方面的任意一种可能的实施方式的自监督图像去噪网络模型，对原始噪声图像进行掩码处理，得到第一中间图像，向上述图像去噪网络模型输入第一中间图像；获取所述图像去噪网络模型所输出的第二中间图像，对所述第二中间图像进行掩码恢复处理，得到去噪后的图像。第四方面，本发明实施例提供一种电子设备，包括处理器和存储器。其中，存储器用于存储一个或多个程序；当存储器存储的一个或多个程序被处理器执行时，使得该电子设备能够实现上述第一方面的任意一种可能的实施方式的方法。

第五方面，本发明实施例中还提供一种可读存储介质，所述可读存储介质包括程序，当程序在电子设备上运行时，使得所述电子设备执行上述第一方面的任意一种可能的实施方式的方法。

第六方面，本发明实施例还提供一种包含程序产品，当所述程序产品在电子设备上运行时，使得所述电子设备执行上述第一方面的任意一种可能的实施方式的方法。

关于上述第二方面至第六方面的有益效果可以参见上述第一方面中的描述。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种应用场景示意图；

图2为本发明实施例提供的一种自监督图像去噪网络模型的训练方法流程示意图；

图3为本发明实施例提供的一种自监督图像去噪网络模型的架构示意图；

图4为本发明实施例提供的一种图像去噪方法流程示意图；

图5为本发明实施例提供的另一种图像去噪方法示例示意图；

图6为本发明实施例提供的一种自监督图像去噪网络模型的训练装置示意图；

图7为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

图像去噪旨在从噪声观测中恢复干净的信号，它是图像处理和低级计算机视觉中的重要任务之一。最近，随着神经网络的快速发展，基于学习的有监督去噪模型已经取得了令人满意的性能。然而，基于学习的有监督去噪模型在很大程度上依赖于噪声-干净图像对。在实际应用中，收集这样的图像对是复杂且昂贵的，甚至在动态场景和医学成像等任务中，由于现实条件的限制，符合要求的图像对根本无法获得，这就导致有监督的图像去噪方法难以适应某些去噪场景，或是难以达到理想的去噪效果。为此，现有还提供了一种自监督图像去噪方法，相比于有监督的图像去噪方法，自监督图像去噪方法因其无需噪声-干净图像对做参考而更具有实践价值。目前绝大部分的自监督方法使用带噪图像就能实现去噪模型的训练。然而，现有的自监督去噪方法中一般使用的是普通卷积神经网络，即Convolution，将待处理像素点进行掩码（mask）处理，用周围像素点信息填充后，利用周围像素点信息进行自监督训练，这样做得到的图像的去噪结果往往缺乏纹理细节，降噪效果存在不足。

为了改善现有的图像去噪网络模型降噪效果的不足，本发明提供一种自监督图像去噪网络模型的训练方法，该方法可以不需要预先采集噪声-干净图像对，使用带噪图像就能实现图像去噪网络模型的训练，通过优化特征提取网络模型，使得优化后的特征提取网络模型结合提取全局特征和局部特征，能有效降低全局图像噪声同时，保护局部纹理突变。

以下对本发明实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

1、卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络（feedforward neural networks），是深度学习（deep learning）的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。卷积神经网络是神经网络的一种，受到生物神经科学研究启发而来，卷积神经网络提出之初用于处理具有类网络结构的数据，如可把图像视作由像素点组成的二维网络。卷积神经网络的一般性的网络结构中含有数据输入层、卷积层、数据激励层、池化层、全连接和数据输出层。

本发明实施例涉及人工智能（artificial intelligence，AI）和机器学习技术，基于人工智能中的深度学习网络和机器学习（machine learning，ML）而设计。

随着人工智能技术研究和进步，人工智能在多个领域展开研究和应用，例如常见的智能家居、智能客服、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、机器人、智能医疗等，相信随着技术的发展，人工智能将在更多的领域得到应用，并发挥越来越重要的价值。

2、机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。

在本发明实施例的描述中，以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本发明的限制。如在本发明的说明书和所附权利要求书中所使用的那样，单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本发明以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上（包含两个）。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

在本发明实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

本发明所提供的一种图像去噪网络模型的训练方法可以应用于如图1所示的应用场景，该应用场景中包括服务器100、终端设备200。

一种可能的实现方案中，服务器100，用于优化特征提取网络模型，优化后的特征提取网络模型中的转换器包括全局特征编码器和局部特征提取器；将真实噪声图像作为网络训练集，将公开测试数据集作为网络验证集；对所述网络图像训练集进行掩码处理，生成掩码图像训练集；将掩码图像训练集输入优化后的特征提取网络模型进行自监督模型训练，直至达到设定迭代次数或者损失值小于设定阈值，输出自监督图像去噪网络模型。终端设备200从服务器100获取该自监督图像去噪网络模型，并用于图像去噪。

其中，自监督图像去噪网络模型可以是改进了转换器（Transformer）算法的卷积神经网络模型，服务器100和终端设备200可以通过无线网络连接，终端设备200可以是具备图像传感器的终端设备，该终端设备可以是智能手机、平板电脑或者医学成像设备等。服务器100可以是一台服务器，或者是若干台服务器组成的服务器集群或云计算中心。

基于图1所示的应用场景图，本发明实施例提供了一种自监督图像去噪网络模型的训练方法流程，如图2所示，该方法的流程可以由服务器执行，该方法包括以下步骤：

S201，优化特征提取网络模型，优化后的特征提取网络模型中的转换器包括全局特征编码器和局部特征提取器。

S202，将真实噪声图像作为网络训练集，将公开测试数据集作为网络验证集。

S203，对所述网络图像训练集进行掩码处理，生成掩码图像训练集。

该步骤中，一种示例中，可以先按照步长通过提取真实噪声图像的部分像素点，生成掩码图像训练集。在掩码图像训练集作为图像源确定后，在真实噪声图像上按照尺寸为（128，128）随机裁剪后作为训练图像，然后进行Mask操作，即一副图像按照步长为n×n（例如n为2）将像素点进行mask，并使用0或1标记mask位置，0代表未被mask，1代表mask；标记为1被mask的像素使用周围8点的均值作为初始值，则当n为2的情况下，一副图像经过Masker后变成4副大小不变的图像和4个mask标记，依次类推，对每帧真实噪声图像进行如上掩码处理，最终得到掩码图像训练集。

S204，将掩码图像训练集输入优化后的特征提取网络模型进行自监督模型训练，直至达到设定迭代次数或者损失值小于设定阈值，输出自监督图像去噪网络模型。

可选的，在执行S204之前，还可以对掩码图像训练集进行归一化处理，例如，对掩码图像训练集按照如下公式进行归一化处理：

之后，将完成归一化后的图像数据输入优化后的特征提取网络模型进行训练，训练100期（epoch），同时记录验证集指标最高的模型为最终输出的自监督图像去噪网络模型。应理解，对数据进行归一化处理可以让数据处于同一范围，能够加速数据算法处理，且能够降低不同特征值之间的相关性。

在一种可能的实施方式中，所述全局特征编码器包括：多头注意力（MultiheadSelf-Attention，MSA）模块、至少两层归一化（Layer Norm，LN）模块和多层感知机（Multi-Layer Perceptron，MLP）模块，其中，每个MSA模块和MLP模块与LN模块之前的特征进行残差连接，所述全局特征编码器

其中，E代表图像块嵌入向量。

示例性的，如图3所示，本发明使用多头Transformer编码器来捕获较大感受野的信息，使得纹理信息得以保存。该全局特征编码器包含一个MSA、多个LN模块和一个MLP模块，每个MSA和MLP都会与LN之前的特征进行残差连接。全局特征编码器以输入图像进行嵌入编码后的图像块嵌入向量E为处理对象，使得纹理信息得以保存。

在另一种可能的实施方式中，所述局部特征提取器包括普通卷积层（Conv）、可变形卷积层（DeformConv）和激活层（LeakyReLU），所述可变形卷积用于提取周围纹理变化特征，所述普通卷积层（Conv）用于扩展维度，所述局部特征提取器

其中，

示例性的，如图3所示，首先使用一个LN模块对输入的图像块嵌入向量进行归一化，之后使用局部特征提取器的普通卷积层（Conv）的卷积操作得到局部特征，再衔接普通卷积操作进行降维处理减少计算量，然后使用两层可变形卷积层（DeformConv）和激活层（LeakyReLU）提取周围纹理变化特征，可变形卷积层（DeformConv）和激活层（LeakyReLU）的卷积操作的目的是为了保护纹理突变区域，然后进行普通卷积扩展维度，最后使用残差连接与降维前特征融合。

在本发明的一些实施例中，本发明实施例公开了一种图像去噪方法，该方法可以应用于上述图像去噪网络模型，如图4所示，具体包括如下步骤：

S401，对原始噪声图像进行掩码处理，得到第一中间图像。

S402，向上述自监督图像去噪网络模型输入所述第一中间图像。

S403，获取所述自监督图像去噪网络模型所输出的第二中间图像。

S404，对所述第二中间图像进行掩码恢复处理，得到去噪后的图像。

结合图5举例来说，将训练好的自监督图像去噪网络模型部署到云端或终端设备，之后在进行图像去噪时，首先对输入的一帧原始噪声图像进行Masker操作，得到多帧第一中间图像，然后输入将多帧第一中间图像输入训练好的自监督图像去噪网络模型，得到多帧第二中间图像，然后再使用mask标记取出被mask的像素点，恢复出所有被mask的图像，即去噪后的图像。

在本发明的一些实施例中，本发明实施例公开了一种自监督图像去噪网络模型的训练装置，如图6所示，该装置用于实现以上各个训练方法实施例中记载的方法，其包括：优化单元601、生成单元602和训练单元603。优化单元601，用于优化特征提取网络模型，优化后的特征提取网络模型中的转换器包括全局特征编码器和局部特征提取器，生成单元602，用于将真实噪声图像作为网络训练集，将公开测试数据集作为网络验证集，对所述网络图像训练集进行掩码处理，生成掩码图像训练集。训练单元603，用于将掩码图像训练集输入优化后的特征提取网络模型进行自监督模型训练，直至达到设定迭代次数或者损失值小于设定阈值，输出自监督图像去噪网络模型。上述训练方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

在本发明的一些实施例中，本发明实施例公开了一种图像去噪网络装置，该装置用于实现以上图像去噪方法实施例，其包括：预处理单元、输入单元、获取单元和恢复单元，预处理单元用于对原始噪声图像进行掩码处理，得到第一中间图像。输入单元，用于向自监督图像去噪网络模型输入所述第一中间图像。获取单元，用于获取所述自监督图像去噪网络模型所输出的第二中间图像，恢复单元，用于对所述第二中间图像进行掩码恢复处理，得到去噪后的图像。上述图像去噪方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

在本发明的另一些实施例中，本发明实施例公开了一种电子设备，该电子设备可以指代上文中的服务器100，也可以指代上文中的终端设备200，如图7所示，该电子设备700可以包括：一个或多个处理器701；存储器702；显示器703；一个或多个应用程序（未示出）；以及一个或多个程序704，上述各器件可以通过一个或多个通信总线705连接。其中该一个或多个程序704被存储在上述存储器702中并被配置为被该一个或多个处理器701执行，该一个或多个程序704包括指令，该指令可以用于执行如图2、图4及相应实施例中的各个步骤。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备或处理器执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何在本发明实施例揭露的技术范围内的变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以所述权利要求的保护范围为准。