基于深度卷积神经网络的红外非均匀性校正方法及装置

技术领域

本申请涉及红外热成像领域，具体而言，涉及一种基于深度卷积神经网络的红外非均匀性校正方法及装置。

背景技术

基于红外焦平面阵列的非制冷红外热成像系统以其体积小、重量轻和功耗低等诸多优点，广泛应用于军事和民用等各个领域。但制造工艺的限制造成红外图像的非均匀性，导致在图像中形成横向或者纵向的条状噪声，严重影响图像质量和红外热成像系统的性能。非均匀性校正一直是红外技术领域的研究热点，对于高性能的红外热成像系统具有重要的作用。

现有的非均匀性校正算法(Nonuniformity Correction，以下简称NUC)方法总体上可以分为三类：基于定标的NUC方法、基于场景的NUC方法和基于深度学习的NUC方法。

基于定标的NUC方法通过黑体或者挡板来制造均匀环境，具有计算简单效果明显的优点，但缺点是需要中断红外热成像系统的正常工作，导致系统的实时性差。

基于场景的NUC方法针对缓慢漂移的空间不均匀性而开发，对于去除条纹噪声无法取得令人满意的结果，此外基于场景的方法虽然无需中断系统工作，但场景需要充分运动，否则会出现鬼影等问题。

基于深度学习的NUC方法包括基于卷积神经网络的单幅红外图像条纹去噪(Stripe Noise Removal Convolutional Neural Network，以下简称SNRCNN)模型的NUC方法和基于空间特征的单幅红外去噪(Spatiotemporal Stripe Noise Removal，以下简称ST-SNR)模型的NUC方法。SNRCNN模型通过卷积神经网络将图像去噪和超分辨相结合，但网络模型容量有限，易产生剩余噪声和过渡平滑的问题。而基于卷积神经网络和循环神经网络的混合模型ST-SNR，从空间建模的角度挖掘条纹噪声的内在特征来精确估计噪声成分，但在去噪过程中忽略了噪声本身的特性，使得去噪结果中仍有噪声残留。

此外，现有技术中还有人提出了基于深度学习的单图像的非制冷红外探测器非均匀校正(Single-image Deep-Learning-based Strip NUC，以下简称DLS-NUC)模型，将固定图案噪声(FPN)模拟和条纹去噪相结合，对大量高保真训练图像进行仿真，得到端到端的残差网络，以估计列条纹噪声。模型按功能可以划分为：特征提取、非线性映射和图像重建三个部分。在特征提取部分仅采用一层卷积核和3×3的卷积层，但这导致提取到的原图的全局信息过少，不利于后续条纹噪声的分布规律的学习。此外虽然采用特征融合的操作来弥补池化和反卷积过程中丢失的细节，但融合后仅用一层卷积进行处理，使得条纹特征和图像细节没有得到充分的融合。在非线性映射部分，所有卷积层的卷积核个数设置为32，即每一层的feature map的通道数为32，通道数太少导致每一层特征学习不够充分。上述的不足造成最终的去噪结果中仍有强噪声残留，并且模糊了图像细节。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种基于深度卷积神经网络的红外非均匀性校正方法及装置，以至少解决红外图像去噪效果不好而导致的图像细节模糊的技术问题。

根据本申请实施例的一个方面，提供了一种基于深度卷积神经网络的红外非均匀性校正方法，包括：获取红外图像；利用基于深度卷积神经网络预先构建并训练的红外非均匀性校正模型，来去除所述红外图像中的噪声，以校正所述红外图像。

根据本申请实施例的另一方面，还提供了一种基于深度卷积神经网络的红外非均匀性校正装置，包括：图像获取模块，被配置为获取红外图像；校正模块，被配置为利用基于深度卷积神经网络预先构建并训练的红外非均匀性校正模型，来去除所述红外图像中的噪声，以校正所述红外图像。

在本申请实施例中，采用基于深度卷积神经网络预先构建并训练的红外非均匀性校正模型，来去除所述红外图像中的噪声，以校正所述红外图像，解决了红外图像去噪效果不好而导致的图像细节模糊的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种基于深度卷积神经网络的红外非均匀性校正方法的流程图；

图2是根据本申请实施例的另一种基于深度卷积神经网络的红外非均匀性校正方法的流程图；

图3是根据本申请实施例的一种基于深度卷积神经网络的红外非均匀性校正模型的结构示意图；

图4是根据本申请实施例的构建和训练红外非均匀性校正模型的方法的流程图；

图5是根据本申请实施例的一种基于深度卷积神经网络的红外非均匀性校正装置的结构示意图；

图6是根据本申请实施例的红外非均匀性校正模型和DLS-NUC模型的去噪效果对比图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本申请实施例，提供了一种基于深度卷积神经网络的红外非均匀性校正方法的流程图，如图1所示，该方法包括：

步骤S102，获取红外图像。

步骤S104，利用基于深度卷积神经网络预先构建并训练的红外非均匀性校正模型，来去除所述红外图像中的噪声，以校正所述红外图像。

首先，构建所述红外非均匀性校正模型的特征提取模块，其中，所述特征提取模块用于对所述含噪图像进行特征提取，得到特征提取的特征图；例如，使用卷积核的尺寸大于预设尺寸阈值的卷积核，来对所述含噪图像进行特征提取，得到所述特征提取后的特征图。

本实施中，在特征提取时，采用了更大宽度例如尺寸为7×7的卷积核来完成，这样可以从训练数据集的样本图像中提取到更多的全局信息，从而有助于使得红外非均匀性校正模型更好地学习到条纹噪声的分布规律，进而使得去噪更彻底。

接着，构建所述红外非均匀性校正模型的非线性映射模块，其中，所述非线性映射模块用于对所述特征提取的特征图进行非线性映射，得到非线性映射的特征图。

例如，采用最大池化对所述特征提取后的特征图进行下采样，以对所述特征提取的特征图进行降维；采用卷积层和激活函数层的组合，对降维后的所述特征提取的特征图进行非线性映射，得到所述非线性映射的特征图。之后，采用参数可学习的反卷积层对降维后的所述特征提取的特征图进行上采样，恢复降维后的所述特征提取的特征图的尺寸。

本实施例在非线性映射中，采用最大池化进行下采样，对特征进行压缩，简化了网络复杂度、减小了计算量，同时还增大了感受野。

然后，构建所述红外非均匀性校正模型的特征融合模块，其中，所述特征融合模块用于对所述特征提取的特征图和所述非线性映射的特征图进行融合。

最后，构建所述红外非均匀性校正模型的图像重建模块，其中，所述图像重建模块基于融合后的特征图进行图像重建。例如，对所述融合后的特征图进行处理，得到条纹噪声。

例如，基于所述含噪图像与无噪图像之间的残差信息，利用残差学习确定残差损失；利用上一次利用所述红外非均匀性校正模型得到的去噪图像与无噪图像之间的结构相似性，确定相似性损失；基于用于平衡所述残差损失与所述相似性损失的平衡指数α、所述残差损失、以及所述相似性损失，来确定损失函数。

之后，基于所述损失函数，对所述融合后的特征图进行补偿处理，得到所述条纹噪声。最后，从所述含噪图像中去除所述条纹噪声，得到校正后的去噪图像。

本实施例使用特征融合层，将下采样前的特征图与上采样后的特征图进行融合，再经过多个卷积层处理获得条纹噪声的高维信息的同时恢复丢失的图像细节，使得所得到的校正后的图像更加清楚。

在构建了红外非均匀性校正模型之后，还需要对红外非均匀性校正模型进行训练。首先采用三次多项式来模拟条纹噪声，得到含噪图像，作为训练数据集。之后，利用这些训练数据集来训练红外非均匀性校正模型。

训练好红外非均匀性校正模型之后，将红外图像输入到红外非均匀性校正模型中，以通过红外非均匀性校正模型来校正该红外图像。

本实施例在网络结构中添加了批归一化层。例如，求出多个样本数据的均值和方差；使用所求出的均值和方差对所述多个样本数据做归一化处理，获得正态分布；利用在训练神经网络时学习得到的尺度变换因子和偏移系数，对归一化处理后的所述多个样本数据进行尺度变换和偏移，以统一所述多个样本数据的尺度和偏移。这样缓解了协变量偏移的问题，同时加快网络训练速度，提升了网络去噪性能。

实施例2

根据本申请实施例，提供了另一种基于深度卷积神经网络的红外非均匀性校正方法，如图2所示，该方法包括：

步骤S202，构建并训练红外非均匀性校正模型。

本实施例构建了一种基于深度卷积神经网络的红外非均匀性矫正模型NUC-DCN。该红外非均匀性矫正模型按照功能可以划分为：FPN模拟、特征提取、非线性映射、特征融合和图像重建五个部分。

如图3所示，该红外非均匀性矫正模型的特征提取模块由两个卷积核为7×7的卷积层组成；非线性映射模块由一个最大池化层、一个反卷积层、六个卷积层和激活函数层的组合构成；特征融合模块由一个融合层和三个卷积层组成；图像重建模块则由一个3×3的卷积层组成。表1是网络模型的具体结构表：

表1

如图4所示，构建并训练红外非均匀性校正模型的方法包括以下步骤S2021至S2027。

步骤S2021，FPN模拟。

在非均匀性校正的任务中，模拟数据集的制作通常采用无噪图像加上模拟噪声得到最终的含噪图像，如公式1所示：

Y＝X+N (1)

其中，Y表示最终的含噪图像，X和N分别表示无噪图像和条纹噪声。

由于不同材料不同类型的探测器的缺陷产生的机理不同，因此很难建立统一完善的红外图像非均匀性模型，为了能够模拟出大部分的条纹噪声模型，本申请实施例采用三次多项式来模拟条纹噪声，如公式2：

其中，V(i，j)表示探测器(i，j)的热响应，在灰度图像中则指代坐标为(i，j)处的像素值，N(i，j)代表柱状FPN，a

本实施例采用三次多项式进行FPN模拟，提高了训练集的保真度和模型的泛化性能。

步骤S2022，特征提取。

受广域推理网络的启发，在自然图像去噪等低级视觉任务中，噪声的像素分布规律才是关键。而为了学习到噪声的分布规律则需要在网络中提取到更多的全局信息，因此在该部分采用两个7×7大小的卷积层进行卷积操作来实现特征提取，同时增大感受野，卷积操作如公式3所示：

F

其中。F

步骤S2023，非线性映射。

非线性映射是通过堆叠卷积层和激活函数层的组合来实现的，以增加整个网络的表达能力。非线性映射由一个最大池化层、一个反卷积层、六个卷积层和激活函数层的组合构成。

从特征提取输入的特征图首先经过池化进行下采样操作，对特征图进行降维去除冗余信息简化网络复杂度，然后，经过卷积层加激活函数层的组合进行非线性映射，在非线性映射中本实施例采用ReLu作为激活函数，表达式如式4所示：

通过表达式可以看出，ReLu函数不仅表达简单计算高效，并且梯度恒定不存在梯度消失的问题。

之后，再通过反卷积层来恢复特征图尺寸以便后续的图像重建。

与其他上采样相比，反卷积是一种参数可学习的上采样，在反向传播过程中可以随着梯度下降法来更新参数，使模型达到最优。

步骤S2024，特征融合。

特征融合模块由一个融合层和三个卷积层组成，将条纹噪声的高维特征和图像细节相融合，恢复池化和反卷积过程中丢失的信息。融合操作如公式5所示：

F

其中，F

步骤S2025，图像重建。

图像重建部分采用一个卷积核尺寸为3×3×64×1的卷积层，来恢复图像的通道数，由于红外系统生成的是灰度图像，因此通道数为1。由于网络采用残差学习的策略，因此最后一个卷积层的输出是噪声图像

在图像重建中，本实施例还提出了损失函数。

网络采用残差学习的策略，训练网络提取含噪图像与无噪图像之间的残差信息，在图像复原领域(尤其是在噪音程度较小的情况下)，噪音图片与纯净图片的残差非常小，所以理论上残差学习非常适合运用到图像复原上。

除此之外，为了防止去噪后图像细节丢失，在损失函数中加入了去噪图像与干净图像的结构相似性作为惩罚项。最终的损失函数如下：

lr＝lr*β

其中，R(Y

式(8)为学习率的衰减公式，其中lr表示学习率(Learning Rate)，epoch表示迭代次数，β为衰减系数，在一个示例中，β取值为0.999，学习率随着迭代次数的增加逐渐减少，在100次迭代后逐渐趋于平稳无限接近但不等于0。同时在训练过程中使用带动量的小批量(Mini-Batch)梯度下降法，可以使损失函数下降的更快，加快收敛。

在本实施例中，在特征提取、非线性映射、特征融合和图像重建的过程中，还引入了批归一化。

批归一化是数据归一化的方法，用在激活函数之前，可以加快模型训练时的收敛速度。BN的提出是为了解决协变量偏移的问题。在网络反向传播过程中，每层权重的更新是假定其他权重不变的情况下，向着损失函数降低的方向调整自己，但在一次反向传播过程中，所有的权重都会同时更新，导致层间配合″缺乏默契″，这种现象就成为ICS。

假设网络训练的一个批次含有m个样本即X＝{x

其中

最后对归一化后的数据进行尺度变换和偏移得到最终的输出

步骤S204，利用红外非均匀性校正模型来校正噪声图像。

本申请实施例在现有非均匀性校正技术的基础上，创造性地提出了红外非均匀性校正算法，构建了一种基于深度卷积神经网络的红外非均匀性矫正模型。

本实施例提供的红外非均匀性矫正模型中采用残差学习技术学习噪声红外图像和潜在清洁图像之间的残差信息，加速了训练过程；使用三次多项式来模拟FPN，提高了模型的泛化性能；在特征提取中使用更宽的卷积核来获得全局噪声特征表示；通过池化层和反卷积层的组合恢复特征图大小来重建图像，降低了特征维数，减少了计算量；最后，通过融合特征提取和非线性映射的特征图重建去噪图像，提高了图像的质量。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

实施例3

根据本申请实施例，还提供了一种基于深度卷积神经网络的红外非均匀性校正装置，如图5所示，该装置包括图像获取模块52校正模块54。

图像获取模块52被配置为获取红外图像；

校正模块54被配置为利用基于深度卷积神经网络预先构建并训练的红外非均匀性校正模型，来去除所述红外图像中的噪声，以校正所述红外图像。

可选地，本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例，本实施例在此不再赘述。

实施例4

本申请的实施例还提供了一种存储介质，上述存储介质被设置为存储用于执行以上实施例方法的程序代码。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

可选地，本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例，本实施例在此不再赘述。

为了验证本申请实施例的优异性，与当前去噪性能杰出的DLS-NUC模型进行实验对比。对比实验中分别从视觉效果和评价指标上进行，这里选用峰值信噪比(PSNR)和结构相似性(SSIM)作为评价指标。实验结果分别如图6和表2表3所示，其中，表2为模型去噪结果峰值信噪比(dB)对比，表3为模型去噪结果结构相似性对比。

图6中a，e和i表示无噪图像，b，f和j列表示添加FPN后的图像，c，g，k和d，h，1分别表示DLS-NUC和所提出的模型的去噪结果图。从c，g两幅子图像可以看出，在模型DLS-NUC去噪后图像残留有明显的柱状条纹(箭头所指部分)，去噪不彻底，此外在对j子图像进行去噪时，可以看到原图像黑圈内的图像细节在DLS-NUC去噪后变得模糊不清，而本实施例所提出的模型去噪结果1中去除噪声的同时还保留了图像的细节。

表2

表3

从图6和表2表3可以看出，本实施例提供的模型性能一直由于DLS-NUC模型。通过上述去噪可视化和评价指标的对比可以看出，本实施例所提出的模型在去噪和保留图像细节方面性能要高于DLS-NUC模型，因此，本实施例中的基于红外非均匀性校正模型的校正方法和装置能够更好地识别出红外图像中的噪声，从而得到更清晰的无噪图像。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。