基于N2N和深度学习的干涉图去噪方法

(一)技术领域

本发明涉及的是一种基于N2N和深度学习的干涉图去噪方法，特别是涉及基于N2N(noise2noise，在输入与输出都是有噪声的信号的情况下，对神经网络进行训练)的不需要不含噪声的干涉图像作为输出值的深度学习神经网络训练方法，可去除空间外差光谱仪干涉图像的像元中的零均值噪声，属于光学图像信息恢复技术领域。

(二)背景技术

空间外差光谱仪是一种新式的超高分辨率光谱仪，能够获取目标物体的空间信息和光谱信息，通过一次扫描成像可以实现被测区域内全部目标点的光谱复原，在高光谱分辨率的遥感探测、国家领土监测、地球大气成分检测等领域发挥着巨大的作用，但是，数据采集不可避免地会受到噪声的污染，传统的均值滤波，中值滤波方法在去除噪声的同时会造成图像边界模糊、细节丢失比较严重的问题，有时甚至无法去除噪声，只能微弱的减弱噪声。

为了消除空间外差光谱信号中的噪声，提出基于N2N和深度学习的干涉图去噪方法。传统的深度学习训练方法需要大量的噪声数据以及作为对照的干净数据来进行深度学习网络的训练，本文针对在自然条件下干净图像获取困难，基于N2N原理，运用深度学习与基础的信号重建理论，仅使用噪声图像进行深度学习神经网络的训练，实现了从噪声信号到干净信号的重建，并且训练出的神经网络不输于用干净图像进行训练的神经网络。

(三)发明内容

本发明的目的在于提供一种基于N2N和深度学习的干涉图去噪方法，解决了均值滤波和中值滤波方法去除图像噪声时造成的图像模糊现象，并且针对传统的深度学习方法需要大量噪声数据以及作为对照的干净数据进行深度学习网络训练的问题，使用含噪声信号的干涉图代替干净数据进行深度学习神经网络的训练，大大降低了训练深度学习神经网络的数据要求，提高了深度学习方法的适用性，实现了空间外差光谱仪干涉图像的精准去噪。

本发明的目的是这样实现的：

基于N2N和深度学习的干涉图去噪方法，包括下列步骤：

步骤S1：选取空间外差光谱仪实测干涉图样本集，将样本集分成训练集原始图像、验证集原始图像；

步骤S2：对训练集原始图像、验证集原始图像进行预处理，将所述原始图像分割成像元固定的图像，随后分别作为训练集，验证集；

步骤S3：采用RED-Net网络搭建去噪模型，使用训练集进行去噪模型的训练，拟合后的模型为RED-Net网络去噪模型；

步骤S4：利用验证集验证训练后去噪模型的去噪性能，如果损失函数相比上一次更低，则返回步骤S3中，继续训练，如果损失函数不低于上一次的值，就停止训练，此时模型训练完成。

优选的，所述步骤S2的对训练集原始图像、验证集原始图像进行预处理的过程为：

首先，采用差分去基线的方法去除图像中的低频假信号，采用三角函数对图像进行切趾处理，消除强线附近的虚假光谱信号。

随后，通过python中的tensorflow环境的函数，输出方差为σ∈[0,50]的随机高斯噪声，随后对验证集原始图像中的干涉图进行一次随机噪声的赋予。

将预处理后的样本干涉图裁剪成像元数相同的灰度图像，裁剪后的训练集原始图像作为训练集，带有噪声的验证集原始图像作为验证集。

优选的，步骤S3中采用RED-Net网络搭建去噪模型的方法如下：

采用卷积层和最大池化层作为编码层；采用与卷积层层数相等的反卷积层和与池化层层数相等的反池化层作为解码层；每一组镜像对应的卷积层和反卷积层有着跳跃连接结构，最后添加一层特殊的卷积层降低特征通道个数；使用损失函数判断处理后的干涉图与真实图像之间的相关性；反复迭代，直至模型拟合。

使用训练集进行去噪模型的训练方法如下：

训练前对训练集中的同一张干涉图分别进行两次方差为σ∈[0,50]的随机高斯噪声赋予，得到两张原始图像相同，但噪声图像不同的干涉图，使用训练集中两张原始图像相同，但噪声图像不同的干涉图分别作为RED-Net网络的输入值与输出的真实值,进行去噪模型的训练。

采用RED-Net网络使每一层跳跃连接的方法如下：

RED-Net的结构是对称的，对图像做下采样操作时，将图像保存，当进行其镜像步骤的上采样操作时将具有相同尺寸的的特征做相加处理。

优选的，步骤S4所述使用验证集验证训练后去噪模型的去噪效果的方法如下：

通过使用损失函数完成损失值的计算，公式如下：L(z,y)＝(z-y)

(四)附图说明

图1为基于N2N和深度学习的干涉图去噪方法的流程图。

图2为经过预处理与图像分割后的赋予随机高斯噪声的钾灯干涉图。

图3为经过训练的深度学习模型处理的钾灯干涉图测试图像。

图4为经过训练的深度学习模型处理的钾灯光谱点图。

图5为带有高斯噪声的钾灯光谱点图。

(五)具体实施方式

为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。

在描述本发明的具体实施例之前，为使本发明的方案更加清楚完整，首先对本发明中出现的缩略语和关键术语定义进行说明：

N2N：该缩略语意为noise to noise，指在输入与输出都是有噪声的信号的情况下，对神经网络进行训练，简称noise2noise，N2N。

步骤S1：选取空间外差光谱仪实测干涉图样本集，将样本集分成训练集原始图像、验证集原始图像。

步骤S2：对训练集原始图像、验证集原始图像进行预处理，将所述原始图像分割成像元固定的图像，随后分出训练集，验证集。

首先，采用差分去基线的方法去除原始图像中的低频假信号，并采用三角函数对图像进行切趾处理，消除强线附近的虚假光谱信号；

随后，对验证集原始图像中的干涉图进行一次随机噪声的赋予，可赋予的噪声包括高斯噪声，泊松噪声，椒盐噪声。

将预处理后的样本干涉图裁剪成像元固定的图像，裁剪后的训练集原始图像作为训练集，裁剪后的带有噪声的验证集原始图像作为验证集。

步骤S3：采用RED-Net网络搭建去噪模型，使用训练集进行去噪模型的训练，拟合后的模型为RED-Net网络去噪模型，具体包括以下步骤：

首先搭建RED-Net网络去噪模型，采用卷积层和最大池化层作为编码层；采用与卷积层层数相等的反卷积层和与池化层层数相等的反池化层作为解码层；每一组镜像对应的卷积层和反卷积层有着跳跃连接结构；使用损失函数判断处理后的干涉图与真实图像之间的相关性；反复迭代，直至模型拟合；

其中，训练前对训练集中的同一张干涉图分别进行两次方差为σ∈[0,50]的随机高斯噪声赋予，得到两张原始图像相同，但噪声图像不同的干涉图，使用训练集中两张原始图像相同，但噪声图像不同的干涉图分别作为RED-Net网络的输入值与输出的真实值,进行去噪模型的训练；

其中，跳跃连接结构的具体设置方法为：RED-Net的结构是对称的，对图像做下采样操作时，将图像保存，当进行其镜像步骤的上采样操作时将具有相同尺寸的的特征做相加处理，以解决在反卷积时图像细节丢失的问题。

步骤S4：利用验证集验证训练后去噪模型的去噪效果，如果损失函数相比上一次更低，则返回步骤S3中，继续训练，如果损失函数不低于上一次的值，就停止训练，此时模型训练完成，具体包括以下步骤：

在深度学习的过程中，为了减少模型过拟合问题，使用验证集验证损失函数收敛情况，每经过5000次epoch使用测试集测试一次，如果损失函数相比上一次更低，就继续训练，如果损失函数不低于上一次，就停止训练，此时模型训练完成。

下面结合具体的实施例来进一步阐述本发明。

为了证明本方法的有效性，使用干涉图数据来源于实验室内部数据集；该实验以空间外差光谱仪的干涉图作为处理对象，使用将高斯噪声附加在干涉图像上的方式来模拟干涉图的像素值损坏情况，在去除环境光源影响且记录情况相似的情况下采集干涉图数据，采集到的原始干涉图数据为1024*1024像元原始干涉图样本。

进一步，将干涉图样本数据随机分为70％，30％的干涉图样本集，分别作为训练集原始图像、验证集原始图像，以及一张用于测试的原始图像。

进一步，预处理训练集原始图像、验证集原始图像，将训练集原始图像、验证集原始图像的干涉图像的对应行像元，从第一列开始，使用后一列的像元减去上一列的像素值，并将它作为新的像元赋予对应列，并将第1023列的像元赋予第1024列，使用这种方法去除训练集原始图像和验证集原始图像的低频假信号。

进一步，将训练集原始图像、验证集原始图像中的干涉图像从第512行开始，512行以下的像元依次除以n*(1/512)，n为对应的行数，从第513行开始，513行以上的像元依次除以(1023-n*(1/1024))，即采用三角函数对训练集原始图像、验证集原始图像进行切趾处理消除强线附近的虚假光谱信号。

进一步，通过python中的tensorflow环境的函数，输出方差为σ∈[0,50]的随机高斯噪声，对验证集原始图像中的干涉图进行一次随机噪声的赋予。

进一步，为了保证实验样本数据具有统一的规格，将干涉图分割为像元为256*256的灰度图像，裁剪后的训练集原始图像作为训练集，裁剪后的带有噪声的验证集原始图像作为验证集，经过噪声赋予并且分割后的干涉图图像如图2所示。

进一步，搭建RED-Net网络去噪模型，采用六层卷积层和五层最大池化层作为编码层在消除损坏的同时捕获图像内容的特征；采用与卷积层层数相等的反卷积层和与池化层层数相等的反池化层作为解码层对特征图进行上采样和恢复图像细节，最后再添加一层特殊的卷积层降低特征通道个数；每一组镜像对应的卷积层和反卷积层有着跳跃连接结构，将两部分具有同样尺寸的特征做相加处理，减少数据丢失；使用损失函数判断处理后的干涉图与真实图像之间的相关性；反复迭代，直至模型拟合。

进一步，训练前对训练集中的同一张干涉图分别进行两次方差为σ∈[0,50]的随机高斯噪声赋予，得到两张原始图像相同，但噪声图像不同的干涉图，使用训练集中两张原始图像相同，但噪声图像不同的干涉图分别作为RED-Net网络的输入值与输出的真实值,进行去噪模型的训练。

进一步，训练过程中，使用验证集验证损失函数收敛情况，公式如下：L(z,y)＝(z-y)

进一步，为了测试该深度学习模型的有效性，使用训练并且测试完毕的深度学习模型处理用于测试的干涉图，使用深度学习模型处理完毕的图像如图3所示，其经过快速傅里叶变换后的钾灯平均光谱图如图4所示，对比图5所示的未经过处理的带有高斯噪声的钾灯平均光谱图，我们可以从光谱中看出，该方法很好的消去了噪声信号。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。