基于全局-局部特征联合学习的光谱图像去马赛克方法

技术领域

本发明涉及一种光谱图像去马赛克方法，具体涉及一种基于全局-局部特征联合学习的光谱图像去马赛克方法。

背景技术

与彩色图像相比，多光谱图像波段数更多，能够区分场景中不同材料的精细特征，在国防安全、遥感监测、精准农业等领域具有广泛的应用前景。传统光谱成像系统通常采用扫描方式(例如点扫描、线扫描、或光谱扫描)来获得光谱图像，该技术虽然能够获得高质量光谱图像，但是其成像速度慢，不适用于对动态场景的实时成像，同时也伴随着较高的成本。

为了获得动态场景的光谱信息，近年来研究人员提出了基于光谱滤波器阵列的光谱成像方法，通过光谱滤波器阵列对场景光谱信息进行采样，即每个像素点只获得一个波段的信息，从而实现单次曝光多光谱成像，获得马赛克图像。为了获得完整的图像，需要对这些马赛克图像进行处理，以还原每个像素位置的完整光谱信息。因此，如何从获取的二维马赛克图像重建原始三维多光谱图像，即光谱图像去马赛克问题，成为了实现基于光谱滤波器阵列的光谱成像的一个难题。

传统的光谱图像去马赛克方法通常分为两类：基于插值的方法和基于数学模型的方法。基于插值的方法通过利用已知像素的空间或光谱相关性，逐步插值缺失像素，以逐渐还原完整的光谱图像。传统的光谱图像去马赛克方法主要是以插值方法为主，然而，由于像素缺失情况下空间和光谱相关性的估计不准确，基于插值的方法常常导致光谱图像模糊，缺乏精细的纹理。基于模型的光谱图像去马赛克方法通常需要人工设计光谱图像先验，以缩小优化问题的解空间，从而获得更优的重建结果。然而，由于马赛克图像像素缺失，空间和光谱相关性难以准确建模，导致重建效果较差，而且计算复杂度高，同时多次迭代的优化过程使得基于模型的方法非常耗时。此外，手工设计的图像先验表征能力有限，进一步限制了这类方法的结果。

随着人工智能的兴起，基于深度学习的光谱图像去马赛克方法备受研究者的青睐。现有基于深度学习的光谱图像去马赛克方法则主要以卷积网络为核心，依赖大量数据集，从中学习马赛克图像到原始光谱图像的非线性映射关系。其中，FENG K等人在2021年提出的MCAN方法(参见FENG K,ZHAO Y,CHAN J C W,et al.Mosaic convolution-attentionnetwork for demosaicing multispectral filter array images[J].IEEETransactions on Computational Imaging,2021,7:864-878.)，其提出了一种由马赛克卷积注意力模块构成的光谱图像去马赛克网络。基于深度学习的光谱图像去马赛克方法在重建效果方面显著优于传统方法，这得益于深度神经网络强大的学习能力。然而，现有基于深度网络的光谱去马赛克方法通常需对输入的马赛克图像进行插值或波段拆分得到初始多光谱图像作为深度网络的输入。由于简单的插值和波段拆分得到的初始化多光谱图像失真较大，导致后续深度网络重建原始多光谱图像难度进一步增加。此外，现有深度神经网络方法主要关注图像局部特征学习，而忽略了全局特征的学习，导致重建质量难以进一步提升。

发明内容

本发明的目的是解决现有基于深度神经网络的光谱图像去马赛克方法使用补零方式来初始化多光谱图像，且主要关注局部特征学习，忽略了全局特征的学习，导致最终多光谱图像重建精度不高的技术难题，而提出一种基于全局-局部特征联合学习的光谱图像去马赛克方法。

本发明的技术解决方案是：

本发明一种基于全局-局部特征联合学习的光谱图像去马赛克方法，其特殊之处在于，包括以下步骤：

1)从训练集中随机选取一批样本；所述样本包括原始光谱图像和经光谱滤波器阵列采样后的光谱马赛克图像；

2)采用基于傅里叶变换的光谱图像去马赛克初始化方法得到样本中光谱马赛克图像对应的初始化光谱图像；

3)光谱图像重建网络的构建和训练

3.1)构建光谱图像重建网络；所述光谱图像重建网络包括依次连接的第一卷积层、深层特征提取单元、拼接层、第二卷积层和第三卷积层，且第一卷积层的输出端还与拼接层的另一输入端连接；

所述第一卷积层和深层特征提取单元分别用于提取初始化光谱图像的浅层特征和深层特征；

所述拼接层用于将初始化光谱图像的浅层特征和深层特征进行拼接；

所述第二卷积层用于特征融合；

所述第三卷积层用于图像重建并输出高质量光谱图像；

3.2)将所有初始化光谱图像输入至光谱图像重建网络中，获得对应的高质量光谱图像；

3.3)利用高质量光谱图像和对应的原始光谱图像计算l

直至光谱图像重建网络收敛，至此光谱图像重建网络训练完成；

4)将待处理的光谱马赛克图像按步骤2)得到初始化光谱图像，再将初始化光谱图像输入至训练好的光谱图像重建网络中，获得去马赛克的光谱图像。

进一步地，步骤2)中，采用基于傅里叶变换的光谱图像去马赛克初始化方法得到样本中光谱马赛克图像的初始化光谱图像具体包括以下步骤：

2.1)将其中一个马赛克图像拆分为n个波段的光谱子图像，分别为Y

2.2)将该马赛克图像的当前波段的幅值谱A

2.3)重复步骤2.1)和2.2)的操作，得到剩余马赛克图像的初始化光谱图像。

进一步地，步骤3.2)包括以下步骤：

3.2.1)将初始化光谱图像输入第一卷积层，提取得到浅层特征；

3.2.2)将浅层特征分别输入至深层特征提取单元和拼接层，浅层特征经深层特征提取单元提取得到深层特征，浅层特征和深层特征在拼接层内进行拼接；

3.2.3)将拼接的特征输入到第二卷积层中进行融合，再将融合后的特征输入到第三卷积层中进行重建，获得高质量光谱图像。

进一步地，步骤3.1)中，所述深层特征提取单元包括五个沿信号传输顺序依次连接的残差全局-局部特征联合学习模块；残差全局-局部特征联合学习模块用于联合学习光谱图像的全局和局部特征；

每个残差全局-局部特征联合学习模块均包括沿信号传输顺序依次连接的4个全局-局部Transformer模块、第四卷积层和第一相加层，且每个残差全局-局部特征联合学习模块中，输入特征分别输入至第一个全局-局部Transformer模块和第一相加层中，输入特征依次经过4个全局-局部Transformer模块和第四卷积层提取得到深层特征，输入特征和深层特征在第一相加层进行相加后输出作为下一个残差全局-局部特征联合学习模块的输入特征；第一个残差全局-局部特征联合学习模块的输入特征为第一卷积层输出的浅层特征；

所述全局-局部Transformer模块包括第一层归一化层、全局特征学习模块、局部特征学习模块、第二层归一化层、前馈网络和第二相加层；所述全局特征学习模块用于学习光谱图像全局特征；所述局部特征学习模块用于学习光谱图像局部特征；所述前馈网络用于特征整合和增强；

光谱图像特征经过第一层归一化层后按通道维度均分为两部分，分别输入到局部特征学习模块和全局特征学习模块中进行处理；处理后的两部分输出特征按通道维度进行拼接；然后依次输入到第二层归一化层和前馈网络进行进一步处理；最后，前馈网络输出的特征和输入的光谱图像特征经第二相加层进行相加后输出。

进一步地，所述局部特征学习模块通过邻域注意力机制来学习光谱图像局部特征。

进一步地，所述全局特征学习模块通过以下公式学习光谱图像全局特征：

和/>

Γ和Θ分别表示可学习频域滤波器和偏置；Θ和Γ分别通过第五卷积层和第六卷积层生成；

F

⊙表示逐元素相乘操作。

进一步地，步骤3.3)中，所述损失函数l

x

本发明的有益效果：

1、本发明基于全局-局部特征联合学习的光谱图像去马赛克方法，采用基于傅里叶变换的光谱图像去马赛克初始化方法解决了现有基于深度神经网络的光谱图像去马赛克方法使用补零方式来初始化多光谱图像，导致最终多光谱图像重建精度不高的技术难题；构建基于全局-局部特征联合学习的光谱图像重建网络，通过该网络对初始化图像进行重建，解决了现有深度学习方法对于光谱图像只关注局部特征学习，忽略全局特征的学习，重建表现不佳的问题；实验测试表明，本发明去马赛克方法在模型参数量、计算量以及重建性能方面，本发明均明显优于现有光谱图像去马赛克方法。

2、本发明基于全局-局部特征联合学习的光谱图像去马赛克方法，采用基于傅里叶变换的光谱去马赛克初始化方法，该初始化方法能够在无需参数的情况下，以较低的计算复杂度还原三维光谱图像，能有效消除光谱图像中的“马赛克效应”，同时避免引入额外退化。此外，该初始化方法无需任何参数，不需要训练，也不依赖于数据集。

3、本发明基于全局-局部特征联合学习的光谱图像去马赛克方法，提出了一种全局-局部特征联合学习的光谱图像重建网络，可以高效地学习光谱图像全局-局部信息，进一步提高光谱图像去马赛克的效果。

4、本发明基于全局-局部特征联合学习的光谱图像去马赛克方法，采用邻域注意力机制自适应学习光谱图像像素的局部相关性，解决了现有方法对光谱图像像素相关性学习不充分的问题。

附图说明

图1为本发明基于全局-局部特征联合学习的光谱图像去马赛克方法的流程框图(虚线框内为光谱重建网络的结构示意图)；

图2为本发明基于全局-局部特征联合学习的光谱图像去马赛克方法实施例中基于傅里叶变换的光谱图像去马赛克初始化方法的过程示意图；

图3为本发明基于全局-局部特征联合学习的光谱图像去马赛克方法中光谱图像重建网络的残差全局-局部特征联合学习模块的结构示意图；

图4为本发明基于全局-局部特征联合学习的光谱图像去马赛克方法中光谱图像重建网络的全局-局部Transformer模块的结构示意图；

图5为本发明基于全局-局部特征联合学习的光谱图像去马赛克方法中光谱图像重建网络的局部特征学习模块的结构示意图；

图6为本发明基于全局-局部特征联合学习的光谱图像去马赛克方法中光谱图像重建网络的全局特征学习模块的结构示意图；

图7为本发明基于全局-局部特征联合学习的光谱图像去马赛克方法实施例中采用的真实的基于多光谱滤波阵列的光谱成像系统(a)和多光谱滤波阵列(b)；

图8为现有几种常见去马赛克方法与本发明去马赛克方法在仿真数据集CAVE上的视觉质量比较图，其中，(a)为原始光谱图像(标签)，(a1)为光谱马赛克图像(输入)；(b)-(f)为展示的是几种常见去马赛克方法与本发明去马赛克方法在同一个波段的重建结果，(b1)-(f1)展示的是各方法的重建结果与原始光谱图像之间的误差；(b)和(b1)为MCAN方法结果；(c)和(c1)为SpNet方法结果；(d)和(d1)为DGSM方法结果；(e)和(e1)为MST方法结果；(f)和(f1)为本发明方法结果；

图9为本发明方法与现有方法在真实数据集上的实拍视觉质量比较图(静物)，其中图(a)为光谱马赛克图像，(b)和(c)分别为现有拆分和Bicubic插值初始化方法与本发明初始化得到的初始化图像；(d)为SpNet方法结果；(e)为DGSM方法结果；(f)为MST方法结果；(g)为本发明去马赛克方法得到的去马赛克图像；

图10为本发明方法与现有方法在真实数据集上的实拍视觉质量比较图(动物)，其中图(a)为光谱马赛克图像，(b)和(c)分别为现有拆分和Bicubic插值初始化方法与本发明初始化得到的初始化图像；(d)为SpNet方法结果；(e)为DGSM方法结果；(f)为MST方法结果；(g)为本发明去马赛克方法得到的去马赛克图像。

具体实施方式

本发明方法主要包括一个基于傅里叶变换的光谱图像去马赛克初始化方法和一个基于全局-局部特征联合学习的光谱图像重建网络对图像重建的方法，如图1所示。马赛克图像Y首先经过光谱图像去马赛克初始化方法进行初始化，得到初始化光谱图像X

本发明一种基于全局-局部特征联合学习的光谱图像去马赛克方法，包括以下步骤：

1)从训练集中随机选取一批样本；所述样本包括原始光谱图像和经光谱滤波器阵列采样后的光谱马赛克图像；

2)采用基于傅里叶变换的光谱图像去马赛克初始化方法得到样本中光谱马赛克图像对应的初始化光谱图像；

本发明首先对同一场景下不同波段的光谱图像的幅值谱和相位谱特征进行了研究，发现大部分图像结构信息记录在相位谱中，而大部分强度信息和很少的结构信息记录在幅值谱中。将相位谱进行交换，并对原始幅值谱和交换后的相位谱进行快速傅里叶逆变换，可以恢复高质量的光谱图像，并与原始光谱图像非常接近。由此可以得出，不同波段光谱图像的相位谱极为相似，不同波段图像之间的差异记录在幅值谱中。因此采用以下基于傅里叶变换的光谱图像去马赛克初始化方法得到初始化光谱图像，参见图2。

2.1)将其中一个马赛克图像Y拆分为9个光谱子图像，分别为Y

2.2)先将该马赛克图像的当前波段的幅值谱A

2.3)重复步骤2.1)和2.2)的操作，得到剩余马赛克图像的初始化光谱图像X

3)光谱图像重建网络的构建和训练

3.1)构建光谱图像重建网络；

初始化光谱图像X

光谱重建网络的机理为：初始化光谱图像X

上述深层特征提取单元包括五个沿信号传输顺序依次连接的残差全局-局部特征联合学习模块(Residual Global-local Transformer Block,RGLTB)；残差全局-局部特征联合学习模块用于联合学习光谱图像的全局和局部特征，提取光谱图像的深层特征。每个残差全局-局部特征联合学习模块的结构如图3所示，均包括沿信号传输顺序依次连接的4个全局-局部Transformer模块(Global-local Transformer Layer，GLTL)、第四卷积层和第一相加层，且每个残差全局-局部特征联合学习模块中，输入特征分别输入至第一个全局-局部Transformer模块和第一相加层中，输入特征依次经过4个全局-局部Transformer模块和第四卷积层提取得到深层特征，输入特征和深层特征在第一相加层进行相加后输出，作为下一个残差全局-局部特征联合学习模块的输入特征。第一个残差全局-局部特征联合学习模块的输入特征为第一卷积层输出的浅层特征。

全局-局部Transformer模块用于联合学习光谱图像全局和局部特征，其结构如图4所示，包括第一层归一化层、全局特征学习模块、局部特征学习模块、第二层归一化层、前馈网络和第二相加层。第一层归一化层的输出端分别与全局特征学习模块和局部特征学习模块的输入端连接；全局特征学习模块和局部特征学习模块的输出端分别与第二层归一化层的输入端连接；第二层归一化层的输出端与前馈网络的输入端连接；前馈网络的输出端与第二相加层连接。第一层归一化层和第二层归一化层用于特征归一化；全局特征学习模块用于学习光谱图像全局特征；局部特征学习模块通过邻域注意力机制来学习光谱图像局部特征；前馈网络用于特征整合和增强。

全局-局部Transformer模块的机理为：首先，光谱图像特征经过第一层归一化层后按通道维度均分为两部分，分别输入到局部特征学习模块和全局特征学习模块中进行处理；接着，处理后的两部分输出特征按通道维度进行拼接；然后依次输入到第二层归一化层和前馈网络进行进一步处理；最后，前馈网络输出的特征和输入的光谱图像特征经第二相加层进行相加后输出。

如图5所示，在局部特征学习模块中，本发明采用邻域注意力机制来学习光谱图像特征的空间局部相关性，第i位置像素

其中query矩阵

为了学习全局特征，本发明设计了全局特征学习模块，如图6所示，全局特征学习模块包含一个第五卷积层、一个第六卷积层、一个傅里叶变换(FFT)层和一个傅里叶逆变换(iFFT)层。首先，光谱图像特征分别经第五卷积层和第六卷积层生成频域滤波器和偏置；然后，光谱图像特征经傅里叶变换(FFT)层获得频域特征，再经频域滤波器和偏置进行计算得到增强的频域特征，最后，增强的频域特征经傅里叶逆变换(iFFT)层获得增强的光谱图像特征。全局特征学习模块通过以下公式学习光谱图像全局特征：

和/>

Γ和Θ分别表示可学习频域滤波器和偏置；Θ和Γ分别通过图6中的第五卷积层和第六卷积层生成；

F

⊙表示逐元素相乘操作。

3.2)将所有初始化光谱图像输入至光谱图像重建网络中，获得对应的高质量光谱图像；

3.2.1)将初始化光谱图像X

3.2.2)将浅层特征分别输入至深层特征提取单元和拼接层，浅层特征经深层特征提取单元提取得到深层特征，浅层特征和深层特征在拼接层内进行拼接；

3.2.3)将拼接的特征输入到第二卷积层中进行融合，再将融合后的特征输入到第三卷积层中进行重建，获得所有的高质量光谱图像。

3.3)利用高质量光谱图像和对应的原始光谱图像计算l

x

4)将待处理的光谱马赛克图像按步骤2)得到初始化光谱图像，再将初始化光谱图像输入至训练好的光谱图像重建网络中，获得去马赛克的光谱图像。

为了证明本发明提出的基于全局-局部特征联合学习的光谱图像去马赛克方法的有效性，本发明设计了如下消融实验。

(1)为了证明本发明提出的基于傅里叶变换的光谱图像去马赛克初始化方法的有效性，本发明在公开光谱数据集CAVE上进行实验。对比实验中，本发明采用了四种现有光谱图像初始化方法进行对比，包括硬拆分、拆分和转置卷积上采样、拆分和Bicubic插值以及马赛克卷积模块(参见FENG K,ZHAO Y,CHAN J C W,et al.Mosaic convolution-attention network for demosaicingmultispectral filter array images[J].IEEETransactions on Computational Imaging,2021,7:864-878.)。对比结果如表1所示，结果显示，采用本发明提出的光谱图像去马赛克初始化方法可以有效地提升光谱图像重建结果。

表1采用不同光谱初始化方法的重建结果对比

(2)为了证明本发明提出的全局-局部特征联合学习模块的有效性，本发明在公开光谱数据集CAVE上进行实验。对比实验中，本发明分别采用只有局部特征学习模块和只有全局特征学习模块替代全局-局部特征联合学习模块。对比结果如表2所示，结果显示，采用本发明全局-局部特征联合学习模块可以有效提升光谱图像重建质量。

表2全局和局部特征学习对重建结果的影响

(3)为了证明本发明提出的基于全局-局部特征联合学习的光谱图像去马赛克方法的有效性，本发明与现有的光谱图像去马赛克方法进行了对比。

(a)本发明在CAVE数据集上进行仿真测试，并对比本发明方法与现有去马赛克方法的结果，参见表3。可以从表3看出本发明方法在各个指标上都远超过其他方法，证明了本发明所提出方法的有效性。图8展示了几种对比方法之间的视觉质量比较结果。图8第一行展示的是光谱图像其中一个波段各个方法的重建结果，第二行展示的是各个方法重建结果与真值之间的误差。从图8可以看到，本发明提出的光谱去马赛克方法重建误差最小，重建效果最好。

表3在CAVE数据集上的仿真测试结果

表3中方法参见以下参考文献：

WB：RS J,AACH T.A color filter array based multispectral camera[C]//12.Workshop Farbbildverarbeitung.Ilmenau,2006:5-6；

PPID：Mihoubi,S.；Losson,O.；Mathon,B.；and Macaire,L.2017.Multispectraldemosaicing using pseudo-panchromatic image.IEEETransactions onComputational Imaging,3(4):982–995；

GRMR：TSAGKATAKIS G,BLOEMEN M,GEELEN B,et al.Graph and rankregularizedmatrix recoveryfor snapshot spectral image demosaicing[J].IEEETransactions onComputational Imaging,2018,5(2):301-316；

InNet：SHINODA K,YOSHIBA S,HASEGAWA M.Deep demosaickingformultispectral filter arrays[A].2018；

MCAN：FENG K,ZHAO Y,CHAN J C W,et al.Mosaic convolution-attentionnetwork for demosaicingmultispectral filter array images[J].IEEETransactions onComputational Imaging,2021,7:864-878；

SpNet：HABTEGEBRIAL T A,REIS G,STRICKER D.Deep convolutionalnetworksfor snapshot hyperspectral demosaicking[C]//2019 10th WorkshoponHyperspectral Imaging and Signal Processing:Evolution in Remote Sensing(WHISPERS).IEEE,2019:1-5；

DGSM：HUANG T,DONG W,YUAN X,et al.Deep gaussian scale mixtureprior forspectral compressiveimaging[C]//Proceedings of the IEEE/CVF ConferenceonComputer Vision and Pattern Recognition.2021:16216-16225；

MST：CAI Y,LIN J,HU X,et al.Mask-guided spectral-wise transformerforefficient hyperspectral image reconstruction[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition.2022:17502-17511。

(b)为了进一步证明本发明方法的有效性，本发明在一个真实的基于多光谱滤波阵列的光谱成像系统上进行了相应的实验。所使用的系统可以捕获尺寸为2040×2040的光谱图像，其具有9个波段的光谱信息。图7展示了实验采用的真实的基于多光谱滤波阵列的光谱成像系统(a)和多光谱滤波器阵列(b)。图9和图10为实拍马赛克图像的去马赛克效果对比。从图9中，可以看到本发明方法对于石碑上文字的重建效果最好，“马赛克”效应消除效果最好。其他对比方法重建的石碑仍存在较明显的“马赛克”效应。图10为另一实拍场景数据的重建对比，可以看到本发明方法重建的车轮纹理最为清晰，而其他方法重建的结果仍有明显的“马赛克”效应。