一种基于光谱解混的高光谱、多光谱和全色图像融合方法

技术领域

本发明属于遥感图像融合领域，涉及一种基于光谱解混的高光谱、多光谱、全色图像融合方法。适用于通过图像融合来提升高光谱图像空间分辨率的应用场景。

背景技术

高光谱图像含有从可见光波段到近红外波段的大量波段数，光谱分辨率极高，在遥感地物分类等领域发挥了很重要的作用。然而，在传感器成像过程中，空间分辨率和光谱分辨率之间具有相互制约的关系，因此，虽然高光谱图像的光谱分辨率极高，但是其空间分辨率却极低。而为了提升高光谱图像的空间分辨率，通常会将高光谱图像和多光谱图像或全色图像融合。

现有的高光谱图像融合技术大部分是基于高光谱图像与多光谱图像融合和高光谱图像与全色图像融合这两大类。这两大类中又属高光谱图像与多光谱图像融合最为常见。现有的高光谱图像与多光谱图像融合方法主要集中在基于矩阵分解的方法、基于张量分解的方法和基于深度学习的方法。基于矩阵分解的方法和基于张量分解的方法都属于基于物理机制的方法，优点是泛化性强，缺点是合适的先验难以构建。基于深度学习的方法属于挖掘数据规律的方法，优点是融合效果好，缺点是所需数据量大且泛化能力差，难以在实际中运用。现有的高光谱图像与全色图像融合方法，由于高光谱图像与全色图像的空间分辨率差异过大，无论是基于成分替代的方法，还是基于深度学习的方法，都不可避免的拥有较严重光谱失真的问题。

发明内容

本发明针对现有遥感融合方法的不足，提出了一种基于光谱解混和低秩组稀疏联合先验的高光谱、多光谱和全色图像融合方法。该方法包括以下步骤：

步骤1：输入同一区域的低分辨率高光谱图像、多光谱图像和全色图像；

步骤2：计算高光谱图像模糊矩阵、多光谱图像模糊矩阵、多光谱图像光谱响应矩阵和全色图像光谱响应向量；

步骤3：构建基于光谱解混和低秩组稀疏联合先验的高光谱、多光谱和全色图像融合模型；

步骤4：优化求解高光谱、多光谱和全色图像融合模型，获得输出高分辨率高光谱图像。作为优选，步骤1所述输入低分辨率高光谱图像、输入多光谱图像和输入全色图像分别记为

作为优选，步骤2所述高光谱图像模糊矩阵、多光谱图像模糊矩阵、多光谱图像光谱响应矩阵和全色图像光谱响应向量分别记为

作为优选，步骤3所述高光谱、多光谱和全色图像融合模型基于光谱解混和低秩组稀疏联合先验构成。

步骤3所述高光谱、多光谱和全色图像融合模型由数据拟合项和先验信息约束项构成。数据拟合项即根据输入低分辨率高光谱、输入多光谱、输入全色图像与输出高分辨率高光谱图像之间的物理关系构建相应的数学表达式，使输出高分辨率高光谱图像同时具备输入低分辨率高光谱、输入多光谱、输入全色图像的信息。先验信息约束项即通过输出高分辨率高光谱图像中应该蕴含的一些特征来约束输出高分辨率高光谱图像，从而获得有效解。

所述输出高分辨率高光谱图像记为

由于输入低分辨率高光谱图像可以看作是输出高分辨率高光谱图像经空间模糊下采样后的结果，多光谱图像可以看作是输出高分辨率高光谱图像经空间模糊下采样和光谱下采样后的结果，全色图像可以看作是输出高分辨率高光谱图像经光谱下采样后的结果，所以所述数据拟合项为：

其中，X表示输出高分辨率高光谱图像，B

基于线性光谱解混可以将输出高分辨率高光谱图像分解为端元矩阵和丰度矩阵。

端元矩阵记为

X＝EA

代入数据拟合项中得到：

其中，E表示端元矩阵，A表示丰度矩阵，B

由于高光谱图像中，大部分像元都是由小部分端元线性混合而成，所以丰度矩阵理应具有行稀疏特征，所以对丰度矩阵施加组合稀疏约束‖A‖

由于高光谱图像中，具有很多相似的数据分布，所以丰度矩阵理应具有低秩特征，所以对丰度矩阵施加低秩约束‖A‖

因此步骤3所述先验信息约束项为：

其中，A表示丰度矩阵，‖·‖

因此步骤3所述高光谱、多光谱和全色图像融合模型为：

其中，E表示端元矩阵，A表示丰度矩阵，B

作为优选，步骤4所述的优化求解过程的具体实现包含以下子步骤：

步骤4.1：引入辅助变量F

s.t.,F

其中，E表示端元矩阵，A表示丰度矩阵，F

将引入辅助变量后的高光谱、多光谱和全色图像融合模型转化为增广拉格朗日函数，如下所示：

其中，E表示端元矩阵，A表示丰度矩阵，F

步骤4.2：将步骤4.1所述增广拉格朗日函数分解成7个子问题，分别是子问题A，子问题F

子问题A：

其中，A表示丰度矩阵，F

子问题F

其中，E表示端元矩阵，A表示丰度矩阵，F

子问题F

其中，E表示端元矩阵，A表示丰度矩阵，F

子问题F

其中，E表示端元矩阵，A表示丰度矩阵，F

子问题F

其中，A表示丰度矩阵，F

子问题F

其中，A表示丰度矩阵，F

子问题L：

其中，A表示丰度矩阵，F

步骤4.3：对步骤4.2中的每个子问题分别求解。

子问题A解：

其中，A表示丰度矩阵，F

子问题F

其中，E表示端元矩阵，A表示丰度矩阵，F

子问题F

其中，E表示端元矩阵，A表示丰度矩阵，F

子问题F

其中，E表示端元矩阵，A表示丰度矩阵，F

子问题F

子问题F

子问题L解：

L

L

L

L

L

其中，A表示丰度矩阵，F

步骤4.4：对步骤4.3所述的7个子问题解进行循环迭代，解得丰度矩阵A。

步骤4.5：由步骤4.4得到的丰度矩阵A和公式X＝EA，得到输出高分辨率高光谱图像X。

本发明主要针对利用图像融合提升高光谱图像空间分辨率的应用需求。本发明的融合方法基于光谱解混思想，将高光谱图像分解为端元矩阵和丰度矩阵，提升了计算效率，并利用组合稀疏约束和低秩约束提升了计算准确度。本发明方法在定性和定量方面均优于对比方法的输出高分辨率高光谱图像。

附图说明

图1：是本发明实施例的对比方法FUSE的输出结果图。

图2：是本发明实施例的对比方法HSRCSU的输出结果图。

图3：是本发明实施例的对比方法CNMF的输出结果图。

图4：是本发明实施例的所提出方法的输出结果图。

图5：是本发明实施例的参考图像。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明做进一步的详细描述，应当理解的是，此处所描述的实施例仅用于解释本发明，并不用于限定本发明。

本发明使用的数据由Headwall Hyperspec-VNIR-C高光谱传感器于日本Chikusei拍摄。本发明选取了分辨率为320×320的一块区域，挑选了93个波段进行实验。将此块区域图像作为参考图像，以便于进行定量与定性评价。本发明使用均值为0，标准差为2，模板尺寸为7×7高斯模糊核对参考图像进行模糊处理，然后将模糊后的图像下采样16倍，得到尺寸为20×20×93的输入低分辨率高光谱图像，再将模糊后的图像下采样4倍且光谱下采样得到80×80×4的输入多光谱图像，然后将参考图像进行光谱下采样得到320×320的输入全色图像。

本实施例提供一种基于光谱解混的高光谱、多光谱和全色图像融合方法，包括以下步骤：

步骤1：输入同一区域的低分辨率高光谱图像、多光谱图像和全色图像；

步骤1所述输入低分辨率高光谱图像、输入多光谱图像和输入全色图像分别记为

步骤2：计算高光谱图像模糊矩阵、多光谱图像模糊矩阵、多光谱图像光谱响应矩阵和全色图像光谱响应向量；

步骤2所述高光谱图像模糊矩阵、多光谱图像模糊矩阵、多光谱图像光谱响应矩阵和全色图像光谱响应向量分别记为

步骤3：构建基于光谱解混和低秩组稀疏联合先验的高光谱、多光谱和全色图像融合模型；

步骤3所述高光谱、多光谱和全色图像融合模型基于光谱解混和低秩组稀疏联合先验构成。

步骤3所述高光谱、多光谱和全色图像融合模型由数据拟合项和先验信息约束项构成。数据拟合项即根据输入低分辨率高光谱、输入多光谱、输入全色图像与输出高分辨率高光谱图像之间的物理关系构建相应的数学表达式，使输出高分辨率高光谱图像同时具备输入低分辨率高光谱、输入多光谱、输入全色图像的信息。先验信息约束项即通过输出高分辨率高光谱图像中应该蕴含的一些特征来约束输出高分辨率高光谱图像，从而获得有效解。

所述待求解的高光谱图像记为

由于输入低分辨率高光谱图像可以看作是输出高分辨率高光谱图像经空间模糊下采样后的结果，多光谱图像可以看作是输出高分辨率高光谱图像经空间模糊下采样和光谱下采样后的结果，全色图像可以看作是输出高分辨率高光谱图像经光谱下采样后的结果，所以所述数据拟合项为：

其中，X表示输出高分辨率高光谱图像，B

基于线性光谱解混可以将输出高分辨率高光谱图像分解为端元矩阵和丰度矩阵。

端元矩阵记为

X＝EA

代入数据拟合项中得到：

其中，E表示端元矩阵，A表示丰度矩阵，B

由于高光谱图像中，大部分像元都是由小部分端元线性混合而成，所以丰度矩阵理应具有行稀疏特征，所以对丰度矩阵施加组合稀疏约束‖A‖

由于高光谱图像中，具有很多相似的数据分布，所以丰度矩阵理应具有低秩特征，所以对丰度矩阵施加低秩约束‖A‖

因此步骤3所述先验信息约束项为：

其中，A表示丰度矩阵，‖·‖

因此步骤3所述高光谱、多光谱和全色图像融合模型为：

其中，E表示端元矩阵，A表示丰度矩阵，B

步骤4：优化求解高光谱、多光谱和全色图像模型，获得输出高分辨率高光谱图像；

步骤4所述的优化求解过程的具体实现包含以下子步骤：

步骤4.1：引入辅助变量F

s.t.,F

其中，E表示端元矩阵，A表示丰度矩阵，F

将引入辅助变量后的高光谱、多光谱和全色图像融合模型转化为增广拉格朗日函数，如下所示：

其中，E表示端元矩阵，A表示丰度矩阵，F

步骤4.2：将步骤4.1所述增广拉格朗日函数分解成7个子问题，分别是子问题A，子问题F

子问题A：

其中，A表示丰度矩阵，F

子问题F

其中，E表示端元矩阵，A表示丰度矩阵，F

子问题F

其中，E表示端元矩阵，A表示丰度矩阵，F

子问题F

其中，E表示端元矩阵，A表示丰度矩阵，F

子问题F

其中，A表示丰度矩阵，F

子问题F

其中，A表示丰度矩阵，F

子问题L：

其中，A表示丰度矩阵，F

步骤4.3：对步骤4.2中的每个子问题分别求解。

子问题A解：

其中，A表示丰度矩阵，F

子问题F

其中，E表示端元矩阵，A表示丰度矩阵，F

子问题F

其中，E表示端元矩阵，A表示丰度矩阵，F

子问题F

其中，E表示端元矩阵，A表示丰度矩阵，F

子问题F

子问题F

子问题L解：

L

L

L

L

L

其中，A表示丰度矩阵，F

步骤4.4：对步骤4.3所述的7个子问题解进行循环迭代，解得丰度矩阵A。

步骤4.5：由步骤4.4得到的丰度矩阵A和公式X＝EA，得到输出高分辨率高光谱图像X。

步骤5：对步骤4得到的输出高分辨率高光谱图像进行定量和定性评价，本发明选择FUSE，HSRCSU，CNMF共三种高光谱图像融合方法与本发明方法进行定量和定性评价对比。本发明选择ERGAS、SAM、RMSE、QAVG和CC五种定量评价指标进行定量评价对比，定量评价结果如表1所示，本发明方法取得了最佳的定量评价结果。

表1客观量化评价结果

定性对比结果如图1-图5所示。图1为对比方法FUSE的输出结果图，图2为对比方法HSRCSU的输出结果图，图3为对比方法CNMF的输出结果图，图4为本发明方法的输出结果图，图5为参考图像。本发明方法在空间细节上比其他对比方法更加清晰，更加接近参考图像。

应当理解的是，本说明未详细阐述的部分均属于现有技术。

应当理解的是，上述针对实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。