一种基于新型光谱SIFT特征的高光谱图像拼接方法

技术领域

本发明涉及遥感图像处理技术领域，具体涉及一种基于新型光谱SIFT特征的高光谱图像拼接方法。

背景技术

高光谱图像能够同时获取地物的图像信息与光谱信息，往往包含数十个乃至数百个连续的光谱波段，因而所含信息十分丰富，在遥感图像技术领域备受关注。图像拼接是一种能够将多幅具有一定重叠区域的窄视角图像融合成为一整幅广视角图像的技术。当将图像拼接技术应用于高光谱图像时，由于高光谱图像数据量大、冗余信息多，容易造成特征点的误匹配，导致传统的图像拼接算法的准确性无法达到要求；但其对于拼接所得的全景图像质量要求高，因此改进高光谱图像的拼接算法、优化拼接的效果十分有必要。图像拼接技术主要分为四个步骤，即图像采集、图像预处理、图像配准和图像融合。其中最为关键的步骤是图像配准，在这一步骤中会根据提取所得的图像SIFT(Scale-invariant featuretransform)特征点的位置信息，计算匹配图像之间的变换矩阵参数，进而根据变换矩阵实现图像几何位置上的对齐。SIFT特征对于仿射失真、图像噪声、视角和光照变化等因素具有良好的不变性，较为适用于图像处理的大多数情况。但由于一般图像提取出的特征点数量很多，在进行匹配时容易出现误匹配的情况。因此，在特征匹配后往往会使用可剔除误匹配点对的RANSAC(Random sample consensus)算法。尽管如此，由于高光谱图像在拍摄时的高度、角度等差别比一般图像大、冗余信息多等原因，其误匹配点对仍然存留较多，拼接后的高光谱图像仍存在配准效果不佳的情况。

因此，设计一种提高特征点匹配精度、优化拼接效果的高光谱图像拼接方法是很有必要的。本发明提出一种基于新型光谱SIFT特征的高光谱图像拼接方法。

发明内容

为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种基于新型光谱SIFT特征的高光谱图像拼接方法。

本发明的目的通过以下技术方案实现：

一种基于新型光谱SIFT特征的高光谱图像拼接方法，包括如下：

读取两幅待拼接高光谱图像，并将每一幅图像分割为多个单波段图像；

提取每一幅高光谱图像的每个单波段SIFT特征点，包括SIFT特征点位置信息和SIFT特征点描述符；

提取SIFT特征点的光谱维信息；

将提取的光谱维信息加入对应的SIFT特征点描述符中，得到新型光谱SIFT特征点描述符，组成新型光谱SIFT特征点；

根据新型光谱SIFT特征点描述符，对两幅高光谱图像中的新型光谱SIFT特征点进行匹配，得到新型光谱SIFT特征匹配对；

对新型光谱SIFT特征匹配对进行提纯，获取图像对之间的特征内点，并计算该图像对之间的匹配关系；

根据匹配图像的匹配关系及提纯后的特征内点，计算匹配的两幅图像之间的变换矩阵；

迭代优化图像的变换矩阵参数，计算最终的变换矩阵；

根据计算所得的图像的变换矩阵，得到图像的相对位置，通过图像融合步骤得到最终拼接图像。

进一步，所述提取SIFT特征点的光谱维信息，具体为：

对每幅图像，根据所提取出的单波段SIFT特征点位置，在对应的所有单波段图像中提取出相应SIFT特征点位置上的灰度值，并按顺序组合成一个列向量，即光谱维，设同一个特征点在每幅图像I对应的所有单波段图像I

其中，m为原始高光谱图像的所有波段数。

进一步，所述将提取的光谱维信息加入对应的SIFT特征点描述符中，具体为：

对每个SIFT特征点，设其原始128维描述符如下：

将光谱维嵌入该128维描述符之中，形成融合光谱信息的新型光谱SIFT特征描述符如下：

其中，

进一步，所述根据新型光谱SIFT特征描述符，对两幅高光谱图像中的新型光谱SIFT特征点进行匹配，得到新型光谱SIFT特征匹配对，具体为：

采用最近欧式距离与次近欧式距离比值法来实现特征描述符向量的粗匹配。

进一步，所述粗匹配具体为：

选出参考图像中的某一特征点，再在目标图像中找出与该特征点的欧式距离最近和次近的两个特征点，再将这两个欧式距离值相除，若所得结果小于设定的阈值，则认为欧氏距离最近的这对特征点匹配。

进一步，所述获取图像对之间的特征内点，并计算该图像对之间的匹配关系，具体为：

设其提取所得的SIFT特征匹配对总数量为n

进一步，迭代优化图像的变换矩阵参数，计算最终的变换矩阵，具体步骤为：将两幅匹配的图片i，j之间的误差定义为所有特征内点经过单应性变换矩阵变换后的新坐标点与原坐标点的距离总和，计算方式如下：

其中，

其中，n表示待拼接图像数量，I(i)表示所有与图像i匹配的图像，随后进行迭代优化计算单应性变换矩阵的参数H

进一步，利用平均值融合法得到最终拼接图像。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述高光谱图像拼接方法。

一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述高光谱图像拼接方法。

与现有技术相比，本发明具有以下优点和有益效果：

本发明提出的利用光谱维数据信息的方法，增广特征点的描述符，将特征点的位置与光谱信息结合，使得SIFT特征点描述符在原来的图像信息基础上融合光谱信息，进一步应用于特征点匹配步骤时，可令具有相似光谱信息的特征点对更易匹配成功，不具有相似光谱信息的特征点对误匹配被消除，得到精匹配的特征点对，从而根据精匹配点对计算出更优的变换矩阵参数，获取更佳的配准效果。相较于传统SIFT特征点，利用新型光谱SIFT特征进行拼接的效果显著提高。

附图说明

图1是本发明的工作流程图；

图2(a)为原始待拼接图片，图2(b)为采用传统SIFT特征的拼接效果图，图2(c)为采用本实施例所述方法的拼接效果图。

具体实施方式

下面结合实施例，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

本实施例提供了一种基于新型光谱SIFT特征的高光谱图像拼接方法，分别提取每一幅高光谱图像的某一单波段SIFT特征点，再提取特征点的光谱维信息，将光谱维信息分别加入对应高光谱图像的SIFT特征点描述符中；根据新型光谱SIFT特征描述符，对两幅高光谱图像中新型光谱SIFT特征点进行匹配，具有相似光谱信息的特征点对更易匹配成功，不具有相似光谱信息的特征点对误匹配被消除，得到精匹配的特征点对，从而根据精匹配点对计算出更优的变换矩阵参数，获取更佳的配准效果。新型光谱SIFT特征相较于传统SIFT特征，拼接效果显著提高。

如图1所示，包括以下步骤：

S1读取两幅原始待拼接高光谱图像，并对其进行预处理，分割成为数百个单波段图像；

S2直接提取每一幅高光谱图像的某一单波段SIFT特征点，并保存；

S3读取两幅待拼接高光谱图像的所有波段，并提取特征点的光谱维信息，具体计算步骤如下：对每幅图像，根据所提取出的单波段SIFT特征点位置，在对应的所有单波段图像中提取出相应SIFT特征点位置上的灰度值，并按顺序组合成一个列向量，即光谱维。设同一个特征点在每幅图像I对应的所有单波段图像I

其中，m为原始高光谱图像的所有波段数。

S4将光谱维信息分别加入对应高光谱图像的SIFT特征点描述符中，具体步骤如下：对每个SIFT特征点，设其原始128维描述符如下：

将光谱维嵌入该128维描述符之中，形成更高维的融合了光谱信息的新型光谱SIFT特征描述符如下：

其中，

进一步，所述特征点包括特征点描述符和特征点位置，特征点匹配的过程是通过特征点描述符实现的，特征点位置主要用于后面提纯和计算两幅图像之间的变换矩阵。

S5根据新型光谱SIFT特征描述符，对两幅高光谱图像中新型光谱SIFT特征点进行匹配，具体步骤为：采用最近欧式距离与次近欧式距离比值法来实现特征描述符向量的粗匹配。选出参考图像中的某一特征点，再在目标图像中找出与该特征点的欧式距离最近和次近的两个特征点，再将这两个欧式距离值相除，若所得结果小于设定的阈值，则认为欧氏距离最近的这对特征点匹配。

设参考图像的特征点描述符R与目标图像的特征点描述符S表示如下：

R＝[r

S＝[s

二者之间的欧式距离计算公式如下：

利用上式得到最近与次近的欧式距离后，作二者的比值即可判断该对特征点是否匹配：

其中，threshold表示阈值，其大小决定了所得SIFT特征匹配对的数量。

S6通过RANSAC算法对所得的新型光谱SIFT特征匹配对进行提纯，去除误匹配的特征点，保留正确匹配的特征内点并保存，进而判断图像匹配关系。假设其直接提取所得的SIFT特征匹配对总数量为n

S7根据匹配图像的匹配关系及提纯后的特征内点，计算匹配的两幅图像之间的变换矩阵；

S8迭代优化图像的变换矩阵参数，计算最终的变换矩阵，具体步骤为：将两幅匹配的图片i，j之间的误差定义为所有特征内点经过单应性变换矩阵变换后的新坐标点与原坐标点的距离总和，计算方式如下：

其中，

其中，n表示待拼接图像数量，I(i)表示所有与图像i匹配的图像，随后进行迭代优化计算单应性变换矩阵的参数H

S9根据计算所得的图像的变换矩阵，得到图像的相对位置，通过图像融合步骤，利用平均值融合法得到最终拼接图像。

图2(a)为原始待拼接图片，图2(b)为采用传统SIFT特征点的拼接效果图，图2(c)为采用本实施例所述方法的拼接效果图；采用传统的SIFT特征点进行匹配计算变换矩阵的方法配准误差较大，存在明显的重影模糊现象，拼接质量不佳，不能满足实际工业运用需求；而本实施例所提出的基于新型光谱SIFT特征的方法得到的拼接效果好，图像配准误差较小，说明本实施例相较于现有算法更符合实际运用需求。

本实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述高光谱图像拼接方法。

一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述高光谱图像拼接方法。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。