基于图像块三阶段匹配的遥感图像配准方法

技术领域

本发明涉及一种图像处理技术，特别涉及一种基于图像块三阶段匹配的遥感图像配准方法。

背景技术

在许多遥感应用中，图像配准是一个必不可少的预处理步骤。图像配准框架可分为两类：基于区域的框架和基于特征的框架。在基于区域的框架中，配准问题被转化为优化问题，其中源图像和参考图像之间的相似性被最大化。传统的基于区域的配准框架使用互信息(Mutual Information,MI)或归一化互相关(Normalized Cross-Correlation,NCC)等相似性度量，在输入图像和参考图像之间的多个特征点找到对应关系，用于全局几何变换的估计。然而，它们对光照变化和噪声非常敏感。Ye等人提出了定向相位一致性直方图来表示图像结构特性的特征描述符，并使用NCC作为特征匹配的相似性度量。Yang等人提出了一种结合形状上下文特征和SIFT特征描述符的遥感图像配准方法。随着深度学习在目标检测、图像分类和图像配准领域中表现出优越性和鲁棒性，基于图像块的卷积神经网络(Convolutional Neural Network,CNN)结构在图像匹配领域得到了广泛的应用。传统的图像块匹配方法使用手工制作的特征和距离度量。Zagoruyko和Komodakis提出了一个基于CNN的模型，该模型直接训练一个通用的相似性函数，用于比较来自图像数据的图像块。Han等人提出了MatchNet，它通过暹罗网络从两个相同的CNN中提取图像块对特征，用于图像块匹配。利用暹罗网络结构，Zagoruyko和他的团队提出了一种图像匹配方法，通过从两幅输入图像中训练图像块的联合特征，并评估从两个相似CNN或两个不同CNN中提取的特征。Lee和Oh提出了一种基于MatchNet的方法，通过保持特征的空间信息来提高配准精度。然而，这种方法仍然存在几何变形。Rocco团队最近提出了基于CNN的几何匹配架构GMatchNet，可以处理图像全局外观变化和两幅匹配图像之间的错误匹配。但该模型对于需要进行图像块匹配的两张输入图像之间的参数估计是不准确的。因此在遥感图像配准方面的鲁棒性还需加强。

发明内容

针对现有图像配准框架中特征描述符复杂、特征匹配阶段不变映射函数学习困难导致的配准精度低问题，提出了一种基于图像块三阶段匹配的遥感图像配准方法，提高从不同时间和角度获取的两幅遥感图像之间的图像配准精度。

本发明的技术方案为：一种基于图像块三阶段匹配的遥感图像配准方法，具体包括如下步骤：

1)输入源图像和目标图像，采用Shi_Tomas算法进行特征提取，并以提取到的特征点为中心裁剪图像块，裁剪后源图像块和目标图像块构成两组图像块进入图像块匹配；

2)三阶段图像块匹配：

第一阶段采用MatchNet分析两组图像块中任意两张图像块特征的相似度，对于每一张目标图像块，生成一个从源图像块中选出的候选图像块列表；

第二阶段用NCC算法从候选图像块列表中确定一对一的匹配关系，获取每一张目标图像块一一对应的源图像块；

第三阶段采用预训练好的GMatchNet来矫正一一匹配后两张图像块的几何中心，消除几何畸变；

3)在匹配完成后，采用贪心算法来去除高密度的匹配特征点，再通过RANSAC算法从所有调整后的参考坐标中计算全局几何仿射参数集，将该参数集对源图像进行参数变换，生成配准图像。

进一步，所述步骤2)中的第一阶段匹配具体方法：对于输入MatchNet中的每一对图像块，先对其进行灰度值归一化，然后分别用两个结构相同权重共享的卷积神经网络对两个图像块进行特征提取，提取得到的特征通过一个Bottleneck层将特征维度进行压缩；接着将两个网络提取到的特征图依次送入三个全连接层中，最后通过一个softmax层输出两个预测值，分别表示两个图像块匹配或不匹配的概率y

进一步，所述步骤2)中的MatchNet在训练阶段，只训练两个特征网络中的一个，而另一个共享参数；采用数据增强来构造训练数据集，增强数据集由一组遥感图像经过一系列旋转矩阵变换构成，其中旋转角度θ＝{0°,90°,180°,270°}；假定P

使用抽样方法，以1:1的匹配图像块对与不匹配图像块对的比率构建训练数据集，在监督环境下进行训练；

使用带有动量的随机梯度下降，在n个图像块对的训练集上，最小化交叉熵损失，交叉熵的定义如下：

其中y

将训练迭代次数设置为200次，学习率设置为0.01，批量大小为32，动量项参数为0.9。

进一步，所述步骤2)中的第二阶段具体方法：

采用NCC从多个候选列表中选择一个最佳匹配对，NCC作为局部约束在像素强度层面上度量两个图像块之间的相似性，NCC值的计算公式如下：

其中

进一步，所述步骤3)中的第三阶段具体方法：

采用预训练的GMatchNet来确定一对一匹配图像块之间的对应关系，首先输入一对一匹配图像块，通过由两个结构相同、权值共享的卷积层组成的特征网络，分别对一对一匹配图像块提取特征图为F

进一步，所述步骤3)中的采用贪心算法来去除高密度的匹配特征点，假设得到N

第1步：使用所有匹配的连接点估计源图像和目标图像之间的透视变换模型；计算每对连接点的均方根误差值，然后根据RMSE值按升序对所有连接点对进行排序；

第2步：根据RMSE值对已排序的连接点对进行编号，已排序的连接点对中的第一项被选为第一个节点，并进行编号；

第3步：使用欧几里德距离计算连接点i和其他连接点j(j＝i+1,...,N

第4步：重复第3步，直到i＝N

本发明的有益效果在于：本发明基于图像块三阶段匹配的遥感图像配准方法，基于图像块三阶段匹配的遥感图像配准框架，依次进行匹配，精确匹配并消除几何畸变；并使用贪心算法对所有匹配连接点进行均匀化处理，最后用RANSAC进行全局仿射变换参数估计完成配准，实验结果表明，与几种主流算法相比整体表现良好，配准精度有所提升。

附图说明

图1本发明基于图像块三阶段匹配的遥感图像配准方法框架图；

图2本发明MatchNet一对多匹配结构图；

图3本发明GMatchNet匹配畸变补偿结构图；

图4本发明方法实验结果图；

图5本发明Google Earth数据集上定性实验对比结果图；

图6本发明Arieal Image Dataset数据集上定性实验对比结果图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明基于图像块三阶段匹配的遥感图像配准方法，如图1所示框架图，输入源图像和目标图像，采用Shi_Tomas算法进行特征提取，并以提取到的特征点为中心裁剪图像块，裁剪后图像块进入图像块匹配。在图像块匹配阶段提出三阶段匹配，第一阶段采用MatchNet分析两张图像块中特征的相似度，对于每一张目标图像块，生成一个候选图像块列表；第二阶段用NCC算法从候选图像块列表中确定一对一的匹配关系；第三阶段采用预训练好的GMatchNet来矫正匹配后两张图像块的几何中心，消除几何畸变。在匹配完成后，采用贪心算法来去除高密度的匹配特征点，解决特征点的不均匀空间所导致配准图像的局部几何失真，从而提高图像处理的效率。结束图像块匹配后，通过RANSAC算法从所有调整后的参考坐标中计算全局几何仿射参数集w，将该参数集对源图像进行参数变换，生成配准图像。

下面对方案实现具体展开：

步骤一：基于Shi_Tomas特征提取的图像块分割

在特征点检测的第一阶段，采用Shi_Tomas算法来提取均匀不变的特征点，将每个图像块的最大特征点数设置为1500。在第二阶段，以每个特征点P(x,y)为中心，裁剪64×64像素的图像块。假定源图像和目标图像分别表示为I

步骤二：一对多匹配，获取一对多候选框列表

MatchNet是一种深度网络架构，它通过分析两幅输入图像中特征的相似性来确定两幅图像的对应关系。其结构如图2所示。网络层参数如表1所示。

表1

对于输入MatchNet中的每一对图像块，先对其进行灰度值归一化，然后分别用两个结构相同权重共享的卷积神经网络对两个图像块进行特征提取，提取得到的特征通过一个Bottleneck层将特征维度进行压缩。接着将两个网络提取到的特征图依次送入三个全连接层中，最后通过一个softmax层输出两个预测值，分别表示两个图像块匹配或不匹配的概率y

MatchNet在训练阶段，只训练两个特征网络中的一个，而另一个共享参数。由于很难获得具有标签的遥感数据集，因此，采用数据增强来构造训练数据集。增强数据集由一组遥感图像经过一系列旋转矩阵变换构成，其中旋转角度θ＝{0°,90°,180°,270°}。假定P

使用抽样方法，以1:1的匹配图像块对与不匹配图像块对的比率构建训练数据集，在监督环境下进行训练。使用带有动量的随机梯度下降，在n个图像块对的训练集上，最小化交叉熵损失。交叉熵的定义如下：

其中y

将训练迭代次数设置为200次，学习率设置为0.01，批量大小为32，动量项参数为0.9。

步骤三：一对一匹配关系

在本发明的一对多候选框列表中，所有从源图像I

NCC作为局部约束在像素强度层面上度量两个图像块之间的相似性，NCC值的计算公式如下：

其中

步骤四：基于局部几何变换的匹配图像块畸变补偿

一对多候选框列表经过NCC一对一匹配算法确立了源图像块P

其流程分为四个步骤。首先，根据NCC算法生成的一对一匹配关系，重新将源图像的图像块P

步骤五：特征点的均匀空间分布

特征点的不均匀空间分布可能导致配准图像的局部几何失真。此外，覆盖某些局部区域的冗余连接点可能会增加计算量，从而降低图像处理的效率。为了解决这个问题，使用贪心算法去除高密度的匹配特征点。假设得到N

第1步：使用所有匹配的连接点估计源图像和目标图像之间的透视变换模型。计算每对连接点的均方根误差(Root Mean Square Error，RMSE)值，然后根据RMSE值按升序对所有连接点对进行排序；

第2步：根据RMSE值对已排序的连接点对进行编号。已排序的连接点对中的第一项被选为第一个节点，编号为1(即i＝1)；

第3步：使用欧几里德距离计算连接点i和其他连接点j(j＝i+1,...,N

第4步：重复第3步，直到i＝N

步骤六：全局变换参数估计

RANSAC算法常用来从一组观测数据中估计模型，去除随机抽样中的离群异常值。该方法可以进一步去除与局部约束相关的全局错误匹配点。使用RANSAC算法来计算全局几何仿射参数集w。最后，使用全局几何仿射参数集w对源图像进行变换，生成配准图像I

本发明使用具有正确地理对应关系的Google Earth数据集、Aerial ImageDataset数据集和国际摄影测量与遥感学会(ISPRS)发布的一些图像来测试本文算法。

本发明采用Python 3.6实验环境下的Pytorch深度学习框架，硬件环境为10G显存的RTX 3080显卡，Inter Core i5(3.90GHz)的处理器。

图4是本发明提出的算法实验结果图。第一组图是覆盖密集房屋建筑的城市图，拍摄自不同的季节，并存在明显的旋转角度差异，配准后道路的方向和房屋的形状基本对齐；第二组为田地图，两幅田地图像有着明显的拍摄视角差，配准后图像的块状田地形状和分块方向基本对齐；第三组为土地图，来自不同的拍摄时间和拍摄角度，配准图中道路的走向和土地分布与目标图像基本一致。

图5是本发明中的算法与三种算法在Google Earth数据集上进行对比的结果图，第一组图中同时包含植被、土地和道路，拍摄角度和拍摄时间均有所不同；第二组包含大面积的植被和房屋信息，拍摄角度和时间存在明显差异。从棋盘格图可以看出，SIFT算法在两张图像上都存在配准失真的现象；GMatchNet算法配准结果基本可以对齐，但在道路的配准上明显模糊；Two-Stream算法和本发明中的算法都能取得不错的配准结果，但在道路细节上本发明中的算法能取得更好的效果。

图6为本发明中的算法与三种算法在Arieal Image Dataset数据集上进行对比的结果图，第一组是错综复杂的房屋道路图像，第二组是海岸图，两组图像的拍摄角度均不同；从棋盘格图可以看出，SIFT算法和GMatchNet算法的配准结果均出现图像失真；Two-Stream算法和本发明中的算法都能基本对齐，但本发明中的算法在配准后的线条更加流畅，效果更好。

表2是采用正确关键点概率度量(Percentage of Correct Keypoints，PCK)、均方误差(Mean Square Error，MSE)和平均绝对误差(Mean Absolute Error，MAE)衡量四种算法的配准精度。

表2

正确关键点概率度量由以下公式表示：

其中其中N表示图片中总的特征点数目，(x

均方误差和平均绝对误差由以下公式表示：

/>

其中N表示检测的所有特征点的个数，(x

表2中最优数据以粗体的形式标出，从表中可以看出，本发明提出的算法取得了最大正确关键点度量百分比，相较于其他三种算法有较大的提升。在MSE和MAE的评估结果中，本发明提出的算法误差值显著下降，能取得更加高的配准精度。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。