一种基于改进的PIIFD特征描述的多源遥感图像配准方法

技术领域

本发明属于图像场景生成领域，具体涉及一种基于改进的PIIFD特征描述的多源遥感图像配准方法。

背景技术

图像配准是将在不同时间、从不同视点和由不同传感器拍摄的同一场景的两幅或多幅图像进行几何对齐的过程。

近年来，由于多传感器视觉系统的广泛应用，多源遥感图像采集技术不断发展，在模式识别、医学成像、遥感以及现代军事领域中发挥着重要的作用，而基于多模态图像的配准问题逐渐显现。

已有的多源遥感图像配准方法的配准精度仍然较低，通常仅能处理两种模态的遥感图像配准，无法兼顾多种模态；且无法处理不同传感器成像带来的图像尺度差异。

现有的配准方法大致可以分为两类：基于区域的配准方法和基于特征的配准方法。

基于区域的配准方法主要是：利用图像灰度信息建立起相似性度量来进行图像配准，但现有的基于区域的配准方法对图像模态，强度变换，复杂空间变换以及计算复杂度等方面都存在不同程度的问题，因此它的应用受到很大限制。

基于特征的配准方法在应对图像强度变化和噪声等问题时更加鲁棒，常用的特征包括点特征、线特征和区域特征等。由于线特征与区域特征具有区域特点，无法精准确定匹配位置，因此大多数算法主要提取点特征。

现有的多源遥感图像方法如PSO-SIFT,RIFT,SURF-RPM等，均无法处理多尺度多源遥感图像数据，从而不能良好的配准图像。

发明内容

为了克服上述多源遥感图像配准方法的不足，本发明提出一种基于改进的PIIFD特征描述的多源遥感图像配准方法，能适配更多模态，且具有多尺度图像处理能力。

所述基于改进的PIIFD特征描述的多源遥感图像配准方法，包括以下步骤：

步骤一、对待配准的多源遥感图像和参考图像，选取KAZE方法分别提取两张图像各自的特征点；

具体步骤如下：

首先，基于非线性滤波，对待配准图像或参考图像分别构建非线性尺度空间；

所述非线性尺度空间包括O个尺度空间组数和S个子层数；

然后，针对第i组第i个子层(o

接着，通过尺度归一化Hessian行列式，计算出响应值，该响应值对应的极值为KAZE特征点；

Hessian公式为：

其中l

步骤二、对每个特征点通过改进的PIIFD描述符进行特征描述，得到各特征点对应的特征描述符向量；

具体过程为：

首先，针对特征点σ

offset为常量，通常取值1.6；λ

x＝(x,y,λ)

其中L(x)为拉普拉斯算子的近似，

然后，通过尺度因子μ

每个特征点分别对应不同的尺度因子，因此每个特征的多尺度PIIFD描述符检测邻域也不同。

最后，在大小为(kμ)*(kμ)的检测邻域内，计算改进的PIIFD描述符提取描述子；

具体为：从(kμ)*(kμ)的正方形邻域中，提取16个小正方形组成的区域，每个小正方形的区域为

通过计算相反方向的和，将16个平均覆盖0～2π(0°,22.5°,...,337.5°)的方向直方图转换为8个平均覆盖0～π(0°,22.5°,...,157.5°)的退化方向直方图，接着利用退化方向直方图以及其180°旋转矩阵的行向量构建的线性描述符，将其归一化得到特征点σ

步骤三、采用BBF方法，利用特征描述符向量进行双向初始匹配，并利用特征主方向进行误匹配剔除，再采用RANSAC法对错误的匹配进行剔除，得到精匹配点对；

具体为：

步骤301、针对待配准图像当前特征点a，依次计算该特征点a和参考图像中的所有特征点之间的欧式距离，选择满足条件的最近特征点，与特征点a进行匹配，加入初始匹配结果中；

满足的条件如下：

参考图像中最近的特征点和次近的特征点满足如下公式：

其中d

步骤302、对初始匹配结果进行统计，利用特征主方向进行旋转误差的排除；

具体为：

随机选择初始匹配对应的两组特征点，其主方向分别为

将图像扭至同一方向后，剔除不满足

步骤303、用RANSAC对错误匹配进行剔除；

具体是：针对当前次迭代，从排除了旋转误差后的匹配对中随机抽取4个不共线的匹配点对作为样本数据计算出变换矩阵H，记为矩阵模型M；

然后，依次计算每个匹配对与矩阵模型M的代价函数误差，若误差小于设定的阈值，将当前匹配对加入内点集I；

迭代次数自增1，再次随机抽取4个不共线的匹配点对作为样本，计算矩阵模型M1，同理，计算每个匹配点对与矩阵模型M1的代价函数误差，将误差小于设定阈值的匹配对点加入内点集I1中；

直至达到设定的迭代次数，选择匹配点对数量最多的内点集作为精匹配点对；

步骤四、从精匹配点对中，根据变换方式的不同选择对应数量的精匹配点对进行变换矩阵的计算，并用最小二乘法优化变换矩阵的参数；

变换方式包括：相似变换、仿射变换或投影变换；

相似变换对应两组精匹配点对，仿射变换需要三组精匹配点对，投影变换需要四组精匹配点对；

步骤五、将优化了参数的变换矩阵与待配准图像进行相乘，得到最终配准结果。

本发明的优点在于：

本发明一种基于改进的PIIFD特征描述的多源遥感图像配准方法，与现有方法相比，能够配准多种模态的图像数据，通过改进的PIIFD描述符解决了多尺度图像难以配准的问题，在匹配数量以及配准精度上都具有一定优势，实用性较强。

附图说明

图1为本发明一种基于改进的PIIFD特征描述的多源遥感图像配准方法流程图；

图2为本发明反向相加计算效果图；

图3为本发明利用主方向直方图选取正确匹配的特征点对示意图；

图4为本发明选用特征主方向和RANSAC法对错误的匹配进行剔除的效果图；

图5为本发明分别选择主方向一致性和RANSAC算法进行误匹配去除的示意图；

图6为本发明对一张图片根据不同变换方式进行变换后得到的图片的示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图和实施例对本发明作进一步的详细描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明提出一种适配模态更多、具有多尺度图像处理能力的，基于改进的PIIFD特征描述的多源遥感图像配准方法，具体为：首先，对待配准的多源遥感图像进行预处理，得到配准用图，选取KAZE方法提取特征点；然后，对提取到的特征点通过改进的PIIFD描述符进行特征描述；并对特征描述进行匹配；最后，对特征点匹配结果，采用相似变换、仿射变换或投影变换进行参数估计与模型变换，并用最小二乘法计算模型参数。本发明能够配准多种模态的图像数据，通过改进的PIIFD描述符解决了多尺度图像难以配准的问题，在匹配数量以及配准精度上都具有一定优势，实用性较强。

所述基于改进的PIIFD特征描述的多源遥感图像配准方法，如图1所示，包括以下步骤：

步骤一、对待配准的多源遥感图像和参考图像，选取KAZE方法分别提取两张图像各自的特征点；

对待配准的多源图像，通常是一组图像分为待配准图像和参考图像，进行预处理，得到参考用图，选取KAZE方法分别提取参考图像和待配准图像的特征点；

具体步骤如下：

首先，基于非线性滤波，对待配准图像或参考图像分别构建非线性尺度空间；

所述非线性尺度空间包括O个尺度空间组数和S个子层数；各层之间的关系表示为：

其中σ

o

接着，将像素单位σ

t

然后，针对第i组第i个子层(o

接着，在尺度空间中，通过尺度归一化Hessian行列式，计算出每层图像在各个像素点的响应值，该响应值对应的极值为KAZE特征点；

比如尺度空间有三层，取得像素点，也就是特征点的值是周围八个和上下两层18个，一共26个的最大值，则取为极值。响应值为极值归一化的Hessian行列式的值，Hessian公式为：

其中L

步骤二、对每个特征点通过改进的PIIFD描述符进行特征描述，得到各特征点对应的特征描述符向量；

对特征点通过改进的PIIFD描述符进行特征描述，主要是对特征描述的区域进行自适应的提取，多模态图像中，不同的模态图像一般拥有不同的分辨率，以及不同的视区域，这导致了尺度的变化。PIIFD使用固定的邻域大小(一般为40*40)，无法表现特征尺度的变化。在SIFT算法中，它检测尺度空间中的特征点，为每个特征点提供其尺度信息。然后根据尺度信息确定提取描述符的邻域大小，从而实现尺度不变性，因此借鉴SIFT算法思想，本文需要自适应的邻域区域来实现尺度的不变性，从而精确描述特征。

具体过程为：

首先，针对第i个特征点σ

offset为常量，通常取值1.6；λ

x＝(x,y,λ)

其中L(x)为拉普拉斯算子的近似，

然后，通过尺度因子μ

自定义标准量，进而尺度因子与之相乘才能求出邻域面积对每个特征采取变动的检测范围。每个特征点分别对应不同的尺度因子，因此每个特征的多尺度PIIFD描述符检测邻域也不同。

最后，在大小为(kμ)*(kμ)的检测邻域内，计算改进的PIIFD描述符提取描述子；

具体为：首先计算图像梯度的幅度和方向，采用了连续平均平方梯度计算特征点主方向朝向；从(kμ)*(kμ)的正方形邻域中，提取16个小正方形组成的区域，每个小正方形的区域为

如图2所示，通过计算相反方向的和，将16个平均覆盖0～2π(0°,22.5°,...,337.5°)的方向直方图转换为8个平均覆盖0～π(0°,22.5°,...,157.5°)的退化方向直方图，接着利用退化方向直方图以及其180°旋转矩阵的行向量构建的线性描述符，将其归一化得到特征点σ

步骤三、采用BBF方法，利用特征描述符向量进行双向初始匹配，并利用特征主方向进行误匹配剔除，再采用RANSAC法对错误的匹配进行剔除，得到精匹配点对；

具体为：

步骤301、针对待配准图像当前特征点a，依次计算该特征点a和参考图像中的所有特征点之间的欧式距离，选择满足条件的最近特征点，与特征点a进行匹配，加入初始匹配结果中；

满足的条件如下：

参考图像中最近的特征点和次近的特征点满足如下公式：

其中d

步骤302、对初始匹配结果进行统计，利用特征主方向进行旋转误差的排除；

具体为：

随机选择初始匹配对应的两组特征点，其主方向分别为

将图像扭至同一方向后，剔除不满足

比如一组图像，如果是匹配的，那么特征点的主方向保证了特征点的旋转不变性，在图像旋转到同一位置时，理论上图像正确匹配对之间的特征主方向相同，而错误匹配的方向则不同，因此，当一对匹配对的主方向差值明显与其他匹配对不同时，则认为是一对误匹配对，本文当图像旋转到同一位置的时候，两个匹配特征点的主方向角度差值小于5°，视作一对正确匹配对。如图3所示，本实施例利用直方图来统计，以5°为区间，直方图x轴的范围是[0°，360°)，y轴统计的是在对应区间内包含的

步骤303、用RANSAC对错误匹配进行剔除；

具体是：针对当前次迭代，从排除了旋转误差后的匹配对中随机抽取4个不共线的匹配点对作为样本数据计算出变换矩阵H，记为矩阵模型M；

然后，依次计算每个匹配对与矩阵模型M的代价函数误差，若误差小于设定的阈值，将当前匹配对加入内点集I；

迭代次数自增1，再次随机抽取4个不共线的匹配点对作为样本，计算矩阵模型M1，同理，计算每个匹配点对与矩阵模型M1的代价函数误差，将误差小于设定阈值的匹配对点加入内点集I1中；

直至达到设定的迭代次数，选择匹配点对数量最多的内点集作为精匹配点对；此时的矩阵模型为最优模型，对应的代价函数最小，RANSAC目的是找到最优的参数矩阵模型使得满足该矩阵模型的数据点个数最多。

如图4所示，为根据主方向一致性去除的误匹配以及根据RANSAC算法进行错误匹配剔除的示意图。其中，图4(a)为一组红外可见光图像提取AM-PIIFD特征描述符的双边匹配图；图4(b)为测试图像根据主方向一致性去除误匹配的示意图；图4(c)为测试图像根据RANSAC算法进行误匹配去除的示意图。

步骤四、从精匹配点对中，根据变换方式的不同选择对应数量的精匹配点对进行变换矩阵的计算，并用最小二乘法优化变换矩阵的参数；

变换方式包括：相似变换、仿射变换或投影变换；

相似变换对应两组精匹配点对，仿射变换需要三组精匹配点对，投影变换需要四组精匹配点对；因此当匹配对数目少于等于一对时，提示配准无法完成，无法选择变换模型进行配准；当匹配对为两对时，选择相似变换进行配准，当匹配对为三对时本文选择仿射变换来进行配准，当匹配对数目大于等于四对时，通过投影变换来进行配准。能够匹配的匹配对越多，可以选择更复杂的变换模型，获得更好的配准效果。

步骤五、将优化了参数的变换矩阵与待配准图像进行相乘，得到与参考图像最终的配准结果。

实施例：

一种基于改进的PIIFD特征描述的多源遥感图像配准方法，所述方法包括以下步骤：

步骤S1，对待配准的图像进行预处理，得到配准用图，选取KAZE方法提取特征点；

具体步骤为：首先，对每个图像构非线性尺度空间，在所述尺度空间中，通过尺度归一化Hessian行列式计算出每层图像在各个像素点的响应值，其中响应值的极值为KAZE特征点，具体如下：

S1.1所述非线性尺度空间是采用非线性滤波构造的，其中非线性滤波方法可以由非线性偏微分方程来描述如下式所示：

其中L是图像的亮度，时间t是尺度参数，div和

其中：

为原始图像高斯平滑后的梯度图像，k为控制扩散级别的因子，这样使得非线性扩散能够自适应于图像局部特征。

构建非线性尺度空间，所述尺度空间包括O个尺度空间组数，和S个子层数，各层之间的关系表示为：

接着将像素单位σ

S1.2特征点检测通过尺度归一化Hessian行列式计算出每层图像在各个像素点的响应值，其中Hessian的公式为：

其中L

步骤S2，对步骤S1提取到的特征点通过改进的PIIFD描述符进行特征描述；

具体步骤是：首先，自适应获取特征描述区域；然后，计算改进的PIIFD描述符；

S2.1本发明设定响应的特征点的尺度因子为μ，如下式：

offset为1.6，o

x＝(x,y,λ)

其中L(x)为拉普拉斯算子的近似,

S2.2提取描述子，首先计算图像梯度的幅度和方向，采用了连续平均平方梯度计算特征点主方向朝向，为了获得更好的精度和计算效率，对S2.1确定的变动的正方形邻域进行区域划分，提取区域由16个小正方形组成，每个小正方形的区域为

步骤S3，对步骤S2得到的特征描述进行特征匹配；

具体步骤是对步骤S2得到的特征描述利用BBF方法进行一次双向匹配后，先利用特征主方向进行误匹配剔除，再采用RANSAC法对错误的匹配进行剔除；

S3.1利用BBF方法进行一次双边匹配，匹配策略为在所述配准图像对应的特征点和另一个配准图像的中的所有特征之间的欧式距离，当最近的特征点和次近的特征点满足如下公式：

其中d

S3.2特征主方向一致性具体步骤为：对S3.1中的得到的初始匹配进行统计，初始匹配对应的两组特征点主方向为

在排除旋转误差后，剔除不满足

步骤S4，对步骤S3得到的特征点匹配结果，采用相似变换、仿射变换、投影变换三种其一进行参数估计与模型变换并用最小二乘法计算模型参数。