快速且具有尺度和旋转不变性的多模态影像匹配方法

技术领域

本发明属于摄影测量与遥感、计算机视觉和三维重建技术领域，具体涉及一种快速且具有尺度和旋转不变性的多模态影像匹配方法。

背景技术

近年来，摄影测量与遥感技术飞速发展，其在抢险救灾、测绘勘测、基础设施建设、城市规划等各方面得到了广泛应用。其中，三维重建、空中三角测量、目标变化检测等技术为智慧城市、地理信息系统数据库更新、重大灾害应急、地理国情监测等应用提供了有力支撑。而影像匹配则是其中的核心基础技术，高精度且稳定可靠的影像匹配技术是这些应用快速发展的前提和保障。

随着传感器技术的飞速发展以及日益增高的应用需求，单一模态的影像信息不够丰富，综合利用多种模态的影像数据实现优势信息互补成为必须，而多模态影像匹配则是实现这些影像数据融合的前提与基础。多模态影像匹配是指对不同成像机制的多传感器影像或者多时相影像进行匹配的过程。然而，多模态影像之间通常会具有严重的非线性辐射畸变和复杂的几何形变。经典特征匹配方法通常只能处理线性的辐射差异，而基本上对非线性的辐射差异束手无策。同时现有的多模态匹配方法一般仅适用于某一类型的多模态影像之间的匹配，缺乏同时适用于多种类型的、具有尺度和旋转不变性的、快速且高精度的多模态影像匹配方法。

发明内容

针对上述问题，本发明提出了一种快速的且具有尺度和旋转不变性的抗非线性辐射畸变的多模态影像特征匹配方法。所提方法首先提出了一种局部强度二进制变换模型，经过该变换的多模态影像之间的相似性显著提高，能够有效降低多模态影像间的非线性辐射差异。同时本发明还提出了一种新的尺度空间构建方法，即基于投影的尺度空间。所提方法不仅实现了尺度和旋转不变性，同时能够在多类型的大尺寸多模态影像上实现快速的高精度匹配。

本发明提供了一种具有尺度和旋转不变性的高精度多模态影像特征匹配方法。该方法首先对多模态影像对进行局部强度二进制变换(Local Intensity BinaryTransformation，LIBT)，来削弱多模态影像之间的非线性辐射差异。之后在目标影像上进行基于投影的尺度空间的构建以实现算法的尺度不变性，并通过构建梯度方向直方图和局部极值的方法实现了算法的旋转不变性。该方法能够在多类型的多模态影像上实现快速的高精度的匹配。

为实现上述目的，本发明所设计的一种具有尺度与旋转不变性的抗非线性辐射畸变的多模态影像特征匹配方法，它包括如下步骤：

步骤1)，对参考影像和目标影像进行局部强度二进制变换；

步骤2)，在变换后的参考影像和目标影像上检测出FAST特征并构建基于投影的尺度空间；

步骤3)，计算特征点主方向，旋转局部影像块并生成特征向量；

步骤4)，以欧氏距离为度量，采用无最近邻距离比的暴力匹配算法对特征向量进行匹配。

进一步的，步骤1)的具体实现方式如下；

设影像中像素点p的像素值为I(p)，Φ

式中，δ[x]为指示函数，如果x为真值则函数值为1，否则为0；q

进一步的，步骤2)的具体实现方式如下；

步骤2.1，首先，采用FAST算法检测到兴趣特征点，对参考影像和目标影像分别进行FAST角点检测；

步骤2.2，然后，采用ANMS算法得到若干个均匀分布的特征点；

步骤2.3，最后，采用尺度空间构建方式对目标影像进行上采样和下采样，具体为：目标影像尺寸为[w,h]，设上采样或下采样的次数为K，尺度因子为s，则金字塔总共包含2K+1层影像，第一层影像位于金字塔底部，第i层影像的尺寸[w

[w

其中，i∈{1,2,…,2K+1}，为避免特征点间距离过小导致特征描述时局部图像块重叠区域过大，而影响后续匹配，在下采样时仅随机选取部分特征点进行投影，第i层影像的特征点数目N

式中，N为在原始目标影像上检测到的特征点总数。

进一步的，ANMS(adaptive non-maximal suppression)算法对聚类特征点进行抑制剔除的具体实现方式如下；

首先，依据Harris响应分数从FAST特征中选取N

进一步的，步骤3的具体实现方式如下；

步骤3.1，对于每一个特征点，在经过LIBT后的影像上以特征点为中心选取局部影像块；

步骤3.2，计算局部影像块中每个像素的梯度，梯度方向范围为[0°,360°)，与SIFT相同，对梯度进行统计形成梯度方向直方图，将最大值方向和大于P％的最大值方向作为该特征点的主方向；

步骤3.3，依据主方向，旋转局部影像块；

步骤3.4，重新调整局部影像块的大小为J×J像素；

步骤3.5，将局部影像块分成N

步骤3.6，将所有直方图向量依次拼接成N

进一步的，步骤4)以欧氏距离为度量，采用无最近邻距离比的暴力匹配算法对特征向量进行匹配，首先将参考影像的特征向量分别与目标影像金字塔中的每一层影像的特征向量进行匹配，得到匹配结果，再在上述匹配结果中寻找最佳匹配，这种方法能有效减小匹配搜索空间，并降低误匹配的概率提高正确匹配率。

进一步的，步骤2.1中FAST参数阈值设为0.001，步骤2.2中通过ANMS算法得到5000个均匀分布的特征点。

进一步的，步骤2.3中K＝3。

进一步的，步骤3.2中，将最大值方向和大于80％的最大值方向作为该特征点的主方向。

进一步的，步骤3.5中N

本发明具有如下积极效果：

1)本发明解决了多模态影像匹配中严重非线性辐射畸变这一瓶颈性问题。本发明提出了一种局部强度二进制变换方法，经过该变换的多模态影像之间的非线性辐射差异能够有效降低，进而能够有效提高后续匹配的精度。

2)本发明提出了一种基于投影的尺度空间的构建方法，且匹配算法能够同时实现尺度和旋转不变性，无需依赖任何几何地理先验信息，具有极高的应用灵活性与适用性。

3)本发明同时适用于多类型的多模态影像匹配，如：光学影像与光学影像、光学影像与红外影像、光学影像与SAR影像、光学影像与激光点云深度图、光学影像与地图数据以及光学影像与夜间影像的匹配，应用范围广泛。

4)本发明在大尺寸的多模态影像上也能实现快速的、高精度的匹配，具有较高的应用价值。

采用本发明能够实现具有严重非线性辐射畸变的多模态影像的特征匹配，具有精度高、匹配数目多和运算速度快等优点。所提方法能够适用于同时具有尺度和旋转变化的多模态影像匹配，且对于多类型的多模态影像数据均具有较高的匹配精度。所提方法在图像拼接、图像融合、空中三角测量、视觉导航与定位、目标跟踪等相关领域中具有较高应用价值，应用前景广泛。

附图说明

图1为本发明的流程图。

图2为本发明中局部强度二进制转换示例图。

图3为本发明中基于投影的尺度空间的构建示意图。

图4为本发明中特征描述符示意图。

图5为本发明中多模态匹配方法的实验结果示例。

具体实施方式

下面结合说明书附图对本发明的技术方案作进一步说明。

如图1所示，一种快速且具有尺度与旋转不变性的多模态影像特征匹配方法，包括以下步骤：

步骤1)，用局部强度二进制变换公式对参考影像和目标影像进行变换，具体为：设影像中像素点p的像素值为I(p)，Φ

式中，δ[x]为指示函数，如果x为真值则函数值为1，否则为0；q

所述的步骤1对参考影像和目标影像进行局部强度二进制变换，该步骤首先通过实验验证了LIBT能有效降低多模态影像间的非线性辐射差异，能提高影像间的相似性。LIBT具体参数有：处理半径为4像素，具体包括以像素点为中心的圆形邻域内的60个像素点。对60个相邻像素点进行二进制编码，之后通过归一化得到中心像素点的像素值。

图2为本发明中局部强度二进制转换的示例图。

步骤2)，在变换后的参考影像和目标影像上检测出FAST特征并构建基于投影的尺度空间。具体为：

步骤2.1，首先，采用FAST算法(FAST参数阈值设为0.001)检测到兴趣特征点，对参考影像和目标影像分别进行FAST角点检测。

步骤2.2，然后，采用ANMS算法得到5000个均匀分布的特征点。具体而言，就是按照影像尺寸大小设置每个特征点的邻域搜索范围，如果在邻域范围内存在其它特征点，则将这些邻近特征点从特征点集中移除，最终得到5000个均匀分布的特征点。

为使特征点均匀分布便于匹配，采用ANMS(adaptive non-maximal suppression)算法对聚类特征点进行抑制剔除。首先，依据Harris响应分数从FAST特征中选取N

步骤2.3，最后，采用本发明提出的尺度空间构建方式对目标影像进行上采样和下采样，构建K＝3共7层的特征点金字塔。图3展示了本发明中K＝2的基于投影的尺度空间构建示意图。

对目标影像构建基于投影的尺度空间，与传统金字塔尺度空间的构建步骤相反，本方法是先在原始影像上检测特征点，之后通过上采样和下采样将检测到的特征点投影到不同的尺度影像上。具体为：目标影像尺寸为[w,h]，设上采样或下采样的次数为K，尺度因子为s，则金字塔总共包含2K+1层影像，第一层影像位于金字塔底部，第i层(i∈{1,2,...,2K+1})影像的尺寸[w

[w

为避免特征点间距离过小导致特征描述时局部图像块重叠区域过大，而影响后续匹配，本方法在下采样时仅随机选取部分特征点进行投影。第i层影像的特征点数目N

式中，N为在原始目标影像上检测到的特征点总数。

步骤3)，计算特征点的主方向，旋转局部影像块，并用类似SIFT的特征描述符进行特征描述。

步骤3.1，对于每一个特征点，在经过LIBT后的影像上以特征点为中心选取局部影像块。

步骤3.2，计算局部影像块中每个像素的梯度，梯度方向范围为[0°,360°)，与SIFT相同，对梯度进行统计形成梯度方向直方图，将最大值方向和大于80％的最大值方向作为该特征点的主方向。

步骤3.3，依据主方向，旋转局部影像块。

步骤3.4，重新调整局部影像块的大小为J×J像素。

步骤3.5，将局部影像块分成N

步骤3.6，将所有直方图向量依次拼接成N

本实施例中，首先，对于参考影像以特征点为中心选取J×J(J＝96)像素的局部影像块，对于目标影像选取s×s×J×J(s为目标影像对应的尺度因子)像素的局部影像块。计算局部影像块中每个像素的梯度，统计生成梯度方向直方图，将最大值以及大于最大值80％所指示的方向作为该特征点的主方向。依据主方向旋转局部影像块，并重新调整局部影像块的尺寸为J×J像素。

然后，将局部影像块划分为8×8的子区域，统计子区域中每个像素的梯度生成4柱的梯度方向直方图，将每个子区域的直方图向量依次拼接成8×8×4共256维的特征向量。图4展示了本发明所使用的特征描述符示意图。

最后，对特征向量进行归一化处理。

步骤4)，计算特征向量间的最近欧氏距离并运用无最近邻距离比(NNDR)的暴力匹配算法进行匹配。与一般匹配算法不同，本方法不是将参考影像的特征向量与目标影像的所有特征向量进行匹配，而是首先将参考影像的特征向量分别与目标影像金字塔中的每一层影像的特征向量进行匹配，再在上述匹配结果中寻找最佳匹配。这种方法能有效减小匹配搜索空间，并降低误匹配的概率提高正确匹配率。

首先，以欧氏距离为度量，采用无最近邻距离比的暴力匹配算法，将参考影像的特征向量分别与不同尺度下的目标影像的特征向量进行匹配，得到7个不同尺度下的匹配点集。

最后，在7个不同尺度下的匹配点集中寻找到最佳匹配点集。图5展示了本发明所提多模态影像匹配方法的实验结果示例。

以上所述仅为本发明的优选实施例而已，并不用以限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。