基于方向可调滤波特征的多模态图像匹配方法及装置

技术领域

本发明属于数字图像处理领域，涉及一种基于方向可调滤波特征的多模态图像匹配方法及装置。

背景技术

多模态图像的几何匹配和配准是许多后续相关应用的基础。对于通用的多模态图像匹配算法，除了需要考虑不同类型成像传感器获取的数据之间的非线性辐射差异，还需要考虑传感器分辨率差异及成像时刻不同导致的何尺度、姿态、位置等几差异。因此，如何克服多模态图像间的非线性辐射差异和显著的几何差异是实现图像匹配的关键，也是实现高精度多模态图像联合应用的前提。然而，传统的图像匹配方法仅侧重于处理辐射或几何差异中的一面，对辐射差异鲁棒的方法要求对图像间的几何差异有较强的控制，通常需要有准确的先验知识来确定起始位置，因而几乎只能处理存在平移变化的图像，对几何差异鲁棒的方法则要求图像具有较好的辐射一致性，甚至图像间的光照和对比度变化都有可能导致匹配失败。因此，传统图像匹配方法有着诸多限制，在迁移至多模态图像匹配时难以发挥作用，甚至需要大量的人工参与辅助工作，导致处理过程费时费力。

针对传统图像匹配方法在处理存在非线性辐射差异和显著几何差异的多模态图像时的效果差、精度低的问题，亟待出现相应的新技术方案。

发明内容

本发明所要解决的问题是抗辐射与几何差异的多模态图像稳健匹配。

本发明的技术方案为一种基于方向可调滤波特征的多模态图像匹配方法，包括以下步骤，

步骤1，对输入的原始图像数据进行逐级的高斯滤波和降采样，并通过设置降采样中间层增加采样密度，构建图像的尺度空间；

步骤2，基于二维圆对称高斯函数生成一阶高斯方向可调的基滤波器，通过调整高斯函数标准差实现尺度控制得到多尺度的基滤波器组并对尺度空间中的图像卷积，根据方向可调滤波的线性合成原理得到多方向的卷积结果，实现特征信息提取；

步骤3，引入多尺度特征响应聚合模型，通过综合图像在不同尺度的滤波器响应增强固定方向上特征表达的显著性，消除尺度条件影响并输出多方向特征响应结果；

步骤4，以多方向特征响应为输入，基于矩分析方程聚合多方向特征信息，通过计算最大矩并获取其垂向上的特征响应幅值生成最大矩值图，利用FAST检测器在特征图检测出显著特征点，完成特征检测；

步骤5，基于图像模态转换思想，对生成的卷积结果在尺度维和方向维上执行池化操作，生成与原始图像大小相同且模态一致的稀疏图像表达作为特征描述的基础；

步骤6，引入AS-SIFT描述子结构，基于描述子局部区域的直方图统计和几何中心估计出特征点主方向，进而实现旋转不变的特征描述；

步骤7，基于最近邻原则构建蛮力匹配器，通过设置双向检查策略最大程度约束初始匹配点对的正确性；构建基于仿射变换模型的随机抽样一致性算法进行误匹配剔除，通过设置匹配集迭代优化策略实现匹配点结果的优化输出。

而且，步骤2提取得到多尺度、多方向的一阶高斯方向可调滤波特征

σ

式中，(x,y)表示图像坐标；σ

而且，所述多尺度特征响应聚合模型，由以下公式表达：

式中，(x,y)表示图像坐标；

而且，步骤4得到基于高斯方向可调滤波器的最大矩特征图GM

式中，Φ表示主矩；F

而且，步骤5中对生成的卷积结果在尺度维和方向维上执行池化操作，实现方式为，首先在固定方向上对多尺度卷积结果进行平均值池化，以消除尺度维保留方向维；随后，在方向维度上进行最大池化处理进一步缩小特征维度，包括获取与最大特征值相对应的方向标号，通过收集多方向卷积结果在每个像元处的方向角标号，构建出与输入图像尺寸相同且能够实现图像模态一致的稀疏特征表达。

而且，步骤6中，所述AB-SIFT描述子结构以特征点为中心在特征图上设置一圆形窗口，并沿径向由内向外将该窗口划分为3个无重叠的等间距圆环，并进一步将每个圆环划分为5、8、10个子区域；

首先以描述子的覆盖范围在步骤5所得稀疏特征表达结果SF上固定圆形窗口，并对窗口范围内的特征值进行统计，构造统计直方图并获取直方图峰值对应的特征值；如果直方图中其他特征值的数量超过了峰值特征fv

随后，将采样坐标系的正x轴旋转至主方向对应的角度，以规定出特征向量生成过程的采样方向，在圆形窗口内最大化峰值特征值实现对描述信息的正则；

最后，为描述子的每一个子区域生成特征值的统计直方图，并按照采样顺序以此连接所有子区域的直方图结果得到特征描述向量，使用二范数对描述向量进行归一化并输出特征描述结果。

而且，步骤7中，将欧式距离作为特征匹配时的距离测度，以最近邻搜索原则构建出蛮力匹配器，是指逐个遍历所有匹配点以返回一个最佳匹配；同时设置双向检查策略，实现方式为匹配到的点对在各自的搜索域中互为最佳匹配，至此输出初始匹配结果。

另一方面，本发明还提供一种计算机装置/设备/系统，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现如上所述基于方向可调滤波特征的多模态图像匹配方法的步骤。

另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述基于方向可调滤波特征的多模态图像匹配方法的步骤。

另一方面，本发明还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述基于方向可调滤波特征的多模态图像匹配方法的步骤。

本发明提出一种基于方向可调滤波特征的通用多模态图像匹配技术，利用一阶高斯方向可调滤波器来提取多模态图特征信息，通过构建特征响应聚合模型构建边缘特征图实现高重复率的图像特征检测，基于模态转换的思想构建一致性稀疏特征表达实现鲁棒特征描述，通过稳定的主方向估计构建旋转不变性描述子，通过为输入图像构建尺度空间以解决潜在的图像尺度变化。本方法处理流程为全自动处理无需人工干预，且无需根据处理数据的类型更改参数设置，具有处理简单方便的特点。

本发明的优点在于：通过多尺度的方向可调滤波器提取图像特征信息，并根据线性合成原理得到多方向的卷积图像，充分利用了多方向、多尺度卷积计算带来的对非线性辐射差异的鲁棒性。引入了特征响应聚合模型，通过聚合所有尺度、方向上的卷积结果生成多模态通用的显著边缘图，提高了特征点提取的重复率。基于模态转换的思路，为多模态图像生成了模态一致的稀疏特征表达，通过稳健的特征点主方向估计实现了旋转不变性特征描述，基于尺度空间实现了图像匹配的尺度不变性。优化的匹配流程和误匹配剔除方法提高了输出结果的精度和可靠性。此外，本技术方案适用于各个领域的多模态图像匹配，具有很强的通用性。

附图说明

图1为本发明实施例的流程示意图；

图2为本发明实施例中实现特征响应聚合和特征检测过程的示意图；

图3为本发明实施例生成模态统一的稀疏特征表达的示意图；

图4为本发明实施例中实现旋转不变性特征描述的示意图。

具体实施方式

以下结合附图和实施例详细说明本发明具体实施方式。

本发明为输入图像构建尺度空间以实现尺度不变性，基于对图像辐射变化不敏感的一阶高斯方向可调滤波器提取影像特征信息，引入多尺度、多方向特征聚合模型实现高重复率的显著特征点检测，构造了模态一致的图像稀疏表达和旋转不变性特征描述子，通过蛮力匹配器、随机抽样一致性算法和匹配集迭代优化策略得到高精度匹配点对。

参见图1，实施例提供的一种基于方向可调滤波特征的多模态图像匹配方法，包括以下步骤：

1.尺度空间构造：对输入的原始图像数据进行逐级的高斯滤波和2倍降采样，通过设置1.5

倍降采样中间层来增加采样密度，构建出图像的尺度空间；

为实现具有的尺度不变性图像匹配，使用尺度空间的构造来为检测到的显著图像特征产生多尺度特性。具体地，优选建议以输入图像作为尺度空间中的原始采样层的起始层，对其执行高斯滤波并进行1.5倍降采样，1.5倍降采样的结果被作为中间采样层的起始层，随后以各起始层为降采样起点，逐级交替执行高斯滤波和2倍降采样，直至图像尺寸小于某一阈值时(如影像宽或高不大于64像素)停止降采样操作，完成尺度空间构造，本发明使用的尺度空间构造过程可由以下公式表达：

式中，a

2.高斯方向可调滤波特征提取：基于二维圆对称高斯函数生成一阶高斯方向可调的基滤波器，通过调整高斯函数标准差实现尺度控制得到多尺度的基滤波器组并对尺度空间中的图像卷积，根据方向可调滤波的线性合成原理得到多方向卷积结果，实现特征信息提取；

本发明的优点之一在于将一阶高斯方向可调滤波器用于提取对辐射变换不变的图像特征信息，作为后续特征检测和描述的基础。由于方向可调滤波具有任意方向的线性合成特性，即任意方向的滤波器可由其基滤波器的线性组合表示，且该特性同样适用于卷积结果，即任意方向滤波器的图像卷积结果可由基滤波器的图像卷积结果的线性组合得到。对于一阶的高斯方向可调滤波器，其基滤波器为二维圆对称高斯函数在x和y方向上的一阶差分算子，基滤波器图像卷积结果的获取可由以下公式表达：

式中，

通过为基滤波器增加多尺度设置，以丰富图像特征提取结果的信息量，基滤波器的多尺度控制可通过改变二维高斯函数的标准差σ实现。此外，不同方向上的图像卷积结果为图像特征表达提供了重要信息，多方向的卷积图像也是本发明实现旋转不变性匹配的基础，多方向的卷积图像可根据基滤波器的卷积结果进行线性组合获取。因此，通过上述操作最终可得到多尺度、多方向的一阶高斯方向可调滤波特征

σ

式中，σ

3.多尺度特征响应聚合：引入多尺度特征响应聚合模型，通过综合图像在不同尺度的滤波器响应来增强固定方向上特征表达的显著性，消除尺度条件影响并输出多方向特征响应结果；

在上一步骤中通过控制方向可调滤波器的标准差提取了多尺度的图像特征响应结果，为了检测到高重复率的显著特征点，需要对多尺度的特征响应结果进行综合，以构造能够最优化表示图像特征显著性的特征图。为了增强计算结果对图像特征信息的表达能力，引入了以下模型在固定方向上聚合多尺度特征响应，即多尺度特征响应聚合模型：

式中，

4.多方向特征响应聚合及特征检测：以多方向特征响应为输入，基于矩分析方程来聚合多方向特征信息，通过计算最大矩并获取其垂向上的特征响应幅值生成最大矩值图，利用FAST(Feature from Accelerated Segment Test)检测器在特征图检测出显著特征点，完成特征检测；

特征响应聚合和特征检测参见图2。在完成多尺度特性响应聚合后，得到不同方向上的显著特征图，在此基础之上，基于矩分析方程进一步聚合多方向的特征响应。根据经典矩分析理论可知，利用多方向图像特征信息可用于计算图像主矩的方向，主矩的幅值反映了图像特征在不同方向上变化的趋势信息，而主矩垂向上的最大矩的幅值则反映了图像特征的显著性。因此，最大矩图可实现对图像特征的最优表达，基于高斯方向可调滤波器的最大矩特征图GM

式中，Φ表示主矩；F

随后，利用FAST特征检测子在生成的特征图上检测显著特征点，实施例进一步优选根据特征点自个的分数将特征点降序排列，依据输入图像的尺寸(宽度W高度H)设置保留得分在前W*H/50的特征点。

5.模态一致的图像稀疏特征表达：基于图像模态转换的思想，对生成的卷积结果在尺度维和方向维上执行池化操作，生成与原始图像大小相同且模态一致的稀疏图像表达作为特征描述的基础；

图像稀疏特征表达的生成过程参见图3。为了匹配所检测到的显著特征点，需要在以特征点为中心的局部图像区域上计算特征描述向量。方向可调滤波器能够提取到详细的图像信息并反映特征响应的方向性差异，因此再次利用多尺度、多方向的卷积结果构造除模态一致的稀疏特征表达。如上所述，一张输入图像将产生N

本发明使用尺度和方向两个维度上的池化操作来实现特征降维，首先在固定方向上对多尺度卷积结果进行平均值池化，达到消除尺度维保留方向维的目的，该过程可表达如下：

其中，

随后，在方向维度上进行最大池化处理，以进一步缩小特征维度。这一步骤的关键是获取与最大特征值相对应的方向标号，而非最大特征值自身。通过收集多方向卷积结果

式中，SF表示生成的模态一致的稀疏特征表达结果；max

图3中，

6.特征描述及主方向估计：引入AB-SIFT(Adaptive Binning Scale InvariantFeature Transform)描述子结构，基于描述子局部区域的直方图统计和几何中心计算估计出特征点主方向，

进而实现旋转不变的特征描述；

特征描述向量的计算过程参见图4。本发明采用AB-SIFT描述子结构实现特征描述，如图4所示，该描述子以特征点为中心在特征图上设置一圆形窗口，并沿径向由内向外将该窗口划分为3个无重叠的等间距圆环，并进一步将每个圆环划分为5、8、10个子区域。为实现旋转不变性的特征描述，首先以描述子的覆盖范围在步骤5所得稀疏特征表达结果SF上固定圆形窗口，并对窗口范围内的特征值进行统计，构造统计直方图并获取直方图峰值对应的特征值，该过程可表达如下：

fv

fv

式中，fv

如果直方图中其他特征值的数量超过了峰值特征fv

x

y

式中，θ

随后，由于采样坐标系的原点为特征点，正x轴指向屏幕右方、正y轴指向屏幕下方，本发明提出将采样坐标系的正x轴旋转至主方向对应的角度，以规定出特征向量生成过程的采样方向，在圆形窗口内最大化峰值特征值实现对描述信息的正则，具体可表达如下：

FV

FV

式中，FV

最后，为描述子的每一个子区域生成特征值的统计直方图，并按照采样顺序以此连接所有子区域的直方图结果得到特征描述向量，使用二范数对描述向量进行归一化并输出特征描述结果。

7.特征匹配及误匹配剔除：基于最近邻原则构建蛮力匹配器，通过设置双向检查策略最大程度约束初始匹配点对的正确性，构建基于仿射变换模型的随机抽样一致性算法进行误匹配剔除，通过设置匹配集迭代优化策略实现匹配点结果的优化输出；

完成上述步骤后，尺度空间中每张图像上检测到的特征点都获得了具有旋转自适应的特征描述向量，接下来进行特征匹配和误匹配剔除以得到最终的匹配点对。首先，将欧式距离作为特征匹配时的距离测度，以最近邻搜索原则构建出蛮力匹配器，即逐个遍历所有匹配点以返回一个最佳匹配，同时设置双向检查策略以提高匹配结果的可靠性，即匹配到的点对在各自的搜索域中互为最佳匹配，至此输出初始匹配结果。

初始匹配中不可避免的含有大量误匹配点对，需要进行粗差剔除。本发明实施例中，一致集与外点集的初始化通过随机抽样完成，初始的匹配集是随机抽样输出的一致集。

具体的，首先构建基于仿射变换模型的随机抽样一致性算法来获取一致集和外点集，一致集由随机抽样的样本点对所估计的仿射变换模型下残差小于给定阈值(如3像素)的匹配点对构成，外点集则是由残差大于给定阈值的匹配点对构成，然后进行匹配集迭代优化，此处的匹配集是指最终要输出的匹配点对集合，初始的匹配集是随机抽样一致性算法输出的一致集，基于最小二乘准则，使用一致集中的所有匹配点对估计出一个仿射变换模型，计算外点集中所有匹配点对的模型转换误差，将误差低于特定阈值(如3像素)的匹配点对项移入一致集。接下来，使用一致集重新估计仿射模型，将误差大于三倍标准差的匹配点对移入外点集。不断重复上述误匹配剔除过程，直到外点集中没有匹配点对被移入一致集，完成误匹配剔除并输出最终的匹配结果。

具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。

在一些可能的实施例中，提供一种计算机装置/设备/系统，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现上述基于方向可调滤波特征的多模态图像匹配方法的步骤。

在一些可能的实施例中，提供一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述基于方向可调滤波特征的多模态图像匹配方法的步骤。

在一些可能的实施例中，提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述基于方向可调滤波特征的多模态图像匹配方法的步骤。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。