图像特征匹配方法和相关装置、设备及存储介质

文献发布时间：2023-06-19 11:29:13

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像特征匹配方法和相关装置、设备及存储介质。

背景技术

图像匹配是计算机视觉中的基础问题，图像匹配的准确度会影响着图像匹配之后的操作。常见的图像匹配方式主要包括以下三个步骤，一是进行特征检测，即判断图像中是否包含关键点(也称为特征点)，二是提取检测到的关键点以及关键点的描述子，第三步根据提取到的特征进行特征匹配。这种方式仅利用关键点的描述子进行特征匹配。由于该关键点的描述子仅表示关键点周围的几个像素点之间的关系，即表示关键点周边的局部信息，而在图像缺乏纹理等情况下，描述子无法很好的表示关键点的信息，从而使得最终特征匹配失败。

发明内容

本申请至少提供一种图像特征匹配方法和相关装置、设备及存储介质。

本申请第一方面提供了一种图像特征匹配方法，包括：获取至少两个待匹配图像；分别对每个待匹配图像进行特征提取，得到每个待匹配图像的特征表示，其中，特征表示包括若干第一局部特征；将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征；对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果。

因此，通过获取待匹配图像中具有全局感受野的特征，继而利用具有全局感受野的特征进行特征匹配，使得在特征匹配过程中能够考虑到待匹配图像的全局信息，从而提高匹配准确度。

其中，特征表示包括第一特征图和第二特征图，第一特征图的分辨率小于第二特征图，第一特征图中的特征为第一局部特征，第二特征图的特征为第二局部特征；在对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果之后，方法还包括：基于第一匹配结果，从至少两个待匹配图像的第二特征图中提取匹配区块组，其中，匹配区块组包括至少两个特征区块，每个特征区块包括从一待匹配图像的第二特征图提取得到的多个第二局部特征；对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果，其中，第二变换特征为匹配区块组中的第二局部特征，或是对匹配区块组中的第二局部特征变换得到的。

因此，通过先进行低分辨率特征图中的特征匹配，再利用低分辨率特征图的匹配结果进行高分辨率特征图的特征匹配，进一步提高了匹配的准确度。

其中，在对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果之前，方法还包括：将特征区块中的第二局部特征变换为具有特征区块的全局感受野的第二变换特征。

因此，通过提取高分辨率特征图的特征，并变换为具有特征区块全局感受野的特征，再利用该特征进行特征匹配，使得在高分辨率特征匹配过程中也能够考虑到特征区块的全局信息，使得特征匹配结果更准确。

其中，将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征，或者，将特征区块中的第二局部特征变换为具有特征区块的全局感受野的第二变换特征，包括：以第一局部特征作为第一目标特征，第一变换特征作为第二目标特征，每个待匹配图像为一目标范围；或者，以第二局部特征为第一目标特征，第二变换特征作为第二目标特征，每个特征区域为一目标范围；基于对同一目标范围中第一目标特征的聚合处理和/或对不同目标范围中的第一目标特征的聚合处理，得到第二目标特征。

因此，通过对同一目标范围中的目标特征进行聚合处理能够使得第二目标特征能够具有该目标范围的全局感受野，和/或，通过对不同目标范围中的第一目标特征进行聚合处理，得到的第二目标特征能够具有其他目标范围的全局感受野。

其中，基于对同一目标范围中第一目标特征的聚合处理和/或对不同目标范围中的第一目标特征的聚合处理，得到第二目标特征，包括：分别以每个目标范围作为当前目标范围，并对当前目标范围执行以下至少一次特征变换：将当前目标范围中的每个第一目标特征作为当前目标特征；将当前目标范围中的当前目标特征与其他第一目标特征进行聚合，以得到与当前目标特征对应的第三目标特征；将当前目标范围的第三目标特征与其他目标范围的第三目标特征进行聚合，以得到与当前目标特征对应的第四目标特征；其中，在本次特征变换不为最后一次特征变换的情况下，将第四目标特征作为下次特征变换中的第一目标特征；在本次特征变换为最后一次特征变换的情况下，将第四目标特征作为第二目标特征。

因此，通过对当前目标范围的第一目标特征进行聚合，得到第三目标特征，并利用不同目标范围的第三目标特征进行聚合，使得最终得到的第二目标特征不仅具有当前目标范围的全局信息而且具有具有其他目标范围的全局信息，并且，经过至少一次这样的特征变换，使得最终的第二目标特征更精确，从而利用第二目标特征进行特征匹配时，能够获取到更为准确的特征匹配结果。

其中，将当前目标范围中的当前目标特征与其他第一目标特征进行聚合的步骤由变换模型中的自注意力层执行；将当前目标范围的第三目标特征与其他目标范围的第三目标特征进行聚合的步骤由变换模型中的交叉注意力层执行。

因此，通过利用变换模型中的自注意力层以及交叉注意力层进行特征变换，能够实现获取具有当前目标范围和其他目标范围的全局感受野的目标特征。

其中，自注意力层和/或交叉注意力层所使用的机制为线性注意力机制。

因此，通过使用线性注意力机制能够将特征变换过程中的复杂度为线性，相比非线性注意力机制而言特征变换所需时间更少以及复杂度更低。

其中，至少两个待匹配图像中匹配的第一变换特征为匹配特征组，匹配特征组分别在至少两个待匹配图像中的位置为第一位置，第一匹配结果包括表示第一位置的位置信息，特征区块在待匹配图像中对应的区域包含第一位置。

因此，通过第一匹配结果获取的特征区块包含匹配特征组在待匹配图像中的位置，即基于第一匹配结果的位置确定第二次进行匹配的范围，可使得第二次匹配的范围选择较为准确，进而对该范围内的特征进行再一次匹配，进一步提高了匹配的准确度。

其中，对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果，包括：以匹配区块组的其中一个特征区块为目标区块，并将目标区块中预设位置的第二变换特征为参考特征；在匹配区块组的其他特征区块中，查找出与参考特征匹配的第二变换特征；基于参考特征及其匹配的第二变换特征，得到第二匹配结果。

因此，通过查找目标区块中预设位置的第二变换特征的匹配特征，无需查找目标区块中每个第二变换特征的匹配特征，可降低匹配特征查找的复杂度，减少在特征匹配过程所耗用的处理资源。

其中，基于第一匹配结果，从至少两个待匹配图像的第二特征图中提取匹配区块组，包括：确定第一位置在第二特征图对应的第二位置；在第二特征图中提取以第二位置为中心且为预设尺寸的特征区块，以得到匹配区块组。

因此，通过第一位置确定第二位置，并提取以第二位置为中心的预设尺寸的特征区块，以减少提取错误特征区块的概率。

其中，预设位置为目标区块的中心。

因此，因为特征区块的中心是匹配特征组中的一个特征，将该特征作为参考特征使得计算得到的与其他特征区块中每个第二变换特征之间的匹配关系更准确。

其中，在匹配区块组的其他特征区块中，查找出与参考特征匹配的第二变换特征，包括：获取参考特征分别与其他特征区块中每个第二变换特征之间的匹配关系；基于匹配关系，从其他特征区块中查找出与参考特征匹配的第二变换特征。

因此，通过获取参考特征与其他特征区块中每个第二变换特征之间的匹配关系，可实现参考特征的特征匹配。

其中，获取参考特征分别与其他特征区块中每个第二变换特征之间的匹配关系，包括：将参考特征与其他特征区块中的第二变换特征进行相关操作，得到热力图，其中，热力图中不同位置的热力值表示参考特征与不同第二变换特征之间的匹配程度；基于匹配关系，从其他特征区块中查找出与参考特征匹配的第二变换特征，包括：利用预设算子对热力图进行处理，得到与参考特征匹配的第二变换特征。

因此，通过获取热力图，能够清楚表明参考特征与其他特征区块中每个第二变换特征之间的匹配程度。

其中，在将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征之前，方法还包括以下至少一个步骤：将第一局部特征在待匹配图像对应的位置信息加入至第一局部特征中；将若干第一局部特征由多维排列转换为一维排列。

因此，通过将第一局部特征在待匹配图像对应的位置信息加入第一局部特征中，使得通过特征变换之后的第一变换特征能够具有其在待匹配图像中的位置信息。另外，若干第一局部特征由多维排列转换为一维排列，方便变换模型对第一局部特征进行特征变换。

其中，对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果，包括：获取至少两个待匹配图像中不同第一变换特征之间的匹配置信度；基于匹配置信度，确定至少两个待匹配图像中的匹配特征组，其中，匹配特征组包括每个待匹配图像中的一个第一变换特征；基于匹配特征组，得到第一匹配结果。

因此，通过获取不同第一变换特征之间的匹配置信度，并基于匹配置信度获取匹配特征组，使得最终获得的匹配特征组的置信度能够满足需求。

其中，获取至少两个待匹配图像中不同第一变换特征之间的匹配置信度，包括：获取至少两个待匹配图像中不同第一变换特征之间的相似度；利用最优运输模式对相似度进行处理，得到至少两个待匹配图像中不同第一变换特征之间的匹配置信度。和/或，基于匹配置信度，确定至少两个待匹配图像中的匹配特征组，包括：在至少两个待匹配图中，选择匹配置信度符合匹配条件的第一变换特征组成匹配特征组。

因此，通过最优运输模式获取不同第一变换特征之间的匹配置信度，然后从匹配置信度中选择符合匹配条件的第一变换特征，使得最终的匹配特征组的匹配程度能够满足需求。

本申请第二方面提供了一种图像特征匹配装置，包括：图像获取模块，用于获取至少两个待匹配图像；特征提取模块，用于分别对每个待匹配图像进行特征提取，得到每个待匹配图像的特征表示，其中，特征表示包括若干第一局部特征；特征变换模块，用于将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征；特征匹配模块，用于对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果。

本申请第三方面提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的图像特征匹配方法。

本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的图像特征匹配方法。

上述方案，通过获取待匹配图像中具有全局感受野的特征，继而利用具有全局感受野的特征进行特征匹配，使得在特征匹配过程中能够考虑到待匹配图像的全局信息，从而提高匹配准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1是本申请图像特征匹配方法一实施例的流程示意图一；

图2是本申请图像特征匹配方法一实施例示出第二匹配结果的示意图；

图3是本申请图像特征匹配方法一实施例的流程示意图二；

图4是本申请图像特征匹配方法一实施例的流程示意图三；

图5是本申请图像特征匹配装置一实施例的结构示意图；

图6是本申请电子设备一实施例的结构示意图；

图7是本申请计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

请参阅图1，图1是本申请图像特征匹配方法一实施例的流程示意图一。具体而言，图像特征匹配方法可以包括如下步骤：

步骤S11：获取至少两个待匹配图像。

其中，获取待匹配图像的方式可以是通过执行图像特征匹配方法的设备上的摄像组件获取得到，还可以是通过其他设备以各种方式通信方式传输到执行图像特征匹配方法的设备上。这里的待匹配图像可以是经过各种图像处理之后的图像，可以是未经过图像处理的图像。且，待匹配图像的模态可以相同，也可以不同，例如其中一张图像为可见光图像，另一张图像为红外光图像。至少两个待匹配图像的尺寸、分辨率等信息可以相同也可以不同。即任意两张图像均可以作为待匹配图像。本公开实施例以两张待匹配图像为例，当然，在其他实施例中，待匹配图像可以是三张及以上均可，关于待匹配图像的数量此处不做具体规定。

步骤S12：分别对每个待匹配图像进行特征提取，得到每个待匹配图像的特征表示，其中，特征表示包括若干第一局部特征。

其中，特征提取的方式可以有多种，例如，可以利用各种神经网络进行特征提取。特征表示包括若干第一局部特征，这里的特征表示可以是以特征图的形式呈现。局部特征是指不包括待匹配图像全局感受野的特征，即仅包括待匹配图像局部区域的特征。

步骤S13：将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征。

通过对第一局部特征进行变换，使得变换之后的第一变换特征能够拥有待匹配图像的全局感受野。即，第一变换特征具有待匹配图像的全局信息。

步骤S14：对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果。

特征匹配的方式可以有多种，例如，利用最优运输模式进行特征匹配等，当然，这仅是举例，在其他实施例中，可以采用其他特征匹配方式。

其中，特征表示包括第一特征图和第二特征图，第一特征图的分辨率小于第二特征图。第一特征图中的特征为第一局部特征，第二特征图的特征为第二局部特征。其中，分别对每个待匹配图像进行特征提取，得到每个待匹配图像的特征表示的方式可以是利用金字塔卷积神经网络进行获取。其中，利用金字塔卷积神经网络可以分别获取待匹配图像的多尺度特征图，例如，提取得到分辨率为待匹配图像分辨率的八分之一及二分之一的特征图，或提取得到分辨率为待匹配图像分辨率的十六分之一及四分之一的特征图。在一些公开实施例中，第一特征图的分辨率为第二特征图的分辨率的四分之一。关于第一特征图和第二特征图之间的分辨率可根据特征提取速度和/或精度的需求确定，例如，提取八分之一与二分之一待匹配图像分辨率的特征图相比提取十六分之一与四分之一待匹配图像分辨率的特征图而言，前者速度较慢但精度较高，后者速度较快但精度较低。本公开实施例中，根据金字塔卷积神经网络获取得到的第一特征图中包括的第一局部特征和第二特征图中包括的第二局部特征不具有待匹配图像的全局感受野。

其中，在将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征之前，还包括以下至少一个步骤：一是将第一局部特征在待匹配图像对应的位置信息加入至第一局部特征中。具体地，通过使用位置编码，通过位置编码使得各个第一局部特征具备唯一的位置信息标识。其中，经位置编码后的

这里

二是将若干第一局部特征由多维排列转换为一维排列。具体地，多维排列可以是二维，即各第一局部特征以二维矩阵的形式形成第一特征图，一维排列可以是根据一定的顺序将二维矩阵转换为一维序列的方式。通过将第一局部特征在待匹配图像对应的位置信息加入第一局部特征中，使得通过特征变换之后的第一变换特征能够具有其在待匹配图像中的位置信息。另外，若干第一局部特征由多维排列转换为一维排列，方便变换模型对第一局部特征进行特征变换。

通过先利用金字塔卷积神经网络提取待匹配图像的第一特征图，并将第一特征图输入变换模型，相比直接将待匹配图像输入变换模型，前者能够缩短输入变换模型的特征长度，从而可以降低计算成本。

一些公开实施例中，步骤S13可具体包括以下步骤：以第一局部特征作为第一目标特征，第一变换特征作为第二目标特征，每个待匹配图像为一目标范围。基于对同一目标范围中第一目标特征的聚合处理和/或对不同目标范围中的第一目标特征的聚合处理，得到第二目标特征。具体地，分别以每个目标范围作为当前目标范围，并对当前目标范围执行以下至少一次特征变换：一是将当前目标范围中的每个第一目标特征作为当前目标特征。二是将当前目标范围中的当前目标特征与其他第一目标特征进行聚合，以得到与当前目标特征对应的第三目标特征。其中，将当前目标范围中的当前目标特征与其他第一目标特征进行聚合的步骤是由变换模型中的自注意力层执行，其中自注意力层和交叉注意力层对特征进行聚合的方式可参见一般的技术，此处不再赘述。具体地，在一个自注意力层中包括多个并列设置的自注意力子层，将每个目标范围的所有第一目标特征输入自注意力子层进行目标范围内第一目标特征的聚合，即每个自注意力子层仅输入一个目标范围的第一目标特征，不能将多个目标范围的第一目标特征同时输入到同一个自注意力子层中。进一步地，是将以一维排列形式的目标特征输入自注意力子层。通过自注意力层对第一目标特征进行聚合处理，使得获得的第三目标特征包括具备待匹配图像全局感受野。三是将当前目标范围的第三目标特征与其他目标范围的第三目标特征进行聚合，以得到与当前目标特征对应的第四目标特征。其中，将当前目标范围的第三目标特征与其他目标范围的第三目标特征进行聚合的步骤是由变换模型中的交叉注意力层执行。因为交叉注意力层具有不对称的特性，即交叉注意力层的输出结果仅包含其中一个输入对应的输出上。因此，交叉注意力层也包括并列设置的至少两个交叉注意力子层，将当前目标范围中的第三目标特征和其他目标范围的第三目标特征同时输入到并列的交叉注意力子层中，当然，在此过程中，需要调换当前目标范围和其他目标范围的第三目标特征输入交叉注意力子层的顺序，例如，第一个交叉注意力子层中将当前目标范围的第三目标特征作为左输入，其他目标范围的第三目标特征作为右输入，而在第二个交叉注意力子层中将当前目标范围的第三目标特征作为右输入，其他目标范围的第三目标特征作为左输入。通过两个并列的交叉注意力子层获取第四目标特征，使得每个目标范围对应的第三目标特征都有对应的第四目标特征。可选地，将一层自注意力层和一层交叉注意力层作为一次基本变换，变换模型中包括多个基本变换，且每个基本变换中包含的可学习网络权重不共享。且，基本变换的个数可根据特征变换精度与特征变换速度进行确定。例如，要求特征变换精度高，则基本变换个数可相对增加，对特征变换速度要求较高，则基本变换的个数可相应减少，因此，关于基本变换的个数此处不做具体规定。其中，在本次特征变换不为最后一次特征变换的情况下，将第四目标特征作为下次特征变换中的第一目标特征。当然，在本次特征变换为最后一次特征变换的情况下，将第四目标特征作为第二目标特征。即，前一个基本变化的输出结果将作为后一个基本变换的输入。并将最后一个基本变换的结果作为第二目标特征。

通过提取高分辨率特征图的特征变换为具有特征区块全局感受野的特征，再利用该特征进行特征匹配使得在匹配过程中能够综合考虑到全局信息，使得特征匹配结果更准确。

具体地，通过对当前目标范围的第一目标特征进行聚合，使得第三目标特征能够具有当前目标范围的全局信息，并利用不同目标范围的第三目标特征进行聚合，使得第四目标特征能够具有其他目标范围的全局信息，并且，经过至少一次这样的特征变换，使得最终的第二目标特征更精确，从而利用第二目标特征进行特征匹配时，能够获取到更为准确的特征匹配结果。

进一步地，自注意力层和/或交叉注意力层所使用的机制为线性注意力机制。具体地，自注意力层和/或交叉注意力层中使用的核函数可以为任意核函数，并反向利用核技巧改写核函数为两个映射函数的乘积，进而利用矩阵乘法的结合率改变注意力层的计算顺序，将复杂度从传统的平方复杂度降低为线性复杂度。其中，映射函数

Linear Attention(Q,K,V)＝sim(Q,K

φ(·)＝elu(·)+1 (3)

通过上述方式，使用线性注意力机制能够将特征变换过程中的复杂度为线性，相比非线性注意力机制而言特征变换所需时间更少以及复杂度更低。

其中，对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果的方式包括以下步骤：一是获取至少两个待匹配图像中不同第一变换特征的匹配置信度。可选地，获取至少两个待匹配图像中不同第一变换特征的匹配置信度的方式包括以下步骤：首先，获取至少两个待匹配图像中不同第一变换特征之间的相似度。具体地，获取该相似度的方式可以是计算两个待匹配图像中的所有第一变换特征两两之间的相似性，组成相似性矩阵。其中，计算相似性的方式可以是带有尺度变换的点乘相似性、余弦相似性或其他相似性度量方法。其次，利用最优运输模式对相似度进行处理，得到至少两个待匹配图像中不同第一变换特征之间的匹配置信度。具体地，将相似性矩阵取反，作为代价矩阵，将代价矩阵通过Sinkhorn算法预设数量次的迭代，得到匹配置信度。即通过这种方式将获取待匹配图像中不同第一变换特征之间的匹配置信度的求解转换为求解带有熵正则化的离散最优运输问题。其中，预设数量的选择决定了匹配置信度的收敛程度，可根据具体的需求对预设数量进行选择，以实现精度和速度之间的均衡。其中，得到的匹配置信度形成的矩阵的行和列之和均分别为1。本公开实施例中将待匹配图像分别称为第一待匹配图像和第二待匹配图像，其中，匹配置信度矩阵中的某一行的匹配置信度表示第一待匹配图像中某一个第一变换特征分别与第二待匹配图像中所有第一变换特征之间的匹配置信度。而匹配置信度矩阵中的某一列的匹配置信度则表示第二待匹配图像中的某一个第一变换特征分别与第一待匹配图像中所有第一变换特征之间的匹配置信度。二是基于匹配置信度，确定至少两个待匹配图像中的匹配特征组。其中，至少两个待匹配图像中匹配的第一变换特征为匹配特征组。匹配特征组包括每个待匹配图像中的一个第一变换特征。即匹配特征组是由多个待匹配图像中的一个第一变换特征组成。其中，基于匹配置信度，确定至少两个待匹配图像中的匹配特征组的方式可以是在至少两个待匹配图像中，选择匹配置信度符合匹配条件的第一变换特征组成匹配特征组。可选地，匹配条件可以是选择匹配置信度矩阵中在同时处于行最大且列中最大。例如，匹配置信度矩阵中的第一行第二列的置信度是同时处于行最大且列最大，则说明第二待匹配图像中与第一待匹配图像中的第一个第一变换特征匹配置信度最大的是第二个局部特征，且第一待匹配图像中与第二待匹配图像中的第二个第一变换特征匹配置信度最大的是第一个局部特征。通过最优运输模式获取不同第一变换特征之间的匹配置信度，然后从匹配置信度中选择符合匹配条件的第一变换特征，使得最终的匹配特征组的匹配程度能够满足需求。三是基于匹配特征组，得到第一匹配结果。具体地，基于匹配特征组分别在至少两个待匹配图像中的位置，得到第一匹配结果。其中，匹配特征组分别在至少两个待匹配图像中的位置为第一位置，第一匹配结果中包括表示第一位置的位置信息。其中，这里的位置信息可以是匹配特征组中特征在待匹配图像中的坐标，当然，也可以是该特征在第一特征图中的位置坐标，且该位置坐标可以映射第一位置。通过获取不同第一变换特征之间的匹配置信度，并基于匹配置信度获取匹配特征组，使得最终获得的匹配特征组的置信度能够满足需求。

其中，在对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果之后，基于第一匹配结果，从至少两个待匹配图像的第二特征图中提取匹配区块组。其中，匹配区块包括至少两个特征区块，每个特征区块包括从一个待匹配图像的第二特征图提取得到的多个第二局部特征。具体地，基于第一匹配结果，从至少两个待匹配图像的第二特征图中提取匹配区块组的方式可以是确定第一位置在第二特征图中对应的第二位置。在第二特征图中提取以第二位置为中心且为预设尺寸的特征区块，以得到匹配区块组。其中，匹配特征组中包含的特征区块数量取决于待匹配图像的数量。可选地，这里的预设尺寸需要满足获取得到的匹配区块组中仅包括一对匹配特征组中的特征，不包括其他匹配特征组中的特征。通过第一匹配结果获取的特征区块包含匹配特征组在待匹配图像中的位置，使得对特征区块进行特征匹配得到的第二匹配结果中也具有第一位置信息。通过第一位置确定第二位置，并提取以第二位置为中心的预设尺寸的特征区块，以减少提取错误特征区块的概率。

一些公开实施例中，在对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果之前，将特征区块中的第二局部特征变换为具有特征区块的全局感受野的第二变换特征。其中，将特征区块中的第二局部特征变换为具有特征区块的全局感受野的第二变换特征的方式可以是以第二局部特征为第一目标特征，第二变换特征作为第二目标特征，每个特征区块为一个目标范围。基于对同一目标范围中第一目标特征的聚合处理和/或对不同目标范围中的第一目标特征的聚合处理，得到第二目标特征。其中，具体进行聚合处理的方式参见将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征的过程，其中两个过程中使用的变换模型可以相同也可以不同。当两个变换模型不相同时，不同之处在于此过程的基本变换个数小于或等于将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征的过程中使用的基本变换个数。

通过提取高分辨率特征图的特征，并变换为具有特征区块全局感受野的特征，再利用该特征进行特征匹配，使得在高分辨率特征匹配过程中也能够考虑到特征区块的全局信息，使得特征匹配结果更准确。

对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果。其中，第二变换特征为匹配区块组中的第二局部特征，或者是对匹配区块组中的第二局部特征变换得到的。即第二变换特征既可以是没有经过变换模块进行特征变换的，也可以是经过变换模块进行特征变换的，此处关于第二变换特征不做具体规定。对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果的方式可以是以匹配区块组的其中一个特征区块为目标区块，并将目标区块中预设位置的第二变换特征为参考特征。这里的预设位置可以是目标区块的中心。因为特征区块的中心是匹配特征组中的一个特征，将该特征作为参考特征使得计算得到的与其他特征区块中每个第二变换特征之间的匹配关系更准确。在匹配区块组的其他特征区块中，查找出与参考特征匹配的第二变换特征。具体地，查找出与参考特征匹配的第二变换特征的方式可以是获取参考特征分别与其他特征区块中每个第二变换特征之间的匹配关系。例如，将参考特征与其他特征区块中的第二变换特征进行相关操作，得到热力图。其中，热力图中不同位置的热力值表示参考特征与不同第二变换特征之间的匹配程度。通过获取热力图，能够清楚表明参考特征与其他特征区块中每个第二变换特征之间的匹配程度。

基于该匹配关系，从其他特征区块中查找出与参考特征匹配的第二变换特征。具体地，利用预设算子对热力图进行处理，得到与参考特征匹配的第二变换特征。其中，这里的预设算子可以是Soft-Argmax算子。基于参考特征及其匹配的所述第二变换特征，得到所述第二匹配结果。具体地，确定参考特征与查找到与参考特征匹配的第二变换特征在至少两张待匹配图像中的第三位置。其中，第二匹配结果中包括参考特征与查找到与参考特征匹配的第二变换特征在待匹配图像中的第三位置以及二者之间的匹配程度，当然，这个第三位置可能并不是位于待匹配图像的像素点上，可能位于两个像素点的中间，由此即可完成亚像素精度的特征匹配。具体第二匹配结果的表现形式可以是以特征点对的形式呈现，也可以是以图像的形式呈现，请参见图2，图2是本申请图像特征匹配方法一实施例示出第二匹配结果的示意图。如图2所示，左图10为第一待匹配图像，右图20位第二待匹配图像。左图10与右图20中间的连线用于表示两张图像的匹配结果。关于置信度，可以利用连线颜色予以展示，例如使用渐变色以表示置信度，或直接将置信度标识在各连线附近。关于第二匹配结果的具体表现形式此处不做具体规定。

通过先进行低分辨率特征图中的特征匹配，再利用低分辨率特征图的匹配结果进行高分辨率特征图的特征匹配，进一步提高了匹配的准确度。

为更清楚地描述本公开实施例提出的技术方案，现提出以下两个示例进行举例。示例一：参见图3，图3是本申请图像特征匹配方法一实施例的流程示意图二，如图3所示，本公开实施例提出的图像特征匹配方法还包括以下步骤：

步骤S21：获取第一待匹配图像以及第二待匹配图像。

其中，获取第一待匹配图像以及第二待匹配图像的方式参见步骤S11，此处不再赘述。

步骤S22：分别提取两个待匹配图像的第一特征图和第二特征图，第一特征图包含第一局部特征，第二特征图包括第二局部特征，其中，第一特征图的分辨率小于第二特征图的分辨率。

其中，提取待匹配图像的第一特征图和第二特征图的方式可使用金字塔卷积神经网络，具体可参见上述步骤S12，此处不再赘述。

步骤S23：将两组第一局部特征输入变换模型，得到具有待匹配图像全局感受野的第一变换特征。

当然，在执行步骤S23之前，可以将第一特征图中的第一局部特征加入位置编码，并从二维矩阵的形式转换为一维序列的形式，并将一维序列形式的第一局部特征组输入变换模型。具体将两组第一局部特征输入变换模型，得到具有待匹配图像全局感受野的第一变换特征的过程请参见上述步骤S13，此处不再赘述。

步骤S24：对第一变换特征进行特征匹配得到第一匹配结果。

具体对第一变换特征进行特征匹配的方式参见上述步骤S14，此处不再赘述。

步骤S25：基于第一匹配结果，从至少两个待匹配图像的第二特征图中提取匹配区块组。

其中，从至少两个待匹配图像的第二特征图中提取匹配区块组的过程请参见上述，此处不再赘述。

步骤S26：对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果。

具体对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果的方式请参见上述，此处不再赘述。

通过先进行低分辨率特征图中的特征匹配，再利用低分辨率特征图的匹配结果进行高分辨率特征图的特征匹配，进一步提高了匹配的准确度。

示例二：请参见图4，图4是本申请图像特征匹配方法一实施例的流程示意图三。如图4所示，

获取第一待匹配图像I

给第一特征图F

利用最优运输模式得到一维特征序列

进一步地，本公开实施例所提供的技术方案无需进行特征检测，也就降低了特征检测的准确度对特征匹配的影响，使得本方案更为通用。

其中，本公开实施例所提供的技术方案可以实现两张待匹配图像的稠密特征匹配，该方案可集成到基于视觉的同时定位与地图构建(V-SLAM)中，本方案提供准确的稠密匹配有利用视觉定位与建图，本方案的高效性以及易于均衡精度-速度的特点有利于同时定位与地图构建各模块之间的协调。并且，本方案具有高鲁棒性使得V-SLAM在不同气候条件下的任意场景下均可稳定运行，例如用于室内导航、无人驾驶等领域。且，本方案可用于三维重建，本方案提供的准确的稠密匹配有利于重建精细的物体与场景模型，例如为用户提供基于视觉的人体、物体三维重建。当然，本方案还可用于图像配准，本方案提供的准确的稠密匹配有利于求解源图与目标图之间的变换模型。例如将本方案运用到手机，用于图像拼接以实现全景摄影，或是将本方案嵌入到医疗成像系统中用于成像的配准，以便医生根据配准结果进行分析或手术。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

图像特征匹配方法的执行主体可以是图像特征匹配装置，例如，图像特征匹配方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为具有视觉定位、三维重建、图像配准等需求的用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备以及自动驾驶汽车，有定位及建图需求的机器人，有配准需求的医疗成像系统，用于增强现实或虚拟现实的眼镜、头盔等产品等。在一些可能的实现方式中，该图像特征匹配方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现

请参阅图4，图4是本申请图像特征匹配装置一实施例的结构示意图。图像特征匹配装置40包括图像获取模块41、特征提取模块42、特征变换模块43以及特征匹配模44。图像获取模块41，用于获取至少两个待匹配图像；特征提取模块42，用于分别对每个待匹配图像进行特征提取，得到每个待匹配图像的特征表示，其中，特征表示包括若干第一局部特征；特征变换模块43，用于将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征；特征匹配模44，用于对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果。

一些公开实施例中，特征表示包括第一特征图和第二特征图，第一特征图的分辨率小于第二特征图，第一特征图中的特征为第一局部特征，第二特征图的特征为第二局部特征；在对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果之后，特征匹配模44还用于：基于第一匹配结果，从至少两个待匹配图像的第二特征图中提取匹配区块组，其中，匹配区块组包括至少两个特征区块，每个特征区块包括从一待匹配图像的第二特征图提取得到的多个第二局部特征；对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果，其中，第二变换特征为匹配区块组中的第二局部特征，或是对匹配区块组中的第二局部特征变换得到的。

上述方案，通过先进行低分辨率特征图中的特征匹配，再利用低分辨率特征图的匹配结果进行高分辨率特征图的特征匹配，进一步提高了匹配的准确度。

一些公开实施例中，在对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果之前，特征变换模块43还用于：将特征区块中的第二局部特征变换为具有特征区块的全局感受野的第二变换特征。

上述方案，通过提取高分辨率特征图的特征，并变换为具有特征区块全局感受野的特征，再利用该特征进行特征匹配，使得在高分辨率特征匹配过程中也能够考虑到特征区块的全局信息，使得特征匹配结果更准确。

一些公开实施例中，特征变换模块43将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征，或者，将特征区块中的第二局部特征变换为具有特征区块的全局感受野的第二变换特征，包括：以第一局部特征作为第一目标特征，第一变换特征作为第二目标特征，每个待匹配图像为一目标范围；或者，以第二局部特征为第一目标特征，第二变换特征作为第二目标特征，每个特征区域为一目标范围；基于对同一目标范围中第一目标特征的聚合处理和/或对不同目标范围中的第一目标特征的聚合处理，得到第二目标特征。

上述方案，通过对同一目标范围中的目标特征进行聚合处理能够使得第二目标特征能够具有该目标范围的全局感受野，和/或，通过对不同目标范围中的第一目标特征进行聚合处理，得到的第二目标特征能够具有其他目标范围的全局感受野。

一些公开实施例中，特征变换模块43基于对同一目标范围中第一目标特征的聚合处理和/或对不同目标范围中的第一目标特征的聚合处理，得到第二目标特征，包括：分别以每个目标范围作为当前目标范围，并对当前目标范围执行以下至少一次特征变换：将当前目标范围中的每个第一目标特征作为当前目标特征；将当前目标范围中的当前目标特征与其他第一目标特征进行聚合，以得到与当前目标特征对应的第三目标特征；将当前目标范围的第三目标特征与其他目标范围的第三目标特征进行聚合，以得到与当前目标特征对应的第四目标特征；其中，在本次特征变换不为最后一次特征变换的情况下，将第四目标特征作为下次特征变换中的第一目标特征；在本次特征变换为最后一次特征变换的情况下，将第四目标特征作为第二目标特征。

上述方案，通过对当前目标范围的第一目标特征进行聚合，通过对当前目标范围的第一目标特征进行聚合，得到第三目标特征，并利用不同目标范围的第三目标特征进行聚合，使得最终得到的第二目标特征不仅具有当前目标范围的全局信息而且具有其他目标范围的全局信息，并且，经过至少一次这样的特征变换，使得最终的第二目标特征更精确，从而利用第二目标特征进行特征匹配时，能够获取到更为准确的特征匹配结果。

一些公开实施例中，将当前目标范围中的当前目标特征与其他第一目标特征进行聚合的步骤由变换模型中的自注意力层执行；将当前目标范围的第三目标特征与其他目标范围的第三目标特征进行聚合的步骤由变换模型中的交叉注意力层执行。

上述方案，通过利用变换模型中的自注意力层以及交叉注意力层进行特征变换，能够实现获取具有当前目标范围和其他目标范围的全局感受野的目标特征。

一些公开实施例中，自注意力层和/或交叉注意力层所使用的机制为线性注意力机制。

上述方案，通过使用线性注意力机制能够将特征变换过程中的复杂度为线性，相比非线性注意力机制而言特征变换所需时间更少以及复杂度更低。

一些公开实施例中，至少两个待匹配图像中匹配的第一变换特征为匹配特征组，匹配特征组分别在至少两个待匹配图像中的位置为第一位置，第一匹配结果包括表示第一位置的位置信息，特征区块在待匹配图像中对应的区域包含第一位置。

上述方案，通过第一匹配结果获取的特征区块包含匹配特征组在待匹配图像中的位置，即基于第一匹配结果的位置确定第二次进行匹配的范围，可使得第二次匹配的范围选择较为准确，进而对该范围内的特征进行再一次匹配，进一步提高了匹配的准确度。

一些公开实施例中，特征匹配模44对匹配区块组对应的第二变换特征进行匹配，得到至少两个待匹配图像的第二匹配结果，包括：以匹配区块组的其中一个特征区块为目标区块，并将目标区块中预设位置的第二变换特征为参考特征；在匹配区块组的其他特征区块中，查找出与参考特征匹配的第二变换特征；基于参考特征及其匹配的第二变换特征，得到第二匹配结果。

上述方案，通过查找目标区块中预设位置的第二变换特征的匹配特征，无需查找目标区块中每个第二变换特征的匹配特征，可降低匹配特征查找的复杂度，减少在特征匹配过程所耗用的处理资源。

一些公开实施例中，特征匹配模44基于第一匹配结果，从至少两个待匹配图像的第二特征图中提取候选匹配区块组，包括：确定第一位置在第二特征图对应的第二位置；在第二特征图中提取以第二位置为中心且为预设尺寸的特征区块，以得到匹配区块组。

上述方案，通过第一位置确定第二位置，并提取以第二位置为中心的预设尺寸的特征区块，以减少提取错误特征区块的概率。

一些公开实施例中，预设位置为目标区块的中心。

上述方案，因为特征区块的中心是匹配特征组中的一个特征，将该特征作为参考特征使得计算得到的与其他特征区块中每个第二变换特征之间的匹配关系更准确。

一些公开实施例中，特征匹配模44在匹配区块组的其他特征区块中，查找出与参考特征匹配的第二变换特征，包括：获取参考特征分别与其他特征区块中每个第二变换特征之间的匹配关系；基于匹配关系，从其他特征区块中查找出与参考特征匹配的第二变换特征。

上述方案，通过获取参考特征与其他特征区块中每个第二变换特征之间的匹配关系，可实现参考特征的特征匹配。

一些公开实施例中，特征匹配模44获取参考特征分别与其他特征区块中每个第二变换特征之间的匹配关系，包括：将参考特征与其他特征区块中的第二变换特征进行相关操作，得到热力图，其中，热力图中不同位置的热力值表示参考特征与不同第二变换特征之间的匹配程度；基于匹配关系，从其他特征区块中查找出与参考特征匹配的第二变换特征，包括：利用预设算子对热力图进行处理，得到与参考特征匹配的第二变换特征。

上述方案，通过获取热力图，能够清楚表明参考特征与其他特征区块中每个第二变换特征之间的匹配程度。

一些公开实施例中，在将第一局部特征变换为具有待匹配图像的全局感受野的第一变换特征之前，特征提取模块42还用于执行以下至少一个步骤：将第一局部特征在待匹配图像对应的位置信息加入至第一局部特征中；将若干第一局部特征由多维排列转换为一维排列。

上述方案，通过将第一局部特征在待匹配图像对应的位置信息加入第一局部特征中，使得通过特征变换之后的第一变换特征能够具有其在待匹配图像中的位置信息。另外，若干第一局部特征由多维排列转换为一维排列，方便变换模型对第一局部特征进行特征变换。

一些公开实施例中，特征匹配模44对至少两个待匹配图像中的第一变换特征进行匹配，得到至少两个待匹配图像的第一匹配结果，包括：获取至少两个待匹配图像中不同第一变换特征之间的匹配置信度；基于匹配置信度，确定至少两个待匹配图像中的匹配特征组，其中，匹配特征组包括每个待匹配图像中的一个第一变换特征；基于匹配特征组，得到第一匹配结果。

上述方案，通过获取不同第一变换特征之间的匹配置信度，并基于匹配置信度获取匹配特征组，使得最终获得的匹配特征组的置信度能够满足需求。

一些公开实施例中，特征匹配模44获取至少两个待匹配图像中不同第一变换特征之间的匹配置信度，包括：获取至少两个待匹配图像中不同第一变换特征之间的相似度；利用最优运输模式对相似度进行处理，得到至少两个待匹配图像中不同第一变换特征之间的匹配置信度。和/或，基于匹配置信度，确定至少两个待匹配图像中的匹配特征组，包括：在至少两个待匹配图像中，选择匹配置信度符合匹配条件的第一变换特征组成匹配特征组。

上述方案，通过最优运输模式获取不同第一变换特征之间的匹配置信度，然后从匹配置信度中选择符合匹配条件的第一变换特征，使得最终的匹配特征组的匹配程度能够满足需求。

请参阅图6，图6是本申请电子设备一实施例的结构示意图。电子设备50包括存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述图像特征匹配方法实施例中的步骤。在一个具体的实施场景中，电子设备50可以包括但不限于：微型计算机、服务器，此外，电子设备50还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器52用于控制其自身以及存储器51以实现上述图像特征匹配方法实施例中的步骤。处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。

请参阅图7，图7为本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令601，程序指令601用于实现上述图像特征匹配方法实施例中的步骤。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

完整全部详细技术资料下载

该技术已申请专利。仅供学习研究，如用于商业用途，请联系技术所有人。
专利发明人：周晓巍;鲍虎军;孙佳明;沈泽弘;王雨昂;
专利申请人：浙江商汤科技开发有限公司;