图像特征点的匹配方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及图像特征点的匹配方法、装置、电子设备及存储介质。

背景技术

随着计算机视觉领域的快速发展，图像匹配、图像拼接等应用场景都涉及特征点匹配。

目前，特征点匹配方案，通常会确定特征点的特征描述子，并根据特征描述子的匹配度进行特征点匹配。特征描述子可以表示特征点周围环境中像素点的特征。

然而，目前的特征点匹配方案的匹配准确度有待提高。

发明内容

本申请提出了图像特征点的匹配方法、装置、电子设备及存储介质，能够提高特征点匹配的准确度。

根据本申请一个方面，提供一种图像特征点的匹配方法，包括：

获取第一图像和第二图像；

提取第一图像的特征点和第二图像的特征点，其中，每个特征点的特征包括亮暗属性，每个特征点的亮暗属性用于描述所述每个特征点的灰度值与周围像素点的灰度值的比较结果；

确定第一图像的特征点的特征描述子和第二图像的特征点的特征描述子；

根据第一图像的特征点的特征描述子和第二图像的特征点的特征描述子，将亮暗属性相同的特征点对进行特征匹配判断，得到匹配的特征点对，其中，每个所述亮暗属性相同的特征点对包括第一图像的一个特征点和第二图像的一个特征点。

在一些实施例中，对于第一图像和第二图像中的每个特征点，在所述每个特征点的灰度值高于周围像素点的灰度值时，所述每个特征点的亮暗属性表示所述每个特征点的灰度值高于周围像素点的灰度值；在所述每个特征点的灰度值低于周围像素点的灰度值时，所述每个特征点的亮暗属性表示所述每个特征点灰度值低于周围像素点的灰度值。

在一些实施例中，所述根据第一图像的特征点的特征描述子和第二图像的特征点的特征描述子，将亮暗属性相同的特征点对进行特征匹配判断，得到匹配的特征点对，包括：

对于第一图像的特征点和第二图像的特征点组成的每个特征点对，判断所述每个特征点对中两个特征点的亮暗属性是否一致；

在确定两个特征点的亮暗属性一致时，确定两个特征点的特征描述子的相似度；

在确定两个特征点的亮暗属性不一致时，不对两个特征点的特征描述子进行相似度判断；

根据每个确定的所述相似度，确定第一图像和第二图像之间匹配的特征点对。

在一些实施例中，所述根据每个确定的所述相似度，确定第一图像和第二图像之间匹配的特征点对，包括：

对于第一图像的每个特征点，从与所述每个特征点有关的相似度中确定最大的相似度，并将最大的相似度对应的特征点对作为匹配的特征点对。

根据本申请一个方面，提供一种图像特征点的匹配装置，包括：

图像获取单元，获取第一图像和第二图像；

特征点提取单元，提取第一图像的特征点和第二图像的特征点，其中，每个特征点的特征包括亮暗属性，每个特征点的亮暗属性用于描述该特征点的灰度值与周围像素点的灰度值的比较结果；

描述信息生成单元，确定第一图像的特征点的特征描述子和第二图像的特征点的特征描述子；

特征点匹配单元，根据第一图像的特征点的特征描述子和第二图像的特征点的特征描述子，将亮暗属性相同的特征点对进行特征匹配判断，得到匹配的特征点对，其中，每个所述亮暗属性相同的特征点对包括第一图像的一个特征点和第二图像的一个特征点。

在一些实施例中，对于第一图像和第二图像中的每个特征点，在所述每个特征点的灰度值高于周围像素点的灰度值时，所述每个特征点的亮暗属性表示所述每个特征点的灰度值高于周围像素点的灰度值；在所述每个特征点的灰度值低于周围像素点的灰度值时，所述每个特征点的亮暗属性表示所述每个特征点灰度值低于周围像素点的灰度值。

在一些实施例中，所述特征点匹配单元根据下述方式执行所述根据第一图像的特征点的特征描述子和第二图像的特征点的特征描述子，将亮暗属性相同的特征点对进行特征匹配判断，得到匹配的特征点对的操作：

对于第一图像的特征点和第二图像的特征点组成的每个特征点对，判断所述每个特征点对中两个特征点的亮暗属性是否一致；

在确定两个特征点的亮暗属性一致时，确定两个特征点的特征描述子的相似度；

在确定两个特征点的亮暗属性不一致时，不对两个特征点的特征描述子进行相似度判断；

根据每个确定的所述相似度，确定第一图像和第二图像之间匹配的特征点对。

在一些实施例中，所述特征点匹配单元根据下述方式执行所述根据每个确定的所述相似度，确定第一图像和第二图像之间匹配的特征点对的操作：

对于第一图像的每个特征点，从与所述每个特征点有关的相似度中确定最大的相似度，并将最大的相似度对应的特征点对作为匹配的特征点对。

根据本申请一个方面，提供一种电子设备，包括：

存储器；

处理器；

程序，存储在该存储器中并被配置为由所述处理器执行，所述程序包括用于执行图像特征点的匹配方法的指令。

根据本申请一个方面，提供一种存储介质，存储有程序，所述程序包括指令，其特征在于，所述指令当由电子设备执行时，使得所述电子设备执行图像特征点的匹配方法。

综上，根据本申请实施例的匹配方案，通过确定每个特征点的亮暗属性，并对第一图像和第二图像之间的亮暗属性相同的点对进行特征点匹配判断，能够避免将亮暗属性不同但特征描述子相似度高的点对误判为匹配的特征点对，从而能够提高特征点匹配的准确度。

另外说明的是，由于能够避免将亮暗属性不同的点对进行特征点匹配，本申请实施例的匹配方案能够节省特征点匹配的计算消耗，从而能够提高特征点匹配的效率。

附图说明

图1示出了根据本申请一些实施例的特征点无匹配情况的示意图；

图2示出了根据本申请一些实施例的应用场景的示意图；

图3示出了根据本申请一些实施例的图像特征点的匹配方法300的流程图；

图4示出了根据本申请一些实施例的根据亮暗属性进行特征点匹配的方法400的流程图；

图5示出了根据本申请一些实施例的一种图像特征点的匹配装置500的示意图；

图6示出了根据本申请一些实施例的电子设备的示意图。

具体实施方式

为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请进一步详细说明。

在一些应用场景中，特征点匹配方案可以根据特征点的特征描述子进行特征点匹配。特征描述子可以表示特征点周围像素点的特征，例如可以用一维特征向量表示。在两个特征点的特征描述子的相似度很高时，特征点匹配方案可以将两个特征点作为一个特征匹配的点对。然而，传统的特征点匹配方案可能会出现以下误匹配情况：两个特征点包括一个亮点和一个暗点，并且亮点和暗点的特征描述子相似度很高，亮点和暗点被误匹配的情况。其中，亮点是指特征点的灰度值高于周围像素点。暗点是指特征点的灰度值低于周围像素点。如图1所示，P

为此，本申请实施例提出了一种特征点匹配方案，能够避免将暗点和亮点进行特征匹配，提高特征点匹配的准确度。下面结合图2和图3进行对提出的特征点匹配方案详细说明。

图2示出了根据本申请一些实施例的应用场景的示意图。

如图2所示，应用场景示出了第一图像110和第二图像120，以及电子设备130。电子设备120可以对第一图像110和第二图像120进行特征点匹配。电子设备120例如为笔记本电脑、服务器、网络硬盘录像机等各种能够进行特征点匹配处理的设备，本申请对此不做限制。

图3示出了根据本申请一些实施例的图像特征点的匹配方法300的流程图。匹配方法300例如可以由电子设备130执行。

如图3所示，在步骤S301中，获取第一图像和第二图像。

在步骤S302中，提取第一图像的特征点和第二图像的特征点。其中，每个特征点的特征包括亮暗属性。每个特征点的亮暗属性用于描述该特征点的灰度值与周围像素点的灰度值的比较结果。

在步骤S303中，确定第一图像的特征点的特征描述子和第二图像的特征点的特征描述子。这里，特征描述子可以表示特征点周围像素点的特征，例如可以用一维特征向量表示。

在步骤S304中，根据第一图像的特征点的特征描述子和第二图像的特征点的特征描述子，将亮暗属性相同的特征点对进行特征匹配判断，得到匹配的特征点对。其中，每个亮暗属性相同的特征点对包括第一图像的一个特征点和第二图像的一个特征点。这里，对于第一图像的特征点和第二图像的特征点组成的点对，在该点对的亮暗属性不一致时，步骤S304不会对该点对进行特征匹配判断。

综上，根据本申请实施例的匹配方法300，通过确定每个特征点的亮暗属性，并对第一图像和第二图像之间的亮暗属性相同的点对进行特征点匹配判断，能够避免将亮暗属性不同但特征描述子相似度高的点对误判为特征匹配的点对，从而能够提高特征点匹配的准确度。

另外说明的是，由于能够避免将亮暗属性不同的点对进行特征点匹配，本申请实施例的匹配方法300能够节省特征点匹配的计算消耗，从而能够提高特征点匹配的效率。另外，本申请实施例确定的特征匹配的点对，可以用于进行图像匹配或者图像拼接等操作。

在一些实施例中，步骤S302提取的特征点的特征还包括坐标位置、尺度信息和梯度方向。这里，为了提取特征点，本申请实施例可以对第一图像和第二图像进行上采样或者下采样，以形成尺度空间。尺度空间包括不同尺度的多个图像层。特征点的尺度信息用于表征特征点所处的图像层。步骤S303，可以将特征点的邻接区域的坐标轴旋转为与特征点的梯度方向一致，然后根据邻接区域内像素点的梯度方向生成特征点的特征描述子。

在一些实施例中，对于第一图像和第二图像的任一个特征点，在所述每个特征点的灰度值高于周围像素点的灰度值时，每个特征点的亮暗属性表示每个特征点的灰度值高于周围像素点的灰度值。这里，在灰度值高于周围像素点的灰度值时，特征点可以称为亮点。周围像素点可以认为是以特征点为中心的一个邻接区域内除特征点之外的像素点。另外，在该特征点的灰度值低于周围像素点的灰度值时，每个特征点的亮暗属性表示所述每个特征点灰度值低于周围像素点的灰度值。在灰度值高于周围像素点的灰度值时，特征点可以称为暗点。

在一些实施例中，步骤S304可以实施为方法400。

如图4所示，在步骤S401中，对于第一图像的特征点和第二图像的特征点组成的每个特征点对，判断每个特征点对中两个特征点的亮暗属性是否一致。

在步骤S401确定两个特征点的亮暗属性一致时，方法400可以执行步骤S402，确定两个特征点的特征描述子的相似度。例如，在两个特征点均为亮点(或者暗点)时，确定两个特征点的联安属性一致。步骤S402例如可以基于马氏距离、欧氏距离等相似度衡量方式，确定特征描述子的相似度，本申请对此不做限制。

在步骤S403中，根据确定的相似度，确定第一图像和第二图像之间匹配的特征点对。

例如，对于第一图像的每个特征点，步骤S403从与每个特征点有关的相似度中确定最大的相似度，并将最大的相似度对应的特征点对作为匹配的特征点对。例如，步骤S403可以将与每个特征点有关的相似度(即步骤S402确定的与特征点有关的相似度)进行排序，并将最大的相似度对应的特征点作为匹配的特征点对。例如，第一图像的一个特征点为P

综上，根据本申请实施例的方法400，通过只对亮暗属性一致的点对(单个点对包括一个第一图像的特征点和一个第二图像的特征点)，进行相似度判断和进行特征点匹配判断，能够避免将亮暗属性不同但特征描述子相似度高的点对误判为特征匹配的点对，从而能够提高特征点匹配的准确度。

图5示出了根据本申请一些实施例的图像特征点的匹配装置500的示意图。匹配装置500例如可以部署在电子设备130中。

如图5所示，匹配装置500包括：图像获取单元501、特征点提取单元502、描述信息生成单元503和特征点匹配单元504。

其中，图像获取单元501，获取第一图像和第二图像。

特征点提取单元502，提取第一图像的特征点和第二图像的特征点。其中，每个特征点的特征包括亮暗属性。每个特征点的亮暗属性用于描述该特征点的灰度值与周围像素点的灰度值的比较结果。

描述信息生成单元503，确定第一图像的特征点的特征描述子和第二图像的特征点的特征描述子。

特征点匹配单元504，根据第一图像的特征点的特征描述子和第二图像的特征点的特征描述子，将亮暗属性相同的特征点对进行特征匹配判断，得到匹配的特征点对，其中，每个所述亮暗属性相同的特征点对包括第一图像的一个特征点和第二图像的一个特征点。

综上，根据本申请实施例的匹配装置500，通过确定每个特征点的亮暗属性，并对第一图像和第二图像之间的亮暗属性相同的点对进行特征点匹配判断，能够避免将亮暗属性不同但特征描述子相似度高的点对误判为特征匹配的点对，从而能够提高特征点匹配的准确度。

另外说明的是，由于能够避免将亮暗属性不同的点对进行特征点匹配，本申请实施例的匹配装置500能够节省特征点匹配的计算消耗，从而能够提高特征点匹配的效率。

在一些实施例中，对于第一图像和第二图像中的每个特征点，在所述每个特征点的灰度值高于周围像素点的灰度值时，所述每个特征点的亮暗属性表示所述每个特征点的灰度值高于周围像素点的灰度值。在所述每个特征点的灰度值低于周围像素点的灰度值时，所述每个特征点的亮暗属性表示所述每个特征点灰度值低于周围像素点的灰度值。

在一些实施例中，对于第一图像的特征点和第二图像的特征点组成的每个特征点对，特征点匹配单元504判断每个特征点对中两个特征点的亮暗属性是否一致。在确定两个特征点的亮暗属性一致时，特征点匹配单元504确定两个特征点的特征描述子的相似度。根据确定的每个相似度，特征点匹配单元504确定第一图像和第二图像之间匹配的特征点对。另外，在确定两个特征点的亮暗属性不一致时，特征点匹配单元504不对两个特征点的特征描述子进行相似度判断。

在一些实施例中，对于第一图像的每个特征点，特征点匹配单元504从与每个特征点有关的相似度中确定最大的相似度，并将最大的相似度对应的特征点对作为匹配的特征点对。

另外说明的是，匹配装置500更具体的实施方式与匹配方法300类似，这里不再赘述。

图6示出了根据本申请一些实施例的电子设备的示意图。如图6所示，该电子设备包括一个或者多个处理器(CPU)602、通信模块604、存储器606、用户接口610，以及用于互联这些组件的通信总线608。

处理器602可通过通信模块604接收和发送数据以实现网络通信和/或本地通信。

用户接口610包括输出设备612和输入设备614。

存储器606可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。

存储器606存储处理器602可执行的指令集，包括：

操作系统616，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；

应用618，包括用于实现上述方案的各种程序。这种程序能够实现上述各实例中的处理流程，比如可以包括图像特征点的匹配方法300。

另外，本申请的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和\或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。

因此本申请还公开了一种非易失性存储介质，其中存储有程序。该程序包括指令，所述指令当由处理器执行时，使得电子设备执行根据本申请的图像特征点的匹配方法300。

另外，本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述确定对象之间关系信息的方法的硬件也可以构成本申请。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。