掌桥专利:专业的专利平台
掌桥专利
首页

目标匹配方法和装置、设备及存储介质

文献发布时间:2023-06-19 11:57:35


目标匹配方法和装置、设备及存储介质

技术领域

本申请涉及图像处理技术领域,特别是涉及一种目标匹配方法和装置、设备及存储介质。

背景技术

图像中的目标匹配是计算机视觉中的基础问题,目标匹配的准确度会影响着目标匹配之后的操作。常见的图像中目标匹配方式主要是将待匹配的两张图像中位置最近的两个特征点作为匹配点对。以人脸匹配为例,主要就是判断两张图像中人脸的偏移量,如果人脸在两张图像中竖直方向上的坐标一致,且水平方向上的差距最小,则认为是匹配的人脸。这种方式存在的问题是,在图像中存在多人脸的情况下,目标匹配过程中将两个图像中的位置相差最小作为匹配条件,即人脸在两个图像中的坐标之差最小,但两个图像中位置相差最小的两个人脸可能并不是应该匹配的人脸,这就比较容易出现错误匹配的问题。

发明内容

本申请至少提供一种目标匹配方法和装置、设备及存储介质。

本申请提供了一种目标匹配方法,包括:获取第一图像和第二图像,其中,第一图像和第二图像由不同的拍摄组件对待匹配目标拍摄得到;基于待匹配目标与至少一个拍摄组件之间的第一距离,得到待匹配目标在第一图像和第二图像之间的视差;根据视差,确定第一图像和第二图像中关于待匹配目标的匹配特征点对。

因此,通过待匹配目标与至少一个拍摄组件之间的第一距离,得到待匹配目标在第一图像和第二图像之间的视差,从而根据该视差确定待匹配目标的匹配特征点对,以实现第一图像和第二图像间的目标匹配,相比直接将两张图像中位置最近的特征点作为匹配点对的方式而言,本申请参考了目标与摄像组件之间的距离,获得较为准确的视差,进而利用该视差得到匹配点对,提高了不同图像间关于待匹配目标的匹配特征点对的准确度,即提高了不同图像间目标匹配的准确度。

其中,根据视差,确定第一图像和第二图像中关于待匹配目标的匹配特征点对,包括:基于视差,确定第二图像中与第一特征点对应的参考位置,其中,第一特征点为对第一图像进行目标特征点检测得到的;基于参考位置,在第二图像中选出与第一特征点匹配的第二特征点,其中,第二特征点为对第二图像进行目标特征点检测得到的。

因此,通过视差确定第二图像中与第一特征点对应的参考位置,从而根据该参考位置确定第二特征点,缩小了第二图像中与第一特征点进行匹配的区域,从而快速查找到匹配点对,提高匹配的准确度。

其中,根据视差,确定第一图像和第二图像中关于待匹配目标的匹配特征点对,还包括:确定第一特征点在第二图像中对应的对极线;基于参考位置,在第二图像中选出第一特征点匹配的第二特征点,包括:在第二图像中确定包含参考位置的候选区域,并在候选区域中,选择与对极线的位置关系满足预设要求的第二特征点,作为与第一特征点匹配的第二特征点。

因此,将视差与对极几何约束两个维度综合确定与第一特征点匹配的第二特征点,相比使用单个维度而言,提高了目标匹配的准确度。

其中,确定第一特征点在第二图像中对应的对极线,包括:利用第一特征点的坐标与基础矩阵,得到对极线;和/或,预设要求为在候选区域中第二特征点与对极线之间的距离最小。

因此,根据对极几何约束原理,与第一特征点对应的第二特征点应该在对极线上,但在目标匹配过程中难免出现误差,导致第二特征点没有处于对极线上,所以选择候选区域中与对极线之间的距离最小的特征点作为与第一特征点对应的第二特征点,能够提高目标匹配的成功率。

其中,第一图像或第二图像为参考图像,参考图像对应的拍摄组件为参考拍摄组件,第一距离为待匹配目标与参考拍摄组件之间的距离;方法还包括以下步骤,以得到第一距离:确定待匹配目标在参考图像中对应目标区域的第一尺寸;利用第一尺寸与预设尺寸之间的比值,得到第一距离。

因此,通过利用待匹配目标在参考图像中对应目标区域的第一尺寸与预设尺寸之间的比值确定第一距离,实现了利用单张图像即可确定待匹配目标与拍摄组件之间的距离的技术效果,打破了传统认知,即需要结合至少两张以上的图像才能够获取待匹配目标与拍摄之间的距离。

其中,第一尺寸包括目标区域的第一宽度和第一高度,预设尺寸包括预设宽度和预设高度;利用第一尺寸与预设尺寸之间的比值,得到第一距离,包括:获取第一宽度与预设宽度之间的第一比值,以及第一高度与预设高度之间的第二比值;基于第一比值得到待匹配目标与参考拍摄组件之间的第二距离,并基于第二比值得到待匹配目标与参考拍摄组件之间的第三距离;基于第二距离和第三距离,得到第一距离。

因此,通过将第二距离和第三距离进行加权求和,能够综合考虑宽度和高度方向上的结果,相比使用单个方向上求取得到的第二距离或第三距离作为第一距离而言,能够提高第一距离的准确度。

其中,基于第一比值得到待匹配目标与参考拍摄组件之间的第二距离,包括:将第一比值乘以参考拍摄组件在宽度方向上的第一焦距,得到第二距离;基于第二比值得到待匹配目标与参考拍摄组件之间的第三距离,包括:将第二比值乘以参考拍摄组件在高度方向上的第二焦距,得到第三距离;基于第二距离和第三距离,得到第一距离,包括:将第二距离和第三距离进行加权求和,得到第一距离。

因此,因为参考拍摄组件在宽度或高度方向上的分辨率可能不同,所以通过将第一比值与参考拍摄组件在宽度方向上的第一焦距相乘,以及将第二比值与参考拍摄组件在高度方向上的第一焦距相乘,得到的第二距离和第三距离更准确。

其中,确定待匹配目标在参考图像中对应目标区域的第一尺寸,包括:基于对参考图像进行目标特征点检测得到的第一特征点的坐标,得到第一尺寸;或者,基于对参考图像进行目标区域检测得到的区域的尺寸,得到第一尺寸。

因此,通过根据第一特征点坐标或根据对第一图像进行目标区域监测得到的区域的尺寸,得到目标区域的尺寸,过程简单,设备所需的计算力较低。

其中,第一距离为待匹配目标与参考拍摄组件之间的距离,参考拍摄组件为第一图像或第二图像的拍摄组件;基于待匹配目标与至少一个拍摄组件之间的第一距离,得到待匹配目标在第一图像和第二图像之间的视差,包括:基于第一距离、参考拍摄组件的焦距、以及第一图像和第二图像的拍摄组件之间的基线,得到视差。

因此,通过第一距离、参考拍摄组件的焦距、以及第一图像和第二图像的拍摄组件之间的基线,获取匹配点对之间的视差,整个过程简单,需要的计算力较低,从而达到节约执行设备的处理资源。

本申请提供了一种目标匹配装置,包括:图像获取模块,用于获取第一图像和第二图像,其中,第一图像和第二图像由不同的拍摄组件对待匹配目标拍摄得到;视差获取模块,用于基于待匹配目标与至少一个拍摄组件之间的第一距离,得到待匹配目标在第一图像和第二图像之间的视差;匹配模块,用于根据视差,确定第一图像和第二图像中关于待匹配目标的匹配特征点对。

本申请提供了一种电子设备,包括存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面中的目标匹配方法。

本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的目标匹配方法。

上述方案,通过待匹配目标与至少一个拍摄组件之间的第一距离,得到待匹配目标在第一图像和第二图像之间的视差,从而根据该视差确定待匹配目标的匹配特征点对,以实现第一图像和第二图像间的目标匹配,相比直接将两张图像中位置最近的特征点作为匹配点对的方式而言,本申请参考了目标与摄像组件之间的距离,获得较为准确的视差,进而利用该视差得到匹配点对,提高了不同图像间关于待匹配目标的匹配特征点对的准确度,即提高了不同图像间目标匹配的准确度。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。

图1是本申请目标匹配方法一实施例的流程示意图一;

图2是本申请目标匹配方法一实施例的流程示意图二;

图3是本申请目标匹配装置一实施例的结构示意图;

图4是本申请电子设备一实施例的结构示意图;

图5是本申请计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面结合说明书附图,对本申请实施例的方案进行详细说明。

以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。

本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

本申请提供一些目标匹配方法以及装置。该目标匹配为将第一图像和第二图像中属于同一目标的相应特征点进行匹配,即实现该目标的匹配进而查找出第一图像和第二图像中的同一目标。该目标可以为任意对象,例如为人脸、建筑物、车辆等。

请参阅图1,图1是本申请目标匹配方法一实施例的流程示意图一。

具体而言,目标匹配方法可以包括如下步骤:

步骤S11:获取第一图像和第二图像,其中,第一图像和第二图像由不同的拍摄组件对待匹配目标拍摄得到。

其中,拍摄第一图像和第二图像的拍摄组件之间可以任意摆放,只要第一图像和第二图像的成像平面平行即可,例如两个拍摄组件可以水平方向上并列放置,也可以是竖直方向上并列放置等。两个拍摄组件可以组成一个双目相机系统。本公开实施例以两个拍摄组件在水平方向上并列放置为例。其中,执行目标匹配的设备与拍摄组件可以是一体式设备,也可以是相互独立的设备,一体式指的是可以由同一处理器控制,相互独立指的是由不同的处理器控制工作。其中,第一图像和第二图像可以是未经图像处理过的图像,也可以是经过图像处理过的图像。图像处理的方式可以是调整亮度、分辨率等等。进一步地,第一图像和第二图像的模态可以相同也可以不同,例如,第一图像和第二图像可以同时为可见光图像或红外光图像,或其中一个为可见光图像,另一个为红外光图像,关于第一图像和第二图像的形式此处不做具体规定。

第一图像和第二图像中均包括至少一个目标,将其中一个目标作为待匹配目标,以将第一图像和第二图像中关于待匹配目标的特征点进行匹配,进而在第一图像和第二图像中查找该待匹配目标,实现目标匹配。本公开实施例以待匹配目标为人脸为例。

步骤S12:基于待匹配目标与至少一个拍摄组件之间的第一距离,得到待匹配目标在第一图像和第二图像之间的视差。

其中,待匹配目标与至少一个拍摄组件之间的第一距离可以是与其中一个拍摄组件的第一距离或与两个拍摄组件之间的第一距离。其中,与两个拍摄组件的第一距离具体可以是与两个拍摄组件的基线中点的距离。因为与拍摄组件之间的距离不同,导致拍摄得到的图像中关于待匹配目标的匹配特征点对之间的视差也不同。具体地,待匹配目标与拍摄组件之间的距离越远,则该视差越小,同理,待匹配目标与拍摄组件之间的距离越近,则该视差越大。因此,可以根据待匹配目标与拍摄组件之间的第一距离可以确定该视差的大小。

步骤S13:根据视差,确定第一图像和第二图像中关于待匹配目标的匹配特征点对。

其中,根据视差确定第一图像和第二图像中关于待匹配目标的匹配特征点对的方式可以是确定其中一张图像中的某个特征点,然后根据视差确定另一图像中该特征点对应的匹配点,从而得到待匹配目标的匹配特征点对。若待匹配目标为人脸,则第一图像和第二图像中关于待匹配目标的特征点,可以是经过对图像中包含人脸的区域进行特征检测得到。

上述方案,通过待匹配目标与至少一个拍摄组件之间的第一距离,得到待匹配目标在第一图像和第二图像之间的视差,从而根据该视差确定待匹配目标的匹配特征点对,以实现第一图像和第二图像间的目标匹配,相比直接将两张图像中位置最近的特征点作为匹配点对的方式而言,本申请参考了目标与摄像组件之间的距离,获得较为准确的视差,进而利用该视差得到匹配点对,提高了不同图像间关于待匹配目标的匹配特征点对的准确度,即提高了不同图像间目标匹配的准确度。

一些公开实施例中,第一图像或第二图像为参考图像,参考图像对应的拍摄组件为参考拍摄组件,第一距离为待匹配目标与参考拍摄组件之间的距离。其中,获取第一距离的方式可以是:

首先,确定待匹配目标在参考图像中对应目标区域的第一尺寸。可选地,第一尺寸包括目标区域的第一宽度和第一高度。目标区域可以是待匹配目标的特定部位在参考图像中对应的区域。例如,若待匹配目标为人脸,目标区域可以是眉毛、眼睛、鼻子以及嘴巴在参考图像中的对应区域。具体确定待匹配目标在参考图像中对应目标区域的第一尺寸的方式有多种,第一种是基于对参考图像进行目标特征点检测得到的第一特征点的坐标,得到第一尺寸。本公开实施例以参考图像为第一图像为例。例如,通过将第一图像和第二图像输入第一目标检测深度神经网络,得到第一图像中关于待检测目标的特征点坐标信息(X

其次,利用第一尺寸与预设尺寸之间的比值,得到第一距离。其中,预设尺寸包括预设宽度和预设高度。其中,第一尺寸与预设尺寸之间的比值可以是二者宽度之间的比值或二者高度之间的比值,或者进一步将宽度之间的比值与高度之间的比值进行结合。其中,获取第一距离的方式可以是利用第一尺寸进行透视变换得到。通过利用待匹配目标在参考图像中对应目标区域的第一尺寸与预设尺寸之间的比值确定第一距离,实现了利用单张图像即可确定待匹配目标与拍摄组件之间的距离的技术效果,打破了传统认知,即需要结合至少两张以上的图像才能够获取待匹配目标与拍摄之间的距离。

具体地,利用第一尺寸与预设尺寸之间的比值,得到第一距离的方式可以是,获取第一宽度与预设宽度之间的第一比值,以及第一高度与预设高度之间的第二比值。并基于第一比值得到待匹配目标与参考拍摄组件之间的第二距离,以及基于第二比值得到待匹配目标与参考拍摄组件之间的第三距离。其中,这里的预设尺寸是预设的与待匹配目标为同一属性的其他目标的真实尺寸。例如,待匹配目标为人脸时,与预设尺寸则为预设的其他人脸的真实尺寸。其中,第一尺寸和预设尺寸均与待匹配目标预设部位对应的尺寸。例如,预设尺寸对应的是眉毛、眼睛、鼻子以及嘴巴共同构成的一个区域的真实尺寸,则第一尺寸对应的也是参考图像中眉毛、眼睛、鼻子以及嘴巴共同构成的一个目标区域的尺寸。

其中,获得第二距离的方式可以是将第一比值乘以参考拍摄组件在宽度上的第一焦距,得到第二距离。具体地,获取第二距离D2的公式为D

最后,基于第二距离和第三距离,得到第一距离。具体地,将第二距离和第三距离进行加权求和,得到第一距离。其中,加权求和的公式可以是D

通过将第二距离和第三距离进行加权求和,能够综合考虑宽度和高度方向上的结果,相比使用单个方向上求取得到的第二距离或第三距离作为第一距离而言,能够提高第一距离的准确度。

进一步地,因为参考拍摄组件在宽度或高度方向上的分辨率可能不同,所以通过将第一比值与参考拍摄组件在宽度方向上的第一焦距相乘,以及将第二比值与参考拍摄组件在高度方向上的第一焦距相乘,得到的第二距离和第三距离更准确。

一些公开实施例中,第一距离为待匹配目标与参考拍摄组件之间的距离,参考拍摄为第一图像或第二图像的拍摄组件。其中,基于待匹配目标与拍摄组件之间得第一距离,得到待匹配目标在第一图像和第二图像之间的视差,包括:

基于第一距离、参考拍摄组件的焦距,以及第一图像和第二图像的拍摄组件之间的基线,得到视差。具体地,获取视差Δd的公式如下:Δd=f

其中,根据视差,确定第一图像和第二图像中关于待匹配目标的匹配特征点对的步骤包括:基于视差,确定第二图像中与第一特征点对应的参考位置。其中,第一特征点为第一图像进行目标特征点检测得到。假设第一特征点在第一图像中的坐标为(x

一些公开实施例中,根据视差,确定第一图像和第二图像中关于待匹配目标的匹配特征点对的步骤中还包括,确定第一特征点在第二图像中对应的对极线。其中,确定第一特征点在第二图像中对应的对极线的方式可以是利用第一特征点的坐标与基础矩阵,得到对极线。其中,基础矩阵是通过对两个拍摄组件进行标定得到。具体对两个摄像组件进行标定的过程在步骤S11之前。获取对极线l的公式可以是:l=(x

其中,基于参考位置,在第二图像中选出与第一特征点匹配的第二特征点的过程具体可以是在第二图像中确定包括参考位置的候选区域,并在候选区域中选择与对极线的位置关系满足预设要求的第二特征点。其中,候选区域可以是以参考位置为中心的预设候选尺寸的区域。预设候选尺寸的确定可根据经验设置,此处不做具体规定。通过将视差与对极几何约束两个维度综合确定与第一特征点匹配的第二特征点,相比使用单个维度而言,提高了目标匹配的准确度。并且,通过选择与对极线的位置关系满足预设要求的特征点作为与第一特征点匹配的第二特征点,相当于将特征匹配区域从二维降到一维,使得减小了两个拍摄组件之间的摆放位置对目标匹配的影响。并且通过视差和对极几何约束两个维度进行目标匹配,使得即便在第一图像和第二图像中存在多个人脸的情况下,也不易出现错误匹配。

预设要求可以是在候选区域中第二特征点与对极线之间的距离最小。也就是在候选区域中选择与对极线距离最小的特征点作为与第一特征点匹配的第二特征点。这里的距离可以是欧式距离。根据对极几何约束原理,与第一特征点对应的第二特征点应该在对极线上,但在目标匹配过程中难免出现误差,导致第二特征点没有处于对极线上,所以选择候选区域中与对极线之间的距离最小的特征点作为与第一特征点对应的第二特征点,能够提高目标匹配的成功率。

上述方案,即便是第一图像和第二图像中存在多个干扰目标的情况下,通过获取待匹配目标与拍摄组件之间的距离并获取视差,从而根据视差确定关于待匹配目标的特征点对,减小了将待匹配目标与其他干扰目标的特征点进行错误匹配的情况出现,从而提高了在干扰目标较多的情况下对待匹配目标的匹配特征点的提取结果的准确度。

为更好地理解本公开实施例提出的技术方案,请参见下例。

同时参见图2,图2是本申请目标匹配方法一实施例的流程示意图二。如图2所示,本公开实施例提出的目标匹配方法可细分为以下步骤:

步骤S11:获取第一图像和第二图像,其中,第一图像和第二图像由不同的拍摄组件对待匹配目标拍摄得到。

具体获取第一图像和第二图像的方式请参见上述,此处不再赘述。

步骤S121:获取待匹配目标与参考拍摄组件之间的第一距离。

其中,参考拍摄组件可以是第一图像对应的拍摄组件,也可以是第二图像对应的拍摄组件。具体获取待匹配目标与参考拍摄组件之间的第一距离的方式请参见上述,此处不再赘述。

步骤S122:基于第一距离,获取待匹配目标在第一图像和第二图像之间的视差。

其中,获取视差的方式参见上述,此处不再赘述。

步骤S131:基于视差,确定第二图像中与第一特征点对应的参考位置,其中,第一特征点为第一图像进行目标特征点检测得到。

其中,基于视差确定第二图像中与第一特征点对应的参考位置的方式如上述,此处不再赘述。

步骤S132:确定第一特征点在第二图像中对应的对极线。

具体地,确定第一特征点在第二图像中对应的对极线的方式如上述,此处不再赘述。本公开实施例所给出的示例中步骤S131和步骤S132为同步进行的步骤,当然,在其他实施例中,可以先执行其中一个,再执行另一个。关于步骤S131和步骤S132的执行顺序此处不做具体规定。

步骤S133:在第二图像中确定包含参考位置的候选区域,并在候选区域中,选择与对极线的位置关系满足预设要求的第二特征点,作为与第一特征点匹配的第二特征点。

其中,预设要求如上述,在候选区域中,选择与第一特征点匹配的第二特征点的过程如上述,此处不再赘述。

上述方案,通过将视差与对极几何约束两个维度综合确定与第一特征点匹配的第二特征点,相比使用单个维度而言,提高了目标匹配的准确度。并且,通过选择与对极线的位置关系满足预设要求的特征点作为与第一特征点匹配的第二特征点,相当于将特征匹配区域从二维降到一维,使得减小了两个拍摄组件之间的摆放位置对目标匹配的影响。并且通过视差和对极几何约束两个维度进行目标匹配,使得即便在第一图像和第二图像中存在多个人脸的情况下,也不易出现错误匹配。

通过本公开实施例提出的方案获取到关于待匹配目标的匹配特征点对之后,能够对提取到的关于待匹配目标的匹配特征点对进行进一步地利用,例如利用匹配特征点对进行深度获取、活体检测、体温测量等操作。例如,在多人测温场景中,需要定位双目相机系统中不同相机拍摄到的相同人脸,然后根据人脸坐标获取该人脸在热像仪中的位置,最后进行温度提取。因此,多人场景中的人脸匹配是多人快速体温测量的前置任务,不通过本公开实施例提供的方案,能够得出高精度、高鲁棒性的人脸匹配结果,辅助多人场景下的体温测量。

上述方案,通过待匹配目标与至少一个拍摄组件之间的第一距离,得到待匹配目标在第一图像和第二图像之间的视差,从而根据该视差确定待匹配目标的匹配特征点对,以实现第一图像和第二图像间的目标匹配,相比直接将两张图像中位置最近的特征点作为匹配点对的方式而言,本申请参考了目标与摄像组件之间的距离,获得较为准确的视差,进而利用该视差得到匹配点对,提高了不同图像间关于待匹配目标的匹配特征点对的准确度,即提高了不同图像间目标匹配的准确度。

本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

目标匹配方法的执行主体可以是目标匹配装置,例如,目标匹配方法可以由终端设备或服务器或其它处理设备执行,其中,终端设备可以为具有视觉定位、三维重建、图像配准等需求的用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备以及自动驾驶汽车,有定位及建图需求的机器人,有配准需求的医疗成像系统,用于增强现实或虚拟现实的眼镜、头盔等产品等。在一些可能的实现方式中,该目标匹配方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

请参阅图3,图3是本申请目标匹配装置一实施例的结构示意图。目标匹配装置30包括图像获取模块31、视差获取模块32、匹配模块33。图像获取模块31,用于获取第一图像和第二图像,其中,第一图像和第二图像由不同的拍摄组件对待匹配目标拍摄得到;视差获取模块32,用于基于待匹配目标与至少一个拍摄组件之间的第一距离,得到待匹配目标在第一图像和第二图像之间的视差;匹配模块33,用于根据视差,确定第一图像和第二图像中关于待匹配目标的匹配特征点对。

上述方案,通过待匹配目标与至少一个拍摄组件之间的第一距离,得到待匹配目标在第一图像和第二图像之间的视差,从而根据该视差确定待匹配目标的匹配特征点对,以实现第一图像和第二图像间的目标匹配,相比直接将两张图像中位置最近的特征点作为匹配点对的方式而言,本申请参考了目标与摄像组件之间的距离,获得较为准确的视差,进而利用该视差得到匹配点对,提高了不同图像间关于待匹配目标的匹配特征点对的准确度,即提高了不同图像间目标匹配的准确度。

一些公开实施例中,匹配模块33根据视差,确定第一图像和第二图像中关于待匹配目标的匹配特征点对,包括:基于视差,确定第二图像中与第一特征点对应的参考位置,其中,第一特征点为对第一图像进行目标特征点检测得到的;基于参考位置,在第二图像中选出与第一特征点匹配的第二特征点,其中,第二特征点为对第二图像进行目标特征点检测得到的。

上述方案,通过视差确定第二图像中与第一特征点对应的参考位置,从而根据该参考位置确定第二特征点,缩小了第二图像中与第一特征点进行匹配的区域,从而快速查找到匹配点对,提高匹配的准确度。

一些公开实施例中,匹配模块33根据视差,确定第一图像和第二图像中关于待匹配目标的匹配特征点对,还包括:确定第一特征点在第二图像中对应的对极线;基于参考位置,在第二图像中选出第一特征点匹配的第二特征点,包括:在第二图像中确定包含参考位置的候选区域,并在候选区域中,选择与对极线的位置关系满足预设要求的第二特征点,作为与第一特征点匹配的第二特征点。

上述方案,将视差与对极几何约束两个维度综合确定与第一特征点匹配的第二特征点,相比使用单个维度而言,提高了目标匹配的准确度。

一些公开实施例中,匹配模块33确定第一特征点在第二图像中对应的对极线,包括:利用第一特征点的坐标与基础矩阵,得到对极线;和/或,预设要求为在候选区域中第二特征点与对极线之间的距离最小。

上述方案,根据对极几何约束原理,与第一特征点对应的第二特征点应该在对极线上,但在目标匹配过程中难免出现误差,导致第二特征点没有处于对极线上,所以选择候选区域中与对极线之间的距离最小的特征点作为与第一特征点对应的第二特征点,能够提高目标匹配的成功率。

一些公开实施例中,第一图像或第二图像为参考图像,参考图像对应的拍摄组件为参考拍摄组件,第一距离为待匹配目标与参考拍摄组件之间的距离;视差获取模块32还用于执行以下步骤,以得到第一距离:确定待匹配目标在参考图像中对应目标区域的第一尺寸;利用第一尺寸与预设尺寸之间的比值,得到第一距离。

上述方案,通过利用待匹配目标在参考图像中对应目标区域的第一尺寸与预设尺寸之间的比值确定第一距离,实现了利用单张图像即可确定待匹配目标与拍摄组件之间的距离的技术效果,打破了传统认知,即需要结合至少两张以上的图像才能够获取待匹配目标与拍摄之间的距离。

一些公开实施例中,第一尺寸包括目标区域的第一宽度和第一高度,预设尺寸包括预设宽度和预设高度;视差获取模块32利用第一尺寸与预设尺寸之间的比值,得到第一距离,包括:获取第一宽度与预设宽度之间的第一比值,以及第一高度与预设高度之间的第二比值;基于第一比值得到待匹配目标与参考拍摄组件在之间的第二距离,并基于第二比值得到待匹配目标与参考拍摄组件在之间的第三距离;基于第二距离和第三距离,得到第一距离。

上述方案,通过将第二距离和第三距离进行加权求和,能够综合考虑宽度和高度方向上的结果,相比使用单个方向上求取得到的第二距离或第三距离作为第一距离而言,能够提高第一距离的准确度。

一些公开实施例中,视差获取模块32基于第一比值得到待匹配目标与参考拍摄组件在之间的第二距离,包括:将第一比值乘以参考拍摄组件在宽度方向上的第一焦距,得到第二距离;基于第二比值得到待匹配目标与参考拍摄组件之间的第三距离,包括:将第二比值乘以参考拍摄组件在高度方向上的第二焦距,得到第三距离;基于第二距离和第三距离,得到第一距离,包括:将第二距离和第三距离进行加权求和,得到第一距离。

上述方案,因为参考拍摄组件在宽度或高度方向上的分辨率可能不同,所以通过将第一比值与参考拍摄组件在宽度方向上的第一焦距相乘,以及将第二比值与参考拍摄组件在高度方向上的第一焦距相乘,得到的第二距离和第三距离更准确。

一些公开实施例中,视差获取模块32确定待匹配目标在参考图像中对应目标区域的第一尺寸,包括:基于对参考图像进行目标特征点检测得到的第一特征点的坐标,得到第一尺寸;或者,基于对参考图像进行目标区域检测得到的区域的尺寸,得到第一尺寸。

上述方案,通过根据第一特征点坐标或根据对第一图像进行目标区域监测得到的区域的尺寸,得到目标区域的尺寸,过程简单,设备所需的计算力较低。

一些公开实施例中,第一距离为待匹配目标与参考拍摄组件之间的距离,参考拍摄组件为第一图像或第二图像的拍摄组件;视差获取模块32基于待匹配目标与至少一个拍摄组件之间的第一距离,得到待匹配目标在第一图像和第二图像之间的视差,包括:基于第一距离、参考拍摄组件的焦距、以及第一图像和第二图像的拍摄组件之间的基线,得到视差。

上述方案,通过第一距离、参考拍摄组件的焦距、以及第一图像和第二图像的拍摄组件之间的基线,获取匹配点对之间的视差,整个过程简单,需要的计算力较低,从而达到节约执行设备的处理资源。

上述方案,通过待匹配目标与至少一个拍摄组件之间的第一距离,得到待匹配目标在第一图像和第二图像之间的视差,从而根据该视差确定待匹配目标的匹配特征点对,以实现第一图像和第二图像间的目标匹配,相比直接将两张图像中位置最近的特征点作为匹配点对的方式而言,本申请参考了目标与摄像组件之间的距离,获得较为准确的视差,进而利用该视差得到匹配点对,提高了不同图像间关于待匹配目标的匹配特征点对的准确度,即提高了不同图像间目标匹配的准确度。

请参阅图4,图4是本申请电子设备一实施例的结构示意图。电子设备40包括存储器41和处理器42,处理器42用于执行存储器41中存储的程序指令,以实现上述目标匹配方法实施例中的步骤。在一个具体的实施场景中,电子设备40可以包括但不限于:微型计算机、服务器,此外,电子设备40还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。

具体而言,处理器42用于控制其自身以及存储器41以实现上述目标匹配方法实施例中的步骤。处理器42还可以称为CPU(Central Processing Unit,中央处理单元)。处理器42可能是一种集成电路芯片,具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器42可以由集成电路芯片共同实现。

上述方案,通过待匹配目标与至少一个拍摄组件之间的第一距离,得到待匹配目标在第一图像和第二图像之间的视差,从而根据该视差确定待匹配目标的匹配特征点对,以实现第一图像和第二图像间的目标匹配,相比直接将两张图像中位置最近的特征点作为匹配点对的方式而言,本申请参考了目标与摄像组件之间的距离,获得较为准确的视差,进而利用该视差得到匹配点对,提高了不同图像间关于待匹配目标的匹配特征点对的准确度,即提高了不同图像间目标匹配的准确度。

请参阅图5,图5为本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质50存储有能够被处理器运行的程序指令501,程序指令501用于实现上述目标匹配方法实施例中的步骤。

上述方案,通过待匹配目标与至少一个拍摄组件之间的第一距离,得到待匹配目标在第一图像和第二图像之间的视差,从而根据该视差确定待匹配目标的匹配特征点对,以实现第一图像和第二图像间的目标匹配,相比直接将两张图像中位置最近的特征点作为匹配点对的方式而言,本申请参考了目标与摄像组件之间的距离,获得较为准确的视差,进而利用该视差得到匹配点对,提高了不同图像间关于待匹配目标的匹配特征点对的准确度,即提高了不同图像间目标匹配的准确度。

在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

相关技术
  • 目标匹配方法、装置、设备及存储介质
  • 目标匹配方法和装置、设备及存储介质
技术分类

06120113115818