掌桥专利:专业的专利平台
掌桥专利
首页

一种人脸检索方法及装置

文献发布时间:2023-06-19 09:57:26


一种人脸检索方法及装置

技术领域

本申请涉及人工智能和计算机视觉领域,特别涉及一种人脸检索方法及装置。

背景技术

随着科技的发展,人脸检索是一项融合了计算机图像处理知识以及生物统计学知识的新兴生物识别技术。目前人脸检索被广泛应用于身份识别、身份验证等相关场景(例如安防监控和门禁闸机等)。

在人脸检索技术中,通常是给定一张待检索的人脸图像,人脸检索系统将其与指定人脸库中的多个人脸图像进行比对,找出最相似的一张人脸图像或多张人脸图像。人脸检索系统并不直接计算待检索的人脸图像与人脸库中的人脸图像之间的相似度,而是将所有图像都表示成特征,并利用这些特征来计算与彼此的相似度,进而找出最相似的一张人脸图像或多张人脸图像。通常,不同特征提取模型能够提取出不同的人脸特征,但是来自不同特征提取模型的人脸特征是不能够直接进行比对的,为了使得来自不同特征提取模型的人脸特征能够直接比对,需要将所有特征提取模型提取出的人脸特征映射至同一个特征空间,并在该特征空间内进行特征比对,此时,选取怎样的特征空间来进行特征映射成为了一个问题,并且由于不同的人脸特征最终均映射至同一特征空间,如何发挥多特征提取模型的综合作用也是一个问题。

发明内容

本申请提供了一种人脸检索方法及装置,以利用多个特征提取模型的综合作用,选取适当的特征空间,提高人脸检索的准确率。

第一方面,本申请提供一种人脸检索方法,该方法可以应用于如身份识别、身份验证等相关场景中。上述人脸检索方法可以包括:获取待检索的人脸图像,待检索的人脸图像可以是摄像头拍摄的图像或者用户手动上传的图像;通过第一特征提取模型对人脸图像进行特征提取,得到第一人脸特征;将人脸图像和第一人脸特征输入第一特征映射模型,得到输出的第一人脸特征对应的标准特征,第一特征映射模型是根据人脸样本图像对应的目标特征训练得到的;所述第一特征提取模型的特征输出维数和所述第一特征映射模型的特征输入维数相同;根据标准特征,对人脸图像进行人脸检索。

在本申请中,人脸图像中的第一人脸特征可以分为结构化特征和非结构化特征,其中,结构化特征可以包括用于表征人脸属性的特征,人脸属性可以指人脸图像的一些具体的物理含义,例如年龄、性别和/或角度等,是通过结构化特征提取模型从人脸图像中提取出的;而非结构化特征可以包括用于表示人脸特征的向量,该人脸特征可以指人脸图像中没有具体物理含义的特征,由一串数字组成,又可以被称为特征向量,是通过非结构化特征提取模型从人脸图像中提取出的,特征向量之间的相似度可以用来代表待检索的人脸图像与人脸模板图像之间的相似度。

在本申请中,通过将人脸特征和人脸图像共同作为特征映射模型的输入,在仅使用人脸特征难以获取适当的标准特征时,通过人脸图像提供的额外信息获取更适当的标准特征,提高人脸检索的准确率。

在本申请中,通过将多个特征提取模型所提取的特征进行拼接,并将拼接后的特征作为标准特征的构建依据,使得人脸检索系统能够利用多个特征提取模型的综合作用,选取适当的特征空间,提高人脸检索的准确率。进一步地,由于每幅人脸图像只需经过一个特征提取模型和一个特征映射模型来获得标准特征,使得系统的计算量并不会随着模型的数目成倍增加,减少系统计算量。进一步地,由于特征映射模型与特征提取模型是一一对应的,特征映射模型数目与特征提取模型的数目一致,使得人脸检索系统无需训练数量巨大的特征映射模型,减少系统计算量。

基于第一方面,在一些可能的实施方式中,人脸样本图像对应的目标特征是由多个人脸样本特征拼接得到的,人脸样本特征是由多个第二特征提取模型对人脸样本图像进行特征提取得到的;多个第二特征提取模型包括第一特征提取模型;多个第二特征提取模型至少具有不同的训练样本、模型结构、训练策略或特征维数不同。

在本申请中,多个第二特征提取模型可以是本厂家的第二特征提取模型也可以是来自其他不同厂家的第二特征提取模型;多个第二特征提取模型可以包括第一特征提取模型,即第二特征提取模型在包括第一特征提取模型的基础上,还可能有其他特征提取模型;多个第二特征提取模型之间的训练样本、模型结构、训练策略或特征维数不同。

基于第一方面,在一些可能的实施方式中,上述方法还包括:获取人脸样本图像;将人脸样本图像输入第一特征提取模型,得到输出的第一人脸样本特征;根据人脸样本图像、第一人脸样本特征以及人脸样本图像对应的目标特征,对第二特征映射模型进行训练,得到第一特征映射模型,第二特征映射模型与第一特征提取模型对应。

在本申请中,第二特征映射模型可以是本厂家通过样本训练得到的特征映射模型;也可以是本厂家和其他厂家协作训练得到特征映射模型,具体而言,第二特征映射模型的输入为人脸图像和第一人脸特征,第二特征映射模型的输出为标准特征,训练的优化目的为标准特征尽可能地拟合目标特征,而目标特征由多个人脸样本特征拼接得到的,多个人脸样本特征是由来自本厂家的第一特征提取模型和来自本厂家或其他不同厂家的多个第二特征提取模型对人脸样本图像进行特征提取得到的,目标特征由本厂家和其他厂家各自提取的多个人脸样本特征拼接而成,在对第二特征映射模型进行训练时,需要使得第二特征映射模型的输出尽可能地拟合目标特征,第二特征映射模型训练好后即为第一特征映射模型;根据标准特征,对人脸图像进行人脸检索。

基于第一方面,在一些可能的实施方式中,在根据人脸样本图像、第一人脸样本特征以及人脸样本图像对应的目标特征,对第二特征映射模型进行训练,得到满足目标函数的第一特征映射模型之前,上述方法还包括:获取人脸样本图像;将人脸样本图像输入N个第二特征提取模型,得到输出的N个第二人脸样本特征,N为大于或者等于2的正整数;将N个第二人脸样本特征与N个预设系数一一对应相乘;将相乘后的N个第二人脸样本特征进行拼接,得到拼接后的人脸样本特征;根据拼接后的人脸样本特征,获取人脸样本图像对应的目标特征,其中,所述目标特征的维数小于或等于所述N个第二特征提取模型的维数之和。

基于第一方面,在一些可能的实施方式中,上述方法还包括:获取人脸样本图像,人脸样本图像具有身份信息;将人脸样本图像输入N个第二特征提取模型,得到输出的N个第二人脸样本特征;根据N个第二人脸样本特征和身份信息,对人脸样本图像进行人脸识别,得到N个预设系数。

基于第一方面,在一些可能的实施方式中,上述方法还包括:为N个第二特征提取模型配置N个预设系数,N个预设系数相等;或,根据预设评判准则,为N个第二特征提取模型配置N个预设系数。

基于第一方面,在一些可能的实施方式中,上述方法还包括:在预设的系数范围内,获取N个第二特征提取模型对应系数组合;将N个第二人脸样本特征与系数组合对应相乘;将相乘后的N个第二人脸样本特征进行拼接,得到拼接后的人脸样本特征;根据拼接后的人脸样本特征,对人脸样本图像进行人脸检索,得到系数组合中满足预设条件的预设系数。

基于第一方面,在一些可能的实施方式中,根据拼接后的人脸样本特征,获取人脸样本图像对应的目标特征,包括:对拼接后的人脸样本特征进行降维;将降维后的人脸样本特征确定为人脸样本图像对应的目标特征。

基于第一方面,在一些可能的实施方式中,第二特征映射模型包括独有模块和共享模块;

相应地,根据人脸样本图像、第一人脸样本特征以及人脸样本图像对应的目标特征,对第二特征映射模型进行训练,得到第一特征映射模型,包括:将人脸样本图像和多个第一人脸样本特征输入独有模块,得到输出后的第三人脸样本特征,多个第一人脸样本特征是由人脸样本图像通过不同的多个第一特征提取模型提取得到的;将第三人脸样本特征输入共享模块,得到多个第一人脸样本特征对应的标准特征;根据人脸样本图像、多个第一人脸样本特征、多个第一人脸样本特征对应的标准特征以及人脸样本图像对应的目标特征,对独有模块和共享模块进行训练,得到第一特征映射模型。

基于第一方面,在一些可能的实施方式中,第二特征映射模型包括图像分支模块、特征分支模块和综合模块;

相应地,根据人脸样本图像、第一人脸样本特征以及人脸样本图像对应的目标特征,对第二特征映射模型进行训练,得到第一特征映射模型,包括:将人脸样本图像输入图像分支模块,得到输出后的第四人脸样本特征;将第一人脸样本特征输入特征分支模块,得到输出后的第五人脸样本特征,第一人脸样本特征是由人脸样本图像通过第一特征提取模型提取得到的;将第四人脸样本特征和第五人脸样本特征共同输入综合模块,得到第一人脸样本特征对应的标准特征;根据人脸样本图像、第一人脸样本特征、第一人脸样本特征对应的标准特征以及人脸样本图像对应的目标特征,对图像分支模块、特征分支模块和综合模块进行训练,得到第一特征映射模型。

基于第一方面,在一些可能的实施方式中,根据所述标准特征,对人脸图像进行人脸检索,包括:确定标准特征与第一人脸样本图像的标准特征的相似度,第一人脸样板图像是多个人脸样本图像中的任一人脸样本图像;当相似度大于第一阈值时,所述第一人脸样本图像为人脸图像检索的目标。

第二方面,本申请提供一种人脸检索装置,包括:接口模块,用于获取待检索的人脸图像,待检索的人脸图像可以是摄像头拍摄的图像或者用户手动上传的图像;特征提取模块,用于通过第一特征提取模型对人脸图像进行特征提取,得到第一人脸特征;特征映射模块,用于将人脸图像和第一人脸特征输入第一特征映射模型,得到输出的第一人脸特征对应的标准特征,所述第一特征提取模型的特征输出维数和所述第一特征映射模型的特征输入维数相同,第一特征映射模型是根据人脸样本图像对应的目标特征训练得到的;人脸检索模块,用于根据标准特征,对人脸图像进行人脸检索。

基于第二方面,在一些可能的实施方式中,人脸样本图像对应的目标特征是由多个人脸样本特征拼接得到的,人脸样本特征是由多个第二特征提取模型对人脸样本图像进行特征提取得到的。

基于第二方面,在一些可能的实施方式中,上述装置还包括:映射模型训练模块,用于获取人脸样本图像;将人脸样本图像输入第一特征提取模型,得到输出的第一人脸样本特征;根据人脸样本图像、第一人脸样本特征以及人脸样本图像对应的目标特征,对第二特征映射模型进行训练,得到第一特征映射模型,第二特征映射模型与第一特征提取模型一一对应。基于第二方面,在一些可能的实施方式中,上述装置还包括:目标特征获取模块,用于映射模型训练模块得到满足目标函数的第一特征映射模型之前,获取人脸样本图像;将人脸样本图像输入N个第二特征提取模型,得到输出的N个第二人脸样本特征,N为大于或者等于2的正整数;将N个第二人脸样本特征与N个预设系数一一对应相乘;将相乘后的N个第二人脸样本特征进行拼接,得到拼接后的人脸样本特征;根据拼接后的人脸样本特征,获取人脸样本图像对应的目标特征,其中,所述目标特征的维数小于或等于所述N个第二特征提取模型的维数之和。

基于第二方面,在一些可能的实施方式中,目标特征获取模块,还用于获取人脸样本图像,人脸样本图像具有身份信息;将人脸样本图像输入N个第二特征提取模型,得到输出的N个第二人脸样本特征;根据N个第二人脸样本特征和身份信息,对人脸样本图像进行人脸识别,得到N个预设系数。

基于第二方面,在一些可能的实施方式中,目标特征获取模块,具体用于为N个第二特征提取模型配置N个预设系数,N个预设系数相等;或,根据预设评判准则,为N个第二特征提取模型配置N个预设系数。

基于第二方面,在一些可能的实施方式中,目标特征获取模块,具体用于在预设的系数范围内,获取N个第二特征提取模型对应系数组合;将N个第二人脸样本特征与系数组合对应相乘;将相乘后的N个第二人脸样本特征进行拼接,得到拼接后的人脸样本特征;根据拼接后的人脸样本特征,对人脸样本图像进行人脸检索,得到系数组合中满足预设条件的预设系数。

基于第二方面,在一些可能的实施方式中,目标特征获取模块,还用于对拼接后的人脸样本特征进行降维;将降维后的人脸样本特征确定为人脸样本图像对应的目标特征。

基于第二方面,在一些可能的实施方式中,第二特征映射模型包括独有模块和共享模块;

相应地,映射模型训练模块,还用于将人脸样本图像和多个第一人脸样本特征输入独有模块,得到输出后的第三人脸样本特征,多个第一人脸样本特征是由人脸样本图像通过不同的多个第一特征提取模型提取得到的;将第三人脸样本特征输入共享模块,得到多个第一人脸样本特征对应的标准特征;根据人脸样本图像、多个第一人脸样本特征、多个第一人脸样本特征对应的标准特征以及人脸样本图像对应的目标特征,对独有模块和共享模块进行训练,得到第一特征映射模型。

基于第二方面,在一些可能的实施方式中,第二特征映射模型包括图像分支模块、特征分支模块和综合模块;

相应地,映射模型训练模块,还用于将人脸样本图像输入图像分支模块,得到输出后的第四人脸样本特征;将第一人脸样本特征输入特征分支模块,得到输出后的第五人脸样本特征,第一人脸样本特征是由人脸样本图像通过第一特征提取模型提取得到的;将第四人脸样本特征和第五人脸样本特征共同输入综合模块,得到第一人脸样本特征对应的标准特征;根据人脸样本图像、第一人脸样本特征、第一人脸样本特征对应的标准特征以及人脸样本图像对应的目标特征,对图像分支模块、特征分支模块和综合模块进行训练,得到第一特征映射模型。

基于第二方面,在一些可能的实施方式中,人脸检索模块具体用于:确定标准特征与第一人脸样本图像的标准特征的相似度,第一人脸样板图像是多个人脸样本图像中的任一人脸样本图像;当相似度大于第一阈值时,第一人脸样本图像为所述人脸图像检索的目标。

上述第二方面中提到的接口模块可以为接收接口、接收电路或者接收器等;特征提取模块、特征映射模块、人脸检索模块、映射模型训练模块以及目标特征获取模块可以为一个或者多个处理器。

第三方面,本申请提供一种人脸检索设备,可以包括:处理器和通信接口,处理器可以用于支持人脸检索设备实现上述第一方面或者第一方面的任一种可能的实施方式中所涉及的功能,例如:处理器可以通过通信接口获取待检索的人脸图像。

基于第三方面,在一些可能的实施方式中,人脸检索设备还可以包括存储器,存储器,用于保存人脸检索设备必要的计算机执行指令和数据。当该人脸检索设备运行时,该处理器执行该存储器存储的该计算机执行指令,以使该人脸检索设备执行如上述第一方面或者第一方面的任一种可能的实施方式所述的人脸检索方法。

第四方面,本申请提供一种计算机可读存储介质,计算机可读存储介质存储有指令,当指令在计算机上运行时,用于执行上述第一方面中任一的人脸检索方法。

第五方面,本申请提供一种计算机程序或计算机程序产品,当计算机程序或计算机程序产品在计算机上被执行时,使得计算机实现上述第一方面中任一的人脸检索方法。

应当理解的是,本申请的第二至五方面与本申请的第一方面的技术方案一致,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1为一种人脸检索方法的流程示意图;

图2为另一种人脸检索方法的流程示意图;

图3为又一种人脸检索方法的流程示意图;

图4为本申请实施例中的人脸特征的示意图;

图5为本申请实施例中的人脸检索方法的流程示意图;

图6为本申请实施例中的训练第一特征映射模型的方法流程示意图;

图7为本申请实施例中的训练特征映射模型的方法流程示意图;

图8为本申请实施例中的获取人脸样本图像对应的目标特征的方法流程示意图;

图9为本申请实施例中的训练独有模块和共享模块的方法流程示意图;

图10为本申请实施例中的第一特征映射模型进行特征映射的方法流程示意图;

图11为本申请实施例中的训练图像分支模块、特征分支模块和综合模块的方法流程示意图;

图12为本申请实施例中的人脸检索装置的结构示意图;

图13为本申请实施例中的人脸检索设备的结构示意图。

具体实施方式

下面结合本申请实施例中的附图对本申请实施例进行描述。以下描述中,参考形成本申请一部分并以说明之方式示出本申请实施例的具体方面或可使用本申请实施例的具体方面的附图。应理解,本申请实施例可在其它方面中使用,并可包括附图中未描绘的结构或逻辑变化。例如,应理解,结合所描述方法的揭示内容可以同样适用于用于执行所述方法的对应设备或系统,且反之亦然。例如,如果描述一个或多个具体方法步骤,则对应的设备可以包含如功能单元等一个或多个单元,来执行所描述的一个或多个方法步骤(例如,一个单元执行一个或多个步骤,或多个单元,其中每个都执行多个步骤中的一个或多个),即使附图中未明确描述或说明这种一个或多个单元。另一方面,例如,如果基于如功能单元等一个或多个单元描述具体装置,则对应的方法可以包含一个步骤来执行一个或多个单元的功能性(例如,一个步骤执行一个或多个单元的功能性,或多个步骤,其中每个执行多个单元中一个或多个单元的功能性),即使附图中未明确描述或说明这种一个或多个步骤。进一步,应理解的是,除非另外明确提出,本文中所描述的各示例性实施例和/或方面的特征可以相互组合。

本申请实施例提供一种人脸检索方法,该方法可以广泛的应用于身份识别、身份验证等相关场景中。人脸检索系统并不直接计算待检索的人脸图像与人脸库中的人脸图像之间的相似度,而是将所有图像都表示成特征,并利用这些特征来计算与彼此的相似度,进而找出最相似的一张人脸图像或多张人脸图像。通常,人脸检索系统中存在多个特征提取模型,所有人脸图像需要利用所有特征提取模型来提取特征,并将同一人脸图像所提取出的特征进行拼接或者利用降维方法压缩维度,以得到最终的输出特征。图1为一种人脸检索方法的流程示意图,参见图1所示,在人脸检索系统中存在不同的特征提取模型A、B和C,将人脸图像1和人脸图像2分别输入这三个特征提取模型,以得到人脸图像1的特征A1、B1和C1以及人脸图像2的特征A2、B2和C2,然后,人脸检索系统将同一人脸图像的三个特征进行拼接,得到最终的输出特征,即人脸图像1特征和人脸图像2特征,最后,人脸检索系统将人脸图像1特征和人脸图像2特征进行比对,由此,完成人脸检索。但是,由于每幅人脸图像都需要经过所有的特征提取模型,这使得系统的计算量随着特征提取模型的数目成倍增加。可选的,特征提取模型A、B和C可以为不同特征维度下的特征提取模型,也可以为同一特征维度下的多个功能相同的特征提取模型。

在本申请实施例中,还提供了一种人脸检索方法,在该方法中,采用了特征映射模型,人脸检索系统将一个特征提取模型提取出的特征(即源域特征)映射至另一个特征提取模型对应的特征空间(即目标域特征空间),并在该特征空间内进行特征比对,由此,实现特征之间的互搜,进而完成人脸检索。例如,图2为另一种人脸检索方法的流程示意图,参见图2所示,人脸图像1经特征提取模型A得到特征A(即人脸图像1特征),人脸图像2经特征提取模型B得到特征B,人脸图像2经特征提取模型C得到特征C,特征B和特征C分别经特征映射模型映射至模型A对应的特征空间得到人脸图像2特征1和人脸图像2特征2,并在模型A对应的特征空间内与人脸图像1特征(即特征A)进行比对,特征A分别与人脸图像2特征1和人脸图像2特征2组成两组特征对,每组特征对在模型A对应的特征空间中进行比对,由此,实现特征之间的互搜,进而完成人脸检索。在本申请实施例中,由于所有特征均映射至特征提取模型A对应的特征空间,所以,特征A不用进行映射,可以直接作为人脸图像1特征与人脸图像2特征进行比对。为了实现特征之间的比对,每一对特征之间都需要训练一个特征映射模型,当特征提取模型数目为n(n≥2)时,特征映射模型的数目

可见,人脸检索系统中需要训练数量巨大的特征映射模型。进一步地,由于特征映射模型只将源域特征作为输入,在源域特征表达能力不佳的情况下,不能保证特征映射的效果。

进一步地,在本申请实施例中,又提供了一种人脸检索方法,在该方法中,由于不同特征提取模型能够提取出不同的人脸特征,但是不同的人脸特征是不能够直接进行比对的,为了使得不同的人脸特征能够直接比对,人脸检索系统需要将所有提取出的人脸特征映射至同一个特征空间,并在该特征空间内进行特征比对,由此,实现特征之间的互搜,进而完成人脸检索。例如,图3为本申请实施例中的人脸检索方法的又一种流程示意图,参见图3所示,人脸检索系统将人脸图像1输入特征提取模型A得到特征A,人脸检索系统将人脸图像2输入特征提取模型B得到特征B,人脸检索系统将人脸图像3输入特征提取模型C得到特征C,然后,人脸检索系统再将特征B和特征C映射至同一特征空间(假设为特征提取模型A对应的特征空间)得到人脸图像2特征和人脸图像3特征,在本申请实施例中,由于所有特征均映射至特征提取模型A对应的特征空间,所以,特征A不用进行映射,可以直接作为人脸图像1特征与人脸图像2特征和人脸图像3特征进行比对,在特征提取模型A对应的特征空间内,人脸图像2特征和人脸图像3特征也可以直接比对,由此,实现特征之间的互搜,进而完成人脸检索。但是,对于特征提取模型A、B和C来说,在不同的场景下特征提取模型的表现能力是不一样的,在单个特征提取模型在各个场景下所呈现出的优势并不突出的情况下,究竟选择哪个模型对应的特征空间作为最终映射的特征空间是一个问题;进一步地,由于所有特征最终映射至单个特征提取模型对应的特征空间,如此,并没有发挥多个特征提取模型的综合作用。

为了解决上述问题,本申请实施例提供一种人脸检索方法,该人脸检索方法可以应用于上述人脸检索系统中,在本申请实施例中,人脸检索系统可以设置于如安防监控、门禁闸机等设备上。

需要说明的是,在本申请实施例中,图4为本申请实施例中的人脸特征的示意图,参见图4所示,人脸图像中的人脸特征可以分为结构化特征和非结构化特征,其中,结构化特征可以包括用于表征人脸属性的特征,人脸属性可以指人脸图像的一些具体的物理含义,例如年龄、性别、角度等,是通过结构化特征提取模型从人脸图像中提取出的;而非结构化特征可以包括用于表示人脸特征的向量,这些人脸特征可以指人脸图像中没有具体物理含义的特征,由一串数字组成,又可以被称为特征向量,是通过非结构化特征提取模型从人脸图像中提取出的,特征向量之间的相似度可以用来代表待检索的人脸图像与人脸模板图像之间的相似度。

上述结构化特征提取模型和非结构化特征提取模型均为机器学习模型(例如卷积神经网络(convolutional neural networks,CNN)。CNN本质上是一种输入到输出的映射,它能够学习大量的输入与输出之间的映射关系,而不需要任何输入和输出之间的精确的数学表达式,在收集好训练样本后,对CNN加以训练,CNN就具有输入输出对之间的映射能力。当然,结构化特征提取模型和非结构化特征提取模型还可以为其他的机器学习模型,本申请实施例不做具体限定。

在一些可能的实施方式中,在下述实施例中所述的“特征”可以为非结构化特征,也可以为结构化特征与非结构化特征进行拼接后的拼接特征,“特征提取模型”可以为非结构化特征提取模型,也可以为由结构化特征提取模型和非结构化特征提取模型组成的模型组合,对此,本申请实施例不做具体限定。

图5为本申请实施例中的人脸检索方法的流程示意图,参见图5所示,该方法可以包括:

S501:获取待检索的人脸图像;

在本申请实施例中,人脸检索系统获取的人脸图像可以是检索系统直接捕获的图像,如人脸检索系统的摄像头拍摄的图像;也可以是用户手动输入人脸检索系统的图像,如用户需要检索目标人物,直接将目标人物图像输入人脸检索系统;还可以是在人脸检索系统图库中的某一人物图像。

在本申请实施例中,人脸检索系统接收输入的待检索的人脸图像。可选的,人脸检索系统还可以接收输入的底库图像(也就是人脸模板图像)。人脸模板图像可以用于与人脸图像进行比对,实现人脸图特征互搜,完成对人脸图像的人脸检索。

S502:将人脸图像输入第一特征提取模型,得到第一人脸特征;

在本申请实施例中,人脸检索设备可以使用大量的人脸样本图像对第一特征提取模型进行训练,使得人脸检索设备将人脸图像输入到第一特征提取模型后能够得到人脸图像的第一人脸特征。可选的,第一特征提取模型可以为非结构化特征提取模型,也可以为结构化特征提取模型和非结构化特征提取模型组成的模型组合。

S503:将人脸图像和第一人脸特征输入第一特征映射模型进行特征映射,得到输出的第一人脸特征对应的标准特征;

在本申请实施例中,人脸检索设备可以预先使用人脸样本图像为第一特征提取模型训练一个第一特征映射模型,第一特征提取模型的特征输出维数和第一特征映射模型的特征输入维数相同,然后,人脸检索设备可以将待检索的人脸图像和其对应的第一人脸特征输入第一特征映射模型进行特征映射,得到输出的标准特征。

需要说明的是,第一特征映射模型是根据人脸样本图像及人脸样本图像对应的目标特征训练得到的。可选的,人脸样本图像对应的目标特征是由多个人脸样本特征拼接得到的,人脸样本特征是由多个第二特征提取模型对人脸样本图像进行特征提取得到的。多个第二特征提取模型包括第一特征提取模型;多个第二特征提取模型至少具有不同的训练样本、模型结构、训练策略或特征维数不同。

作为一种可能的实施方式,第一特征提取模型与第二特征提取模型可以为相同的特征提取模型,也可以为不同的特征提取模型。第二特征提取模型可以是本厂家的第二特征提取模型也可以是来自其他不同厂家的第二特征提取模型;第二特征提取模型可以包括第一特征提取模型,即第二特征提取模型在包括第一特征提取模型的基础上,还可能有其他特征提取模型。不同厂家的第二特征提取模型之间的训练样本、模型结构、训练策略或特征维数也可以不同。例如,厂家A的第二特征提取模型的特征维数为256,厂家B的第二特征提取模型的特征维数为512。

S504:根据标准特征,对人脸图像进行人脸检索。

在本申请实施例中,人脸检索设备通过S503得到待检索的人脸图像的标准特征之后,可以直接将该标准特征与多个人脸模板图像的标准特征进行直接比对,找到最为相似的特征,进而获得一张或者多张人脸模板图像,实现特征互搜,完成人脸检索。

需要说明的是,上述多个人脸模板图像可以与待检索的人脸图像一同输入人脸检索设备,依次执行S501至S503,完成人脸特征的提取,进而与待检索的人脸图像的标准特征进行比对;或者,人脸模板图像预先输入人脸检索设备,完成人脸特征的提取,获得各个人脸模板图像对应的标准特征,然后将人脸模板图像对应的标准特征进行存储,以供后续获取待检索的人脸图像的标准特征后,读取各个人脸模板图像对应的标准特征并进行比对,进而完成人脸检索。当然,待检索的人脸图像与人脸模板图像还可以以其他方式进行特征提取和特征比对,只要能够完成人脸检索即可,本申请实施例不做具体限定。

下面对上述S504中,根据标准特征,对人脸图像进行人脸检索过程进行说明。

人脸识别装置再根据标准特征对人脸图像进行检索时,需要对比标准特征与多个人脸样本图像的标准特征,该多个人脸样本图像的标准特征可以是本厂家提供的也可以是其他厂家提供的。将当前与标准特征进行对比的人脸样本图像的标准特征定为第一人脸样本图像的标准特征,确定标准特征与第一人脸样本图像的标准特征的相似度,当该相似度大于第一阈值时,第一人脸样本图像为人脸图像检索的目标。

该方法可以实现同厂家不同模型之间的特征互搜,以及不同厂家之间的特征互搜。

下面对上述S503中第一特征映射模型的训练过程进行说明。

图6为本申请实施例中的训练第一特征映射模型的方法流程示意图,参见图6所示,该方法可以包括:

S601:获取人脸样本图像;

在本申请实施例中,人脸检索设备获取输入的人脸样本图像,该人脸样本图像可以为大量的人脸样本图像中一幅图像或者多幅图像。

S602:将人脸样本图像输入第一特征提取模型,得到输出的第一人脸样本特征;

在本申请实施例中,人脸检索设备将人脸样本图像输入第一特征提取模型,得到人脸样本图像的第一人脸样本特征。其中,第一人脸样本特征可以为人脸样本图像的非结构化特征,也可以为由人脸样本图像的结构化特征和非结构化特征拼接后形成的拼接特征。

S603:根据人脸样本图像、第一人脸样本特征以及人脸样本图像对应的目标特征,对第二特征映射模型进行训练,得到第一特征映射模型。

其中,第二特征映射模型与第一特征提取模型对应。

在本申请实施例中,人脸检索设备可以将人脸样本图像输入多个不同的特征提取模型,得到输出的多个人脸样本特征,进而将各个人脸样本特征与对应的预设系数相乘,并将相乘后的人脸样本特征进行拼接,最后,根据拼接后的人脸样本特征得到人脸样本图像对应的目标特征,也可以称为目标标准特征。接下来,人脸检索设备将人脸样本图像及其对应的第一人脸样本特征输入第二特征映射模型得到输出的标准样本特征,通过调整第二特征映射模型的参数,使得标准样本特征与目标特征之间的相似度最大化,此时,优化的目标函数可以为标准样本特征与目标特征之间的余弦相似度尽可能地大,当目标函数收敛时,第二特征映射模型就训练好了,训练好的第二特征模型即为第一特征映射模型。

在本申请实施例中,第二特征映射模型可以是本厂家通过样本训练得到的特征映射模型;也可以是本厂家和其他厂家协作训练得到特征映射模型,具体而言,仅由本厂家或者本厂家与其他厂家的人脸检索设备将人脸样本图像输入多个不同的特征提取模型,得到输出的多个人脸样本特征,进而将各个人脸样本特征与对应的预设系数相乘,并将相乘后的人脸样本特征进行拼接,最后,根据拼接后的人脸样本特征得到人脸样本图像对应的目标特征。接下来,本厂家人脸检索设备将人脸样本图像及其对应的第一人脸样本特征输入第二特征映射模型得到输出的标准样本特征,通过调整第二特征映射模型的参数,使得标准样本特征与目标特征之间的相似度最大化(目标特征是仅由本厂家或者本厂家与其他厂家协作得到的),此时,优化的目标函数可以为标准样本特征与目标特征之间的余弦相似度尽可能地大,当目标函数收敛时,第二特征映射模型就训练好了,训练好的第二特征模型即为第一特征映射模型。

本发明方案可用于同一厂商的不同版本的模型之间的特征互搜。例如,厂商A已经部署了一套人脸检索系统,目前需要将旧特征提取模型升级为新特征提取模型,则可以通过以下操作完成新旧模型之间的特征互搜:训练与新、旧特征提取模型配套的新、旧特征映射模型;将底库图像和旧特征提取模型提取好的特征共同输入旧特征映射模型,获得底库图像的标准特征;将待检索的图像输入新特征提取模型提取特征,将新特征提取模型提取的特征与待检索的图像共同输入新特征映射模型,获得待检索图像的标准特征;将待检索图像的标准特征与底库图像的标准特征进行检索比对,底库中相似度越高的图像排在越前列。

本发明方案还可用于同一厂商的运行在不同设备上的模型之间的特征互搜。例如,厂商A运行在中心服务器的模型为大特征提取模型(模型结构更为复杂),运行在摄像头上的模型为小特征提取模型(模型结构更为轻巧),则可以通过以下操作完成大小模型之间的特征互搜:训练与大、小特征提取模型配套的大、小特征映射模型;存储在中心服务器的图像利用大特征提取模型提取特征,将该特征和图像共同输入大特征映射模型,获得中心服务器图像的标准特征;存储在摄像头上的图像利用小特征提取模型提取特征,将该特征和图像共同输入小特征映射模型,获得摄像头图像的标准特征;将中心服务器图像的标准特征与摄像头图像的标准特征进行比对计算相似度,并用于检索排序。

本发明方案还可用于不同厂商的模型之间的特征互搜。例如,厂商A的模型为特征提取模型A,厂商B的模型为特征提取模型B,则可以通过以下操作完成A、B模型之间的特征互搜:训练与特征提取模型A、B配套的特征映射模型A、B;分配给厂商A的图像利用特征提取模型A提取特征,将该特征和图像共同输入特征映射模型A,获得厂商A图像的标准特征;分配给厂商B的图像利用特征提取模型B提取特征,将该特征和图像共同输入特征映射模型B,获得厂商B图像的标准特征;将厂商A图像的标准特征与厂商B图像的标准特征进行比对,获得它们的相似度,并用于检索排序。

需要说明的是,上述多个特征提取模型可以为非结构化特征提取模型,也可以为结构化特征提取模型和非结构化特征提取模型组成的模型组合,本申请实施例不做具体限定。

举例来说,图7为本申请实施例中的训练特征映射模型的方法流程示意图,参见图7所示,在训练阶段,人脸检索设备先获取人脸样本图像对应的目标特征A,并且将人脸样本图像输入特征提取模型,由特征提取模型得到人脸样本特征,然后,人脸检索设备再将人脸样本图像和人脸样本特征输入特征提取模型对应的特征映射模型,得到输出的标准样本特征B,然后,人脸检索设备计算目标特征A和标准样本特征B之间的相似度,并根据优化目标函数,即特征A和B之间的余弦相似度尽可能地大,来调整特征映射模型中的各个参数,直至目标函数收敛,如此便完成对特征映射模型的训练。

在一些可能的实施方式中,两个特征的余弦相似度可以通过公式(2)计算:

其中,上述A

当然,可选的,除了目标函数可以为余弦相似度之外,其他可以衡量特征之间相似度的函数(如欧几里得相似度、欧几里德距离等)都可以作为目标函数,本申请实施例不做具体限定。

在一些可能的实施方式中,人脸检索设备可以通过以下方法获取人脸样本图像对应的目标特征。首先,人脸检索设备获取人脸样本图像;可选的,人脸检索设备获取输入的人脸样本图像,该人脸样本图像可以为大量的人脸样本图像中一幅图像或者多幅图像;然后,人脸检索设备将人脸样本图像输入N个第二特征提取模型,得到输出的N个第二人脸样本特征;其中,N为大于或者等于2的正整数;可选的,人脸检索设备将人脸样本图像输入到N个不同的第二特征提取模型,这些第二特征提取模型可以为非结构化特征提取模型,也可以为结构化特征提取模型和非结构化特征提取模型组成的模型组合,本申请实施例不做具体限定。通过N个第二特征提取模型,人脸检索设备可以获得输出的N个第二人脸样本特征,一个第二特征提取模型输出一个第二人脸样本特征。接下来,人脸检索设备将N个第二人脸样本特征与N个预设系数一一对应地按位相乘;如此,对于本身能力有强弱的第二特征提取模型来说,为不同特征提取模型提取出的特征赋予不同的系数,可以有效发挥各特征提取模型与其能力匹配的作用;人脸检索设备将相乘后的N个第二人脸样本特征进行拼接,得到拼接后的人脸样本特征;人脸检索设备根据拼接后的人脸样本特征,获取人脸样本图像对应的目标特征,目标特征的维数小于或等于所述N个第二特征提取模型的维数之和。可见,在计算目标特征的过程中,将多个特征提取模型对应的特征进行拼接,并将拼接后的特征作为目标特征的构建依据,能够最大化可利用信息。

在一些可选的实施方式中,在准备好一批数据后,人脸检索设备可以利用如主成分分析(principal component analysis,PCA)算法、线性判别分析(linear discriminantanalysis,LDA)算法、自编码器(autoencoder,AE)等获得降维矩阵,然后,对任一拼接后的人脸样本特征,都可通过与降维矩阵相乘获得降维后的人脸样本特征,并将降维后的人脸样本特征确定为人脸样本图像对应的目标特征。在本申请实施例中,对拼接特征进行降维,一方面可以减少特征比对时间,从而提升检索效率,另一方面可以去除冗余信息,提升标准特征的鲁棒性。

需要说明的是,AE是一种利用反向传播算法使得输出值等于输入值的神经网络,包含编码器和解码器两部分,对本申请实施例而言,编码器先将输入的拼接特征压缩成潜在空间表征,潜在空间表征的维度低于输入拼接特征,然后解码器通过潜在空间表征来重构输出(维度与输入拼接特征相同),输出应与输入的拼接特征尽可能的近。为了达到这个目的,可以将目标函数设置为输入拼接特征和编码器输出目标特征的余弦相似度。在确定好目标函数的形式后,输入不同人脸样本特征,可以计算目标函数关于编码器和解码器中的参数的梯度,基于梯度可以对编码器和解码器中的参数进行调整,直至更新后训练后目标函数的变化小于设定值(即目标函数已收敛),如此编码器和解码器的参数都确定下来。此时,编码器利用训练获得的参数即可对输入的拼接特征完成降维的功能。

举例来说,图8为本申请实施例中的获取人脸样本图像对应的目标特征的方法流程示意图,参见图8所示,人脸检索设备中存在A、B和C三个第二特征提取模型,各个特征提取模型对应的预设系数分别为:w

在本申请实施例中,上述预设系数可以且不限于通过以下方式获得。

第一种方式,预设系数可以作为可学习的参数,通过训练人脸识别模型来确定预设系数。具体来说,首先,人脸检索设备可以获取人脸样本图像,此时,人脸样本图像具有对应的身份信息;然后,人脸检索设备将人脸样本图像输入N个第二特征提取模型,得到输出的N个第二人脸样本特征;接下来,人脸检索设备根据N个第二人脸样本特征和身份信息,对人脸样本图像进行人脸识别,得到N个预设系数。可选的,在获得预设系数的过程中,可以使用人脸识别模型,其输入数据可以为各个第二特征提取模型所提取的第二人脸样本特征以及对应的身份信息;优化的目标函数可以为同一身份信息的人脸样本特征尽可能的近,不同身份信息的人脸样本特征尽可能的远。在确定好目标函数的形式后,人脸检索设备将N个第二人脸样本特征和对应的身份信息输入人脸识别模型,计算目标函数关于人脸识别模型中的参数以及各个需要确定的预设系数的梯度,基于该梯度可以对人脸识别模型的参数以及需要确定的预设系数进行调整,直至更新后的目标函数的变化小于设定值(即目标函数收敛),将此时需要确定的预设系数的数值作为最终值,如此,便得到了上述预设系数。

在一些可能的实施方式中,获得预设系数时的目标函数可以为如公式(3)所示的三元组损失函数:

其中,M为训练样本的个数,

在本申请实施例中,通过最小化目标函数即可达到同一身份的特征尽可能近、不同身份的特征尽可能远的目的。需要注意的是,本申请实施例对目标函数的形式没有限制,可以用于训练单人脸识别模型的目标函数均可用于本申请实施例所述的技术方案。

第二种方式,预设系数可以为第二特征提取模型预先配置的,此时,为N个第二特征提取模型配置N个数值相等的预设系数。

第三种方式,预设系数可以为根据预设评判准则为N个第二特征提取模型配置N个预设系数。例如,以检索准确率作为评判准则,假设人脸检索设备中存在A、B和C三个第二特征提取模型,这些第二特征提取模型的检索准确率分别为0.98、0.95和0.9,人脸检索设备可以将第二特征提取模型A、B和C的预设系数确定为0.98、0.95和0.9;再如,以具有同一身份信息的人脸样本图像之间的相似度作为评判标准,假设特征提取模型针对一批身份信息,每个身份信息对应多张不同的人脸样本图像,对每个身份信息而言,人脸检索设备计算两两人脸样本图像利用第二特征提取模型提取出的特征之间的平均相似度S

第四种方式,预设系数可以为基于超参数搜索得到的,用于超参数搜索的方法都可用于系数搜索。具体来说,人脸检索设备可以在预设的系数范围内,获取N个第二特征提取模型对应系数组合,然后,将N个第二人脸样本特征与系数组合对应相乘,再将相乘后的N个第二人脸样本特征进行拼接,得到拼接后的人脸样本特征;最后,人脸检索设备根据拼接后的人脸样本特征,对人脸样本图像进行人脸检索,得到系数组合中满足预设条件的预设系数。例如,在网格搜索中,假设人脸检索设备中存在A、B和C三个第二特征提取模型,它们的系数范围均为0到1,将A、B和C的在系数范围内均分成10份,即A、B和C的系数有0、0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9和1,共11个系数,所以,A、B和C共有11×11×11=1331个系数组合,利用这1331个系数组合对N个人脸样本体征特征进行拼接,并采用拼接后的人脸样本特征进行人脸检索,将检索准确率最高的一组超参数(即A、B和C的系数组合)确定为最终的预设系数。

当然,上述几种方式仅为确定预设系数的举例,人脸检索设备还可以通过其他方式确定预设系数,本申请实施例不做具体限定。

在一些可能的实施方式中,人脸检索设备还可以对多个人脸样本特征的映射进行联合训练,上述第二特征映射模型包括独有模块和共享模块;假设,一个神经网络模型包含7层,其中前面4层可以为独有模块,后面3层可以为共享模块,共享模块和独有模块其实都是神经网络层,它们的不同点是,独有模块的参数可以更加灵活地变化,适应各个第二人脸样本特征本身的特点,而共享模块的参数需要处理多个独有模块的输入,综合利用所有第二人脸样本特征,其参数在训练过程中会有更强的限制。由此可以看出,独有模块可学习特征本身的特点,共享模块可学习各模型特征共有的属性。

相应地,上述S603可以包括:将人脸样本图像和多个第一人脸样本特征输入独有模块进行特征映射,得到输出的第三人脸样本特征,多个第一人脸样本特征是由人脸样本图像通过不同的多个第一特征提取模型提取得到的;将第三人脸样本特征输入共享模块,得到多个第一人脸样本特征对应的标准特征;根据人脸样本图像、多个第一人脸样本特征、多个第一人脸样本特征对应的标准特征以及人脸样本图像对应的目标特征,对独有模块和共享模块进行训练,得到第一特征映射模型。

举例来说,人脸样本图像输入多个第一特征提取模型,得到输出的多个第一人脸样本特征,人脸检索设备将各个第一人脸样本特征和人脸样本图像同时作为输入,优化的目标为拟合该人脸样本图像对应的目标特征。图9为本申请实施例中的训练独有模块和共享模块的方法流程示意图,参见图9所示,人脸检索设备中存在A、B两个第一特征提取模型,人脸样本图像经过A、B两个第一特征提取模型获得第一人脸样本特征A、B后,再经由第二特征映射模型A的独有模块A和第二映射模型B的独有模块B得到输出的第三人脸样本特征,同时将原始的人脸样本图像作为第二特征映射模型A和B的独有模块的输入,最后再经由映射模型A和B的共享模块分别获得输出的标准特征F

进一步地,在联合训练好各个第一特征映射模型后,图10为本申请实施例中的第一特征映射模型进行特征映射的方法流程示意图,参见图10所示,每一第一特征映射模型均可以单独使用,用于将不同人脸特征映射至标准特征,并用于人脸检索。

在一些可能的实施方式中,上述第二特征映射模型包括图像分支模块、特征分支模块和综合模块,其中,图像分支模块可以为卷积神经网络,特征分支模块和综合模块可以为全连接神经网络,全连接神经网络和卷积神经网络的作用类似,不同点在于网络中神经元的连接方式不同。

相应地,上述S603可以包括:将人脸样本图像输入图像分支模块,得到输出的第四人脸样本特征;将第一人脸样本特征输入特征分支模块,得到输出的第五人脸样本特征,第一人脸样本特征是由人脸样本图像通过第一特征提取模型提取得到的;将第四和第五人脸样本特征共同输入综合模块,得到第一人脸样本特征对应的标准特征;根据人脸样本图像、第一人脸样本特征、第一人脸样本特征对应的标准特征以及人脸样本图像对应的目标特征,对图像分支模块、特征分支模块和综合模块进行训练,得到第一特征映射模型。

举例来说,人脸样本图像输入第一特征提取模型,得到输出的第一人脸样本特征,人脸检索设备将人脸样本图像和第一人脸样本特征同时作为第一特征映射模型的输入,优化的目标为拟合该人脸样本图像对应的目标特征。图11为本申请实施例中的训练图像分支模块、特征分支模块和综合模块的方法流程示意图,参见图11所示,人脸样本图像经过第一特征提取模型获得第一人脸样本特征,第一人脸样本特征经过特征分支模块得到输出后的第五人脸样本特征,人脸样本图像经过图像分支模块得到输出后的第四人脸样本特征,第四人脸样本特征和第五人脸样本特征共同输入综合模块,获得输出的标准特征,而训练优化目标为与人脸样本图像的目标特征尽可能的近。当目标函数收敛时,第二特征映射模型就训练好了,训练好的第二特征模型即为第一特征映射模型。进一步地,在训练好各个第一特征映射模型后,每一第一特征映射模型均可以用于将对应的第一特征提取模型获得的人脸特征映射至标准特征,并用于人脸检索。

应理解,在该实施方式中,在训练第二特征映射模型时所用到的目标特征可以是仅由本厂家得到的,也可以是本厂家与其他厂家协作得到的。

由上述可知,在本申请实施例中,通过将人脸特征和人脸图像共同作为特征映射模型的输入,在仅使用人脸特征难以获取适当的标准特征时,通过人脸图像提供的额外信息获取更适当的标准特征,提高人脸检索的准确率。另外,通过将多个特征提取模型所提取的特征进行拼接,并将拼接后的特征作为标准特征的构建依据,使得人脸检索设备能够利用多个特征提取模型的综合作用,选取适当的特征空间,提高人脸检索的准确率。进一步地,由于每幅人脸图像只需经过一个特征提取模型和一个特征映射模型来获得标准特征,使得系统的计算量并不会随着模型的数目成倍增加,减少系统计算量。进一步地,由于特征映射模型与特征提取模型是一一对应的,特征映射模型数目与特征提取模型的数目一致,使得人脸检索设备无需训练数量巨大的特征映射模型,减少系统计算量。

基于与上述方法相同的发明构思,本申请实施例提供一种人脸检索装置,该人脸检索装置可以为上述实施例所述人脸检索设备中的人脸检索装置或者人脸检索装置中的芯片或者片上系统,还可以为人脸检索设备中用于实现上述各实施例所述的方法的功能模块。该人脸检索装置可以实现上述各实施例中人脸检索设备所执行的功能,所述功能可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个上述功能相应的模块。举例来说,一种可能的实施方式中,图12为本申请实施例中的人脸检索装置的结构示意图,参见图12所示,该人脸检索装置1200包括:接口模块1201,用于获取待检索的人脸图像;特征提取模块1202,用于将人脸图像输入第一特征提取模型,得到人脸特征;特征映射模块1203,用于将人脸图像和人脸特征输入第一特征映射模型,得到输出的人脸特征对应的标准特征,第一特征提取模型的特征输出维数和第一特征映射模型的特征输入维数相同,第一特征映射模型是根据人脸图像对应的目标特征训练得到的;人脸检索模块1204,用于根据标准特征,对人脸图像进行人脸检索。

在一些可能的实施方式中,上述装置还包括:映射模型训练模块,用于获取人脸样本图像;将人脸样本图像输入第一特征提取模型,得到输出的第一人脸样本特征;根据人脸样本图像、第一人脸样本特征以及人脸样本图像对应的目标特征,对第二特征映射模型进行训练,得到第一特征映射模型,第二特征映射模型与第一特征提取模型一一对应。

在一些可能的实施方式中,上述装置还包括:目标特征获取模块,用于映射模型训练模块得到满足目标函数的第一特征映射模型之前,获取人脸样本图像;将人脸样本图像输入N个第二特征提取模型,得到输出的N个第二人脸样本特征,N为大于或者等于2的正整数;将N个第二人脸样本特征与N个预设系数一一对应相乘;将相乘后的N个第二人脸样本特征进行拼接,得到拼接后的人脸样本特征;根据拼接后的人脸样本特征,获取人脸样本图像对应的目标特征。

在一些可能的实施方式中,目标特征获取模块,还用于获取人脸样本图像,人脸样本图像具有身份信息;将人脸样本图像输入N个第二特征提取模型,得到输出的N个第二人脸样本特征;根据N个第二人脸样本特征和身份信息,对人脸样本图像进行人脸识别,得到N个预设系数。

在一些可能的实施方式中,目标特征获取模块,具体用于为N个第二特征提取模型配置N个预设系数,N个预设系数相等;或,根据预设评判准则,为N个第二特征提取模型配置N个预设系数。

在一些可能的实施方式中,目标特征获取模块,具体用于在预设的系数范围内,获取N个第二特征提取模型对应系数组合;将N个第二人脸样本特征与系数组合对应相乘;将相乘后的N个第二人脸样本特征进行拼接,得到拼接后的人脸样本特征;根据拼接后的人脸样本特征,对人脸样本图像进行人脸检索,得到系数组合中满足预设条件的预设系数。

在一些可能的实施方式中,目标特征获取模块,还用于对拼接后的人脸样本特征进行降维;将降维后的人脸样本特征确定为人脸样本图像对应的目标特征。

在一些可能的实施方式中,第二特征映射模型包括独有模块和共享模块;

相应地,映射模型训练模块,还用于将人脸样本图像和多个第一人脸样本特征输入独有模块,得到输出后的第三人脸样本特征,多个第一人脸样本特征是由人脸样本图像通过不同的多个第一特征提取模型提取得到的;将第三人脸样本特征输入共享模块,得到多个第一人脸样本特征对应的标准特征;根据人脸样本图像、多个第一人脸样本特征、多个第一人脸样本特征对应的标准特征以及人脸样本图像对应的目标特征,对独有模块和共享模块进行训练,得到第一特征映射模型。

还需要说明的是,接口模块1201、特征提取模块1202、特征映射模块1203、人脸检索模块1204、映射模型训练模块以及目标特征获取模块的具体实现过程可参考图4至图11实施例的详细描述,为了说明书的简洁,这里不再赘述。在本申请实施例中,接口模块1201可以用于执行上述实施例中的S501,特征提取模块1202可以用于执行上述实施例中的S502,特征映射模块1203可以用于执行上述实施例中的S503,人脸检索模1203可以用于执行上述实施例中的S504。

本申请实施例中提到的接口模块可以为接收接口、接收电路或者接收器等;特征提取模块、特征映射模块、人脸检索模块、映射模型训练模块以及目标特征获取模块可以为一个或者多个处理器。

基于与上述方法相同的发明构思,本申请实施例提供一种人脸检索设备,图13为本申请实施例中的人脸检索设备的结构示意图,参见图13中实线所示,人脸检索设备1300可以包括:处理器1301和通信接口1302,处理器1301可以用于支持人脸检索设备1300实现上述各个实施例中所涉及的功能,例如:处理器1301可以通过通信接口1302获取待检索的人脸图像。

在一些可能的实施方式中,参见图13中虚线所示,人脸检索设备1300还可以包括存储器1303,存储器1303,用于保存人脸检索设备1300必要的计算机执行指令和数据。当该人脸检索设备1300运行时,该处理器1301执行该存储器1303存储的该计算机执行指令,以使该人脸检索设备1300执行如上述各个实施例中所述的人脸检索方法。

基于与上述方法相同的发明构思,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有指令,当指令在计算机上运行时,用于执行上述各个实施例所述的人脸检索方法。

基于与上述方法相同的发明构思,本申请实施例提供一种计算机程序或计算机程序产品,当计算机程序或计算机程序产品在计算机上被执行时,使得计算机实现上述各个实施例所述的人脸检索方法。

本领域技术人员能够领会,结合本文公开描述的各种说明性逻辑框、模块和算法步骤所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施,各种说明性逻辑框、模块、和步骤描述的功能可作为一或多个指令或代码在计算机可读媒体上存储或传输,且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体,其对应于有形媒体,例如数据存储媒体,或包括任何促进将计算机程序从一处传送到另一处的媒体(例如,根据通信协议)的通信媒体。以此方式,计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)通信媒体,例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本申请中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

作为实例而非限制,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。并且,任何连接被恰当地称作计算机可读媒体。举例来说,如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令,同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。但是,应理解,所述计算机可读存储媒体和数据存储媒体并不包括连接、载波、信号或其它暂时媒体,而是实际上针对于非暂时性有形存储媒体。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。

可通过例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此,如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外,在一些方面中,本文中所描述的各种说明性逻辑框、模块、和步骤所描述的功能可以提供于经配置以用于编码和解码的专用硬件和/或软件模块内,或者并入在组合编解码器中。而且,所述技术可完全实施于一或多个电路或逻辑元件中。

本申请的技术可在各种各样的装置或设备中实施,包含无线手持机、集成电路(IC)或一组IC(例如,芯片组)。本申请中描述各种组件、模块或单元是为了强调用于执行所揭示的技术的装置的功能方面,但未必需要由不同硬件单元实现。实际上,如上文所描述,各种单元可结合合适的软件和/或固件组合在编码解码器硬件单元中,或者通过互操作硬件单元(包含如上文所描述的一或多个处理器)来提供。

在上述实施例中,对各个实施例的描述各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

以上所述,仅为本申请示例性的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

相关技术
  • 人脸检索方法及人脸检索装置
  • 一种面向大规模人脸数据库的快速高效人脸检索方法
技术分类

06120112367835