掌桥专利:专业的专利平台
掌桥专利
首页

一种训练性别识别模型的方法及相关装置

文献发布时间:2023-06-19 10:43:23


一种训练性别识别模型的方法及相关装置

技术领域

本发明实施例涉及目标识别技术领域,尤其涉及一种训练性别识别模型的方法及相关装置。

背景技术

性别是人类生物特征的重要属性之一,是人脸识别的重要组成部分,众多应用可结合性别分类提供更加智能的人机交互,如实时监控系统、应用智能界面、智能广告推荐等。因此,对性别识别的研究具有广泛的应用前景。

目前,对于性别识别,最普遍的方法是直接将检测到的人脸图像送入到训练好的深度神经网络模型中,进行人脸性别估计。深度神经网络模型的精度受训练样本的影响,其中,模型需要利用大量样本的训练样本进行训练学习才能获得较高的精度,而对于某类训练样本较难获取而导致训练样本数量较少的人群,如老人,由于老人相对不爱拍照,难以获取到老人在各种情况(如各种面部姿态)下的图像,对于这一类人群,模型的识别效果较差。

发明内容

本发明实施例主要解决的技术问题是提供一种训练性别识别模型的方法及相关装置,训练出的性别识别模型具有较高的准确率。

为解决上述技术问题,第一方面,本发明其中一实施例提供了一种训练性别识别模型的方法,包括:

获取包括人脸的初始图像样本集,以及由预设图像生成模型生成的多个第二图像,其中,所述初始图像样本集中的图像为采集到的真实图像;

从所述初始图像样本集中随机选择多个第一图像,将所述多个第一图像以及所述多个第二图像作为学习图像集,输入预设判别模型进行学习,以输出所述学习图像集中各图像的评分,所述评分用于反映图像为所述真实图像的程度;

根据预设差异函数,计算所述多个第一图像的评分与所述多个第二图像的评分之间的第一差异;

根据所述第一差异,调整所述预设图像判别模型的参数,返回执行所述从所述初始图像样本集中随机选择多个第一图像,将所述多个第一图像以及所述多个第二图像作为学习图像集,输入预设判别模型进行学习,以输出所述学习图像集中各图像的评分的步骤,直至所述预设图像判别模型收敛,获取目标图像判别模型;

调整所述预设图像生成模型的参数,通过调整参数后的预设图像生成模型生成多个第三图像,并通过所述目标图像判别模型计算所述多个第三图像的评分,根据所述预设差异函数计算所述多个第三图像的评分与所述多个第一图像的评分之间的第二差异,并基于所述第二差异调整所述预设图像生成模型的参数,返回执行所述通过调整参数后的预设图像生成模型生成多个第三图像的步骤,直至所述预设图像生成模型收敛,获取目标图像生成模型;

采用所述目标图像生成模型生成第四图像,将所述第四图像添加至所述初始图像样本集中,以获取目标图像样本集;

从所述目标图像样本集中的每个图像中,分别截取头部区域图像,所述头部区域图像标注有真实标签;

将所述各头部区域图像作为训练集,对预设卷积神经网络进行训练,以获取性别识别模型。

在一些实施例中,所述预设卷积神经网络包括N个特征提取模块和检测模块,其中,所述N个特征提取模块中的第i特征提取模块用于对所述N个特征提取模块中第(i-1)特征提取模块输出的第(i-1)特征图进行特征提取,得到第i特征图,1≤i≤N,N为大于或等于2的正整数,当i=1时,第(i-1)特征图为所述训练集中的图像;

所述将所述各头部区域图像作为训练集,对预设卷积神经网络进行训练,以获取性别识别模型,包括:

对所述第(i-1)特征图进行特征提取,以得到第i待处理特征图;

对所述第i待处理特征图进行特征丢弃处理,以得到第i特征缺失图;

将所述第i特征缺失图与第(i-r)特征缺失图进行融合,以得到所述第i特征图,其中,r为预设跳跃层数,1<r<i-1;

将第N特征图输入所述检测模块进行检测,以获取所述训练集的预测标签;

根据预设损失函数,计算所述预测标签与所述真实标签之间的误差;

根据所述误差,反向调整所述预设卷积神经网络的模型参数,返回执行将第N特征特征图输入所述检测模块进行检测,以获取所述训练集的预测标签的步骤,直至所述预设卷积神经网络收敛,以获取所述性别识别模型。

在一些实施例中,所述对所述第i待处理特征图进行特征块丢弃处理,以得到第i特征缺失图,包括:

获取所述第i待处理特征图对应的卷积矩阵,所述卷积矩阵中的元素为0或1,且所述卷积矩阵中至少存在一组目标元素,所述目标元素在所述卷积矩阵中相邻且为0;

将所述第i待处理特征图与所述卷积矩阵进行卷积运算,得到所述第i特征缺失图。

在一些实施例中,所述检测模块包括全连接层和softmax层,

将所述训练特征图输入所述检测模块进行检测,以获取所述训练集的预测标签,包括:

将所述第N特征图输入所述全连接层进行特征融合,以获取所述第N特征图的特征值;

将所述特征值输入所述softmax层,以获取所述训练特征图像对应的预测标签。

在一些实施例中,所述N个特征提取模块中特征提取模块对应的特征提取步长为1,所述第i特征提取模块对应的特征提取步长为对所述第(i-1)特征图进行特征提取的过程中,所述第i特征提取模块对应的卷积核在对所述第(i-1)特征图中移动的长度。

在一些实施例中,在从所述目标图像样本集中的每个图像中,分别截取头部区域图像的步骤之前,所述方法还包括:

对所述目标图像样本集进行数据增强处理,所述数据增强处理包括光照或模糊处理中的至少一种。

为解决上述技术问题,第二方面,本发明其中一实施例提供了一种识别性别的方法,包括:

获取待测人脸图像;

利用如上第一方面所述的性别识别模型识别所述待测人脸图像,获取所述待测人脸图像中人脸的性别。

在一些实施例中,所述性别识别模型包括N个特征提取模块和检测模块,其中,所述N个特征提取模块中的第i特征提取模块用于对所述N个特征提取模块中第(i-1)特征提取模块输出的第(i-1)待测特征图进行特征提取,得到第i待测特征图,1≤i≤N,N为大于或等于2的正整数,当i=1时,第(i-1)待测特征图为所述待测人脸图像;

所述利用如上第一方面所述的性别识别模型识别所述待测人脸图像,获取所述待测人脸图像中人脸的性别,包括:

将所述待测人脸图像输入至所述性别识别模型中的N个特征提取模块,对第(i-1)待测特征图进行特征提取,以得到第i待测中间特征图;

将所述第i待测中间特征图与第(i-r)待测中间特征图进行融合,以得到所述第i待测特征图,其中,r为预设跳跃层数,1<r<i-1;

将第N待测特征图输入所述检测模块,以获取所述待测人脸图像中人脸的性别。

为解决上述技术问题,第三方面,本发明其中一实施例提供了一种电子设备,包括:

至少一个处理器,以及

与所述至少一个处理器通信连接的存储器,其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上第一方面所述的方法以及如上第二方面所述的方法。

为解决上述技术问题,第四方面,本发明其中一实施例提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使电子设备执行如上第一方面所述的方法以及如上第二方面所述的方法。

本发明实施例的有益效果:区别于现有技术的情况,本发明实施例提供的训练性别识别模型的方法及相关装置,用于训练该性别识别模型的目标图像样本集不仅包括初始图像样本集,还包括由目标图像生成模型生成的第四图像,从而,使得训练集中的图像得到扩充,可以根据实际情况,生成训练集所需的第四图像,一方面,使得训练集更加丰富,能够增加模型训练的精准度,另一方面,克服了图像采集的困难,减少了图像采集成本。其次,该目标图像生成模型是通过预设图像生成模型和预设判别模型基于从所述初始图像样本集中随机选择的多个第一图像和由预设图像生成模型生成的多个第二图像组成的学习图像集,相互促进,学习迭代收敛后获取的,即不断提升预设判别模型的判断能力,以及使得预设图像生成模型生成的图像不断靠近采集到的真实图像,最终使得该目标图像生成模型生成的第四图像尽可能与采集到的真实图像靠近,进一步可以保证目标图像样本集中能够有大量的各种人群的训练样本提供给预设卷积网络进行训练,提高模型训练的精度,使得训练得到的性别识别模型能够在各类人群上都具备较高的识别能力。最后,该训练集中的图像为对目标图像样本集中的图像截取到的头部区域图像,保留了对性别识别有利的头发特征及面部特征,消除了背景特征的干扰,能进一步提高模型训练的精准度。由此,多重训练精准度的提升使得通过该方法训练得到的性别识别模型的检测精确度较高,适应范围更广。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。

图1为本发明其中一实施例提供的训练性别识别模型的方法的运行环境示意图。

图2为本发明其中一实施例提供的电子设备的结构示意图;

图3为本发明其中一实施例提供的一种训练性别识别模型的方法流程示意图;

图4为本发明其中一实施例提供的截取头部区域图像的示意图;

图5为本发明其中一实施例提供的预设卷积神经网络的结构示意图;

图6为图3所示方法中步骤S28的一子流程示意图;

图7为图6所示方法中步骤S282的一子流程示意图;

图8为图6所示方法中步骤S284的一子流程示意图;

图9为本发明其中一实施例提供的一种训练性别识别模型的方法的流程示意图;

图10为本发明其中一实施例提供的一种识别性别的方法的流程示意图;

图11为图10所示方法中步骤S32的一子流程示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。

需要说明的是,如果不冲突,本发明实施例中的各个特征可以相互结合,均在本申请的保护范围之内。另外,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。此外,本文所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定,仅是对功能和作用基本相同的相同项或相似项进行区分。

除非另有定义,本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的,不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1是本发明实施例提供的训练性别识别模型的方法的运行环境示意图。请参照图1,包括电子设备10和图像获取装置20,所述电子设备10和所述图像获取装置20通信连接。

所述通信连接可以是有线连接,例如:光纤电缆,也可以是无线通信连接,例如:WIFI连接、蓝牙连接、4G无线通信连接,5G无线通信连接等等。

所述图像获取装置20用于获取包括人脸的图像样本集,也可用于获取待测人脸图像,所述图像获取装置20可为能够拍摄图像的终端,例如:具有拍摄功能的手机、平板电脑、录像机或摄像头等。

所述电子设备10是能够按照程序运行,自动、高速处理海量数据的设备,其通常是由硬件系统和软件系统所组成,例如:计算机、智能手机等等。所述电子设备10可以是本地设备,其直接与所述图像获取装置20连接;也可以是云设备,例如:云服务器、云主机、云服务平台、云计算平台等,云设备通过网络与所述图像获取装置20连接,并且两者通过预定的通信协议通信连接,在一些实施例,该通信协议可以是TCP/IP、NETBEUI和IPX/SPX等协议。

可以理解的是:所述图像获取装置20和所述电子设备10也可以集成在一起,作为一体式的设备,例如,带有摄像头的计算机或智能手机等。

所述电子设备10接收所述图像获取装置20发送的包括人脸的图像样本集,对所述图像样本集进行训练,得到性别识别模型,并利用所述性别识别模型检测所述图像获取装置20发送的待测人脸图像的性别。可以理解的是,上述对所述性别识别模型的训练和对所述待测人脸图像的检测也可以在不同的电子设备上执行。

在上述图1的基础上,本发明的其他实施例提供了一种电子设备10,请参阅图2,为本发明实施例提供的一种电子设备10的硬件结构图,具体的,如图2所示,所述电子设备10包括通信连接的至少一个处理器11和存储器12(图2中以总线连接、一个处理器为例)。

其中,所述处理器11用于提供计算和控制能力,以控制电子设备10执行相应任务,例如,控制所述电子设备10执行下述发明实施例提供的任意一种训练性别识别模型的方法或下述发明实施例提供的任意一种识别性别的方法。

可以理解的是,所述处理器11可以是通用处理器,包括中央处理器(CentralProcessing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

所述存储器12作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块,如本发明实施例中的训练性别识别模型的方法对应的程序指令/模块,或本发明实施例中识别性别的方法对应的程序指令/模块。所述处理器11通过运行存储在存储器12中的非暂态软件程序、指令以及模块,可以实现下述任一方法实施例中的训练性别识别模型的方法,以及可以实现下述任一方法实施例中的识别性别的方法。具体地,所述存储器12可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器12还可以包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

以下,对本发明实施例提供的训练性别识别模型的方法进行详细说明,请参阅图3,所述方法S20包括但不限制于以下步骤:

S21:获取包括人脸的初始图像样本集,以及由预设图像生成模型生成的多个第二图像,其中,所述初始图像样本集中的图像为采集到的真实图像。

S22:从所述初始图像样本集中随机选择多个第一图像,将所述多个第一图像以及所述多个第二图像作为学习图像集,输入预设判别模型进行学习,以输出所述学习图像集中各图像的评分,所述评分用于反映图像为所述真实图像的程度。

S23:根据预设差异函数,计算所述多个第一图像的评分与所述多个第二图像的评分之间的第一差异。

S24:根据所述第一差异,调整所述预设图像判别模型的参数,返回执行所述步骤S22,直至所述预设图像判别模型收敛,获取目标图像判别模型。

S25:调整所述预设图像生成模型的参数,通过调整参数后的预设图像生成模型生成多个第三图像,并通过所述目标图像判别模型计算所述多个第三图像的评分,根据所述预设差异函数计算所述多个第三图像的评分与所述多个第一图像的评分之间的第二差异,并基于所述第二差异调整所述预设图像生成模型的参数,返回执行所述通过调整参数后的预设图像生成模型生成多个第三图像的步骤,直至所述预设图像生成模型收敛,获取目标图像生成模型。

S26:采用所述目标图像生成模型生成第四图像,将所述第四图像添加至所述初始图像样本集中,以获取目标图像样本集。

S27:从所述目标图像样本集中的每个图像中,分别截取头部区域图像,所述头部区域图像标注有真实标签。

S28:将所述各头部区域图像作为训练集,对预设卷积神经网络进行训练,以获取性别识别模型。

所述初始图像样本集中的图像包括人脸,可由上述图像获取装置获取,例如,所述初始图像样本集可以为由所述图像获取装置采集到的证件照或自拍照等。从而,所述初始图像样本集中的图像为采集到的真实图像。所述第二图像由预设图像生成模型生成,也即,所述第二图像不是采集到的真实图像。可以理解的是,所述预设图像生成模型可以为混合高斯模型、贝叶斯网络等。

从所述初始图像样本集中随机选择多个第一图像,将所述多个第一图像以及所述多个第二图像作为学习图像集,输入预设判别模型进行学习,以输出所述学习图像集中各图像的评分,所述评分用于反映图像为所述真实图像的程度。可以理解的是,所述预设判别模型会以一设定的参数学习所述学习图像集中图像的特征,对所述学习图像集中各图像靠近真实图像的程度进行打分,从而,输出所述学习图像集中各图像的评分。可以理解的是,所述预设判别模型可以为K近邻模型或神经网络等。

根据预设差异函数,计算所述多个第一图像的评分与所述多个第二图像的评分之间的第一差异。可以理解的是,所述评分为将图像的特征这一多维向量转换为数值的结果,即,各图像的评分是根据各自的图像特征而确定的,能反映其图像特征。所述预设差异函数可以为最大似然函数,该函数用于计算两类样本之间的差值,即计算所述多个第一图像的评分与所述多个第二图像的评分之间的第一差异。

然后,根据所述第一差异进行反向调整,调整所述预设图像判别模型的参数,返回执行所述步骤S22,即不断调整所述预设图像判别模型的参数,对学习图像集进行学习,直到所述第一差异在一定范围内波动,即所述预设图像判别模型收敛,将判别效果好的模型参数作为最终的图像判别模型的模型参数,从而,得到所述目标图像判别模型。

其中,所述预设差异函数的反向调节使得同一类中的图像的评分差异尽可能小,而不同类的图像的评分差异尽可能大,即,使得所述多个第一图像之间的评分差异尽可能小,例如,所述多个第一图像的评分均为较高的分值,且这些较高的分值差异尽可能小,同时,使得所述多个第二图像的评分均为较低的分值,且这些较低的分值差异尽可能小,使得所述多个第一图像的评分与所述多个第二图像的评分之间的第一差异尽可能大,从而,压低所述多个第二图像的评分,提高所述多个第一图像的评分,使得该目标图像判别模型能有效区分真实图像(多个第一图像)和模型生成的非真实图像(多个第二图像)。

在获取到具有较好判别效果的目标图像判别模型后,基于该目标图像判别模型,对所述预设图像生成模型进行训练。具体的,调整所述预设图像生成模型的参数,通过调整参数后的预设图像生成模型生成多个第三图像,并通过所述目标图像判别模型计算所述多个第三图像的评分,根据所述预设差异函数计算所述多个第三图像的评分与所述多个第二图像的评分之间的第二差异,并基于所述第二差异调整所述预设图像生成模型的参数,返回执行所述通过调整参数后的预设图像生成模型生成多个第三图像的步骤,即不断调整所述预设图像生成模型的参数,生成新的多个第三图像,并对新的多个第三图像和所述多个第一图像进行学习,直到所述第二差异在一定范围内波动,即所述预设图像生成模型收敛,将生成的图像效果好的模型参数作为最终的图像生成模型的模型参数,从而,得到所述目标图像生成模型。

其中,所述预设差异函数的反向调节使得所述多个第三图像的评分逼近所述多个第一图像的评分,即使得所述多个第三图像的评分与所述多个第一图像的评分之间的第二差异尽可能小,从而,提升所述多个第三图像的评分,使所述多个第三图像的评分逼近真实图像的评分,也即,使得该目标图像生成模型生成的图像更够更加逼近采集到的真实图像。

最终使得该目标图像生成模型生成的第四图像尽可能与采集到的真实图像靠近,将所述第四图像添加至所述初始图像样本集中,以获取目标图像样本集。从而,使得基于该目标图像样本集得到的训练集得以扩充,更加丰富,能够增加模型训练的精准度,另一方面,克服了图像采集困难,减少了图像采集成本。

可以理解的是,可以根据实际情况,生成训练集所需的第四图像,例如,该第四图像包括老年人图像和小孩图像,以使得训练集涵盖各个年龄段,增强模型的应用范围。并且,生成的第四图像会涵盖人脸多样特征,比如戴眼镜、短发或长发等,能有效增强模型的精准度。可以理解的是,在实际应用中,女性以及年轻人覆盖比例更大,因此,所述第四图像包括年轻女性的图像和年轻男性的图像,使得年轻女性的图像与年轻男性的图像比例为1.2:1,与实际比例相适应,从而,使得性别识别模型能更加符合实际应用。

可以理解的是,所述目标图像样本集中的图像包括人脸和背景。基于人体头部是反映性别的主要特征,对所述目标图像样本集中的图像截取头部区域图像,该头部区域图像包括头发特征和面部特征,从而,从头发特征和面部特征能够有效分辨出性别,还可以较小背景对性别识别的干扰,以及减小后续算法模型的训练时间。

如图4所示,可先通过现有的dlib工具包获取图像的人脸框,再结合图像自身的宽高比例,将所述人脸框的宽高比例调整至所述图像自身的宽高比例,并扩展至包括头发特征,从而,可截取所述头部区域图像。其中,所述dlib工具包是用于图像中的对象检测的工具,例如,将所述dlib工具包用于人脸检测。

在一些实施例中,在截取到各头部区域图像后,可将各头部区域图像的尺寸统一设置为1024*1024,从而,将所述各头部区域图像作为训练集,使得训练集中的图像尺寸统一,能够消除用于训练的图像的尺寸对模型学习的干扰。

其中,所述头部区域图像标注有真实标签,即各头部区域图像标注有各自对应的性别男或女。可以理解的是,上述真实标签可由人工采用现有的标注工具进行标注。

利用该训练集,对预设卷积神经网络进行训练,通过所述预设卷积神经网络学习所述训练集中各图像的特征和对应的真实标签后,会对所述训练集中每一图像对应的性别进行预测,得到预测结果,然后,根据所述预测结果与真实标签之间的差异,反向调整所述预设卷积神经网络的模型参数,经过多次迭代训练,获得准确率较高的所述性别识别模型。

可以理解的是,在一些实施例中,也可通过所述训练集,对预设卷积神经网络进行预训练,找到初步合适的模型参数,得到初始性别识别模型。然后,在初始性别识别模型的基础上进行训练,不断迭代,调整模型参数,获取最终的模型参数,从而,得到所述性别识别模型。在初始性别识别模块的基础上进行训练,可以加快后续模型收敛,提高训练效率,另一方面,以初始模型参数作为参考,有利于模型向差异小的方向调整模型参数。

在此实施例中,用于训练该性别识别模型的目标图像样本集不仅包括初始图像样本集,还包括由目标图像生成模型生成的第四图像,从而,使得训练集中的图像得到扩充,可以根据实际情况,生成训练集所需的第四图像,一方面,使得训练集更加丰富,能够增加模型训练的精准度,另一方面,克服了图像采集困难,减少了图像采集成本。其次,该目标图像生成模型是通过预设图像生成模型和预设判别模型基于从所述初始图像样本集中随机选择的多个第一图像和由预设图像生成模型生成的多个第二图像组成的学习图像集,相互促进,学习迭代收敛后获取的,即不断提升预设判别模型的判断能力,以及使得预设图像生成模型生成的图像不断靠近采集到的真实图像,最终使得该目标图像生成模型生成的第四图像尽可能与采集到的真实图像靠近,提高了上述训练集的真实性,进一步可以保证目标图像样本集中能够有大量的各种人群的训练样本提供给预设卷积网络进行训练,提高模型训练的精度,使得训练得到的性别识别模型能够在各类人群上都具备较高的识别能力。最后,该训练集中的图像为对目标图像样本集中的图像截取到的头部区域图像,保留了对性别识别有利的头发特征及面部特征,消除了背景特征的干扰,能进一步提高模型训练的精准度。由此,多重训练精准度的提升使得通过该方法训练得到的性别识别模型的检测精确度较高,适应范围更广。

在一些实施例中,如图5所示,所述预设卷积神经网络包括N个特征提取模块和检测模块,其中,所述N个特征提取模块中的第i特征提取模块用于对所述N个特征提取模块中第(i-1)特征提取模块输出的第(i-1)特征图进行特征提取,得到第i特征图,1≤i≤N,N为大于或等于2的正整数,当i=1时,第(i-1)特征图为所述训练集中的图像。也即,所述N个特征提取模块挨个排列,将训练集中的图像输入第1特征提取模型进行特征处理,得到第1特征图,将所述第1特征图输入第2特征提取模块进行特征处理,得到第2特征图,将所述第2特征图输入第3特征提取模块进行特征处理,得到第3特征图,依次类推,将第(i-1)特征图输入第i特征提取模块进行特征处理,得到第i特征图,将第(N-1)特征图输入第N特征提取模块进行特征处理,得到第N特征图。可以理解的是,所述N为预先设定的特征提取模块的个数,例如,所述N可以为16或20等。

请参阅图6,所述步骤S28具体包括:

S281:对所述第(i-1)特征图进行特征提取,以得到第i待处理特征图。

S282:对所述第i待处理特征图进行特征丢弃处理,以得到第i特征缺失图。

S283:将所述第i特征缺失图与第(i-r)特征缺失图进行融合,以得到所述第i特征图,其中,r为预设跳跃层数,1<r<i-1

S284:将第N特征图输入所述检测模块进行检测,以获取所述训练集的预测标签。

S285:根据预设损失函数,计算所述预测标签与所述真实标签之间的误差。

S286:根据所述误差,反向调整所述预设卷积神经网络的模型参数,返回执行所述步骤S284,直至所述预设卷积神经网络收敛,以获取所述性别识别模型。

随着特征提取模块的个数N增加到一定程度时,即提取到的特征增加到一定程度时,会引发特征背离原图,模型的准确率下降。为了使得模型具有较多的特征提取模块,提取到更多的特征,又能使训练出的性别识别模型具有较高的准确率。

在特征提取的过程中,对所述第(i-1)特征图进行特征提取,提取形状、边缘等特征,以得到第i待处理特征图。然后,对所述第i待处理特征图进行特征丢弃处理,以得到第i特征缺失图。可以理解的是,将所述第i待处理特征图进行特征丢弃处理,是为了丢弃部分相邻的特征,使得得到的第i特征缺失图的特征减少,以避免特征太多影响模型的准确率,从而,能够增加模型的泛化能力,预判更多的不同场景的样本,从而提高模型精度。例如,将第i待处理特征图中部分像素点的像素值替换为0,从而,将该部分像素点所反映的特征进行丢弃处理。

可以理解的是,上述步骤S281~S283描述的是N个特征提取模块中的1个特征提取模块内部的处理过程,每个特征提取模块内部的处理过程类似,当获取到上一特征提取模块输出的待处理特征图时,每个特征提取模块均能对待处理特征图进行处理,进而得到一个特征缺失图。对于其中任一特征缺失图,将所述第i特征缺失图与第(i-r)特征缺失图进行融合,以得到所述第i特征图,其中,r为预设跳跃层数,1<r<i-1。也就是说,将第(i-r)特征缺失图不仅通过特征丢弃处理后输出下一个特征提取模块,还跳跃预设跳跃层数r后与第i特征缺失图进行融合,从而,得到该第i特征图。可以理解的是,该第i特征图不仅包括第i个特征提取模块输出的特征,还包括第i-r个特征提取模块输出的特征。即使,随着i的增加,该第i个特征提取模块输出的特征背离原训练集中的图像,但是,第i特征图还包括第i-r个特征提取模块输出的特征,从而,保证了该第i特征图中的特征还能保留原训练集中图像的特征,不会导致模型的准确度饱和,最终,可以得到准确度较高的性别识别模型。需说明的是,对于前(r-1)个特征提取模块,由于没有其对应的第(i-r)特征缺失图,故没有融合处理过程,直接第i缺失特征图作为第i特征图,也即,前(r-1)个特征提取模块中没有特征融合过程。

由上可知,将所述训练集输入所述N个特征提取模块进行卷积特征处理,学习所述训练集中图像的图像特征,并对所述图像按上述方式进行特征提取、特征丢弃处理和特征融合,得到特征图。在一些实施例中,所述N个特征提取模块中特征提取模块对应的特征提取步长为1,所述第i特征提取模块对应的特征提取步长为对所述第(i-1)特征图进行特征提取的过程中,所述第i特征提取模块对应的卷积核在对所述第(i-1)特征图中移动的长度。从而,将特征提取步长设置为1,能够有效减少特征信息的流失。

在步骤S284中,将第N特征图输入所述检测模块进行检测,以获取所述训练集中各图像对应的预测标签。例如,对于训练集(x1,x2,x3......xn),其真实标签为(y1,y2,y3......yn),其中,(y1,y2,y3......yn)均代表真实的性别,所述检测模块通过学习所述训练集的特征后,会依据该特征对所述训练集进行性别分类,对训练集中的每一图像均预测出一个对应的预测标签(y

可知,所述预测标签是训练后的预设卷积神经网络(初始性别识别模型)预测到的,因此,预测标签和标注标签(真实标签)之间的误差即可反映初始性别识别模型的精度。也即,y

最后,所述预设卷积神经网络根据所述误差即可反向调整模型参数,在确定新的模型参数后,即可得到新的初始性别识别模型。如此,通过多次训练,获取误差,调整模型参数,迭代生成新的性别识别模型,直到所述误差收敛在一个范围内波动,则停止训练。再根据性别识别模型的预测效果,选取准确度最高的性别识别模型对应的模型参数作为最终的性别识别模型的模型参数,即可获取最终的性别识别模型。

在本实施例中,通过将第i特征缺失图与第(i-r)特征缺失图进行融合,得到第i特征图,该第i特征图不仅包括第i个特征提取模块输出的特征,还包括第i-r个特征提取模块输出的特征。即使,随着i的增加,该第i个特征提取模块输出的特征背离原训练集中的图像,但是,第i特征图还包括第i-r个特征提取模块输出的特征,从而,保证了该第i特征图中的特征还能保留原训练集中图像的特征,不会导致模型的准确度饱和,最终,可以得到准确度较高的性别识别模型。此外,对所有的待处理特征图均进行特征丢弃处理,能够增加模型的泛化能力,预判更多的不同场景的样本,从而,提高了性别识别模型的精度。

在一些实施例中,请参阅图7,所述步骤S282具体包括:

S2821:获取所述第i待处理特征图对应的卷积矩阵,所述卷积矩阵中的元素为0或1,且所述卷积矩阵中至少存在一组目标元素,所述目标元素在所述卷积矩阵中相邻且为0。

S2822:将所述第i待处理特征图与所述卷积矩阵进行卷积运算,得到所述第i特征缺失图。

对于任一待处理特征图,获取其对应的卷积矩阵,一待处理特征图对应一卷积矩阵,以避免各卷积矩阵相同,导致每个待处理特征图丢失的特征一样,从而,导致最终的第N特征图不完整。

可以理解的是,对于所述第i待处理特征图对应的卷积矩阵可以为根据伯努利函数随机生成的包括0或1的矩阵。伯努利函数如下:

其中,x为卷积矩阵中的任一值,f(x)为卷积矩阵中值的概率,p为所述伯努利函数的概率,也是丢弃概率,即卷积矩阵中的值x为1的概率,可以理解的是,1-p为卷积矩阵中的值x为0的概率。

其中,概率p可以根据所述第i待处理特征图的尺寸和所述第i待处理特征图中丢弃特征的尺寸确定,例如,根据如下公式确定:

其中,keep_prob可以设置为常数0.75,feature_size是所述第i待处理特征图的尺寸,block_size是所述第i待处理特征图中丢弃特征的尺寸。可以理解的是,在一些实施例中,训练过程中block_size可以设置为7,测试过程中block_size可以设置为7,能获得较好的训练结果。

将所述概率p带入上述伯努利函数,即可得到所述卷积矩阵中的值x为1的概率和x为0的概率,从而,可以确定所述卷积矩阵中的值x。在一些实施例中,可以设置概率阈值,当卷积矩阵中的值x为1的概率大于该概率阈值时,则x为1,否则x为0。

将第i待处理特征图与所述卷积矩阵进行卷积运算,即可得到所述第i特征缺失图。可以理解的是,在卷积运算过程中,所述卷积矩阵移动的步长为1。

由上述可知,所述卷积矩阵中的元素为0或1,且所述卷积矩阵中至少存在一组目标元素,所述目标元素在所述卷积矩阵中相邻且为0,从而,将所述第i待处理特征图与所述卷积矩阵进行卷积运算后,会将第i待处理特征图中一定范围内相邻区域内的像素值都变为0,即部分特征丢失,得到所述第i特征缺失图。

在此实施例中,通过上述卷积矩阵与待处理特征图进行卷积运算,得到相应的特征缺失图,处理过程简单,并且,由于卷积矩阵的随机性和一一对应性,使得每次丢弃的特征不完全相同,从而,保证了最终的第N特征图的完整性。

在一些实施例中,所述检测模块包括全连接层和softmax层,其中,全连接层用于将局部特征融合为全局特征,sofmax层用于分类。

请参阅图8,所述步骤S284具体包括:

S2841:将所述第N特征图输入所述全连接层进行特征融合,以获取所述第N特征图的特征值。

S2842:将所述特征值输入所述softmax层,以获取所述训练特征图像对应的预测标签。

全连接层可以将经过N个特征提取模块处理后得到的第N特征图中大量局部特征进行整合,以便对图像进行后续分类或其他处理。具体的,全连接层中的每一层由许多神经元组成,所述第N特征图通过卷积运算拉平成向量。可以理解的是,全连接层的维度由预测的类别决定,在本实施例中,类别有2类,则全连接层的维度为1*1*2。该全连接层将局部特征进行加权求和,获得所述特征值,从而,以消除特征位置不同对分类结果的影响。

其中,所述特征值包括性别男的权重和偏差,以及,性别女的权重和偏差。

然后,将第N特征图对应的各特征值输入所述softmax层进行分类,其中,所述sofmax层包括损失函数,损失函数的公式如下:

其中,

其中,i代表第i个神经元,S

将第N特征图输入softmax层,softmax层输出S

在此实施例中,通过全连接层将局部特征进行融合,以减少局部特征位置对分类带来的干扰,其次,采用softmax层进行分类,使得各可能的性别显著,有利于学习。

在一些实施例中,请参阅图9,在所述步骤S27之前还包括:

步骤S29:对所述目标图像样本集进行数据增强处理,所述数据增强处理包括光照或模糊处理中的至少一种。

其中,所述图像增强处理是通过一定手段对原图像附加一些信息或变换数据,有选择地突出图像中感兴趣的特征或抑制(模糊)图像中某些不需要的特征。在一些实施例中,通过滤波的方式对图像进行模糊处理,或,采用gamma变换的方法对图像进行处理,达到光照变化的效果。

例如,当所述目标图像样本集中,年轻男性图像的数量超过年轻女性图像的数量达到一定程度时,则网络模型的输出则会倾向于数量多的图像,准确率低。为了均衡所述目标图像样本集,可对部分男性图像进行模糊处理,以减小男性图像对模型训练的影响。

再例如,所述目标图像样本集中的图像有可能会受到光照等因素的影响,从而,导致特征难以识别。因此,可通过gamma变换的方法,矫正光照,达到弱化光照影响的效果,提高图像的质量。此外,对于不平衡的目标图像样本集,还可以通过gamma变换,加强光照影响,从而使多余的图像失效,例如,对上述部分男性图像进行gamma变化,使光照影响增大,抹去该部分男性图像的特征。

在此实施例中,通过对所述目标图像样本集进行数据增强处理,能够有效避免样本不均衡对性别识别模型的干扰。

综上所述,用于训练该性别识别模型的目标图像样本集不仅包括初始图像样本集,还包括由目标图像生成模型生成的第四图像,从而,使得训练集中的图像得到扩充,可以根据实际情况,生成训练集所需的第四图像,一方面,使得训练集更加丰富,能够增加模型训练的精准度,另一方面,克服了图像采集困难,减少了图像采集成本。其次,该目标图像生成模型是通过预设图像生成模型和预设判别模型基于从所述初始图像样本集中随机选择的多个第一图像和由预设图像生成模型生成的多个第二图像组成的学习图像集,相互促进,学习迭代收敛后获取的,即不断提升预设判别模型的判断能力,以及使得预设图像生成模型生成的图像不断靠近采集到的真实图像,最终使得该目标图像生成模型生成的第四图像尽可能与采集到的真实图像靠近,进一步可以保证目标图像样本集中能够有大量的各种人群的训练样本提供给预设卷积网络进行训练,提高模型训练的精度,使得训练得到的性别识别模型能够在各类人群上都具备较高的识别能力。最后,该训练集中的图像为对目标图像样本集中的图像截取到的头部区域图像,保留了对性别识别有利的头发特征及面部特征,消除了背景特征的干扰,能进一步提高模型训练的精准度。由此,多重训练精准度的提升使得通过该方法训练得到的性别识别模型的检测精确度较高,适应范围更广。

以下,对本发明实施例提供的识别性别的方法进行详细说明,请参阅图10,所述方法S30包括但不限制于以下步骤:

S31:获取待测人脸图像。

S32:利用上述任一项实施例中的性别识别模型识别所述待测人脸图像,获取所述待测人脸图像中人脸的性别。

所述待测人脸图像为人脸面部图像,可由上述图像获取装置20获取,例如,所述待测人脸图像可以为对所述图像获取装置20采集到的证件照或自拍照等(初始待测人脸图像)进行截取头部区域后获取的头部区域图像。在此,不对所述待测人脸图像的来源做任何限制,为人脸面部图像即可。

可以理解的是,当初始待测人脸图像还包括背景时,例如上述证件照或自拍照还包括背景,可先通过现有的dlib工具包获取人脸框,再结合所述初始待测人脸图像自身的宽高比例,将所述人脸框的宽高比例调整至所述初始待测人脸图像自身的宽高比例,并扩展至包括头发特征,从而,截取头部区域图像,并作为最终的所述待测人脸图像。通过上述方式,截取头部区域图像,去除背景,能够减小背景对性别识别的干扰,提高识别的准确率。

可以理解的是,所述性别识别模型是通过上述实施例中训练性别识别模型的方法训练得到的,与上述实施例中的性别识别模型的结构和功能均相同,在此不再一一赘述。

在一些实施例中,所述性别识别模型包括N个特征提取模块和检测模块,其中,所述N个特征提取模块中的第i特征提取模块用于对所述N个特征提取模块中第(i-1)特征提取模块输出的第(i-1)待测特征图进行特征提取,得到第i待测特征图,1≤i≤N,N为大于或等于2的正整数,当i=1时,第(i-1)待测特征图为所述待测人脸图像。

请参阅图11,所述步骤S32具体包括:

S321:将所述待测人脸图像输入至所述性别识别模型中的N个特征提取模块,对第(i-1)待测特征图进行特征提取,以得到第i待测中间特征图。

S322:将所述第i待测中间特征图与第(i-r)待测中间特征图进行融合,以得到所述第i待测特征图,其中,r为预设跳跃层数,1<r<i-1。

S323:将第N待测特征图输入所述检测模块,以获取所述待测人脸图像中人脸的性别。

随着所述性别识别模型中的特征提取模块的个数N增加到一定程度时,即提取到的特征增加到一定程度时,会引发特征背离原图,使得性别识别模型的准确率会下降。为了使得所述性别识别模型具有较多的特征提取模块,提取到更多的特征,又能具有较高的准确率。

在特征提取的过程中,对所述第(i-1)待测特征图进行特征提取,提取形状、边缘等特征,以得到第i待测中间特征图。将所述第i待测中间特征图与第(i-r)待测中间特征图进行融合,以得到所述第i待测特征图,其中,r为预设跳跃层数,1<r<i-1。

可以理解的是,每个特征提取模块均会输出一个待测中间特征图。对于其中任一待测中间特征图,将所述第i待测中间特征图与第(i-r)待测中间特征图进行融合,以得到所述第i待测特征图,其中,r为预设跳跃层数,1<r<i-1。也就是说,将第(i-r)待测中间特征图不仅输入下一个特征提取模块,还跳跃预设跳跃层数r后与第i待测中间特征图进行融合,从而,得到该第i待测特征图。可以理解的是,该第i待测特征图不仅包括第i个特征提取模块输出的特征,还包括第i-r个特征提取模块输出的特征。即使,随着i的增加,该第i个特征提取模块输出的特征背离原训练集中的图像,但是,第i待测特征图还包括第i-r个特征提取模块输出的特征,从而,保证了该第i待测特征图中的特征还能保留原待测图像的特征,从而,使得性别识别模型能准确识别性别。

将第N待测特征图直接输入所述性别识别模型中的检测模块,以获取所述待测人脸图像中人脸的性别。其中,所述性别识别模型中的检测模块与上述实施例中检测模块结构相同。从而,将所述第N待测特征图输入至所述检测模块,即可对性别进行预测,获取所述待测人脸图像中人脸的性别。

在本实施例中,检测时,不涉及特征丢弃处理,可以有效节约计算量,提高性别识别模型的检测效率。

本发明其中一实施例还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使电子设备执行上述任一实施例中的训练性别识别模型的方法或上述任一实施例中的性别识别方法。

本发明实施例提供了一种计算机程序产品,包括存储在非易失性计算机可读存储介质上的计算程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述任一实施例中的训练性别识别模型的方法或上述任一实施例中的性别识别方法。

需要说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述,本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术分类

06120112656717