掌桥专利:专业的专利平台
掌桥专利
首页

牛脸识别方法、装置、设备及存储介质

文献发布时间:2024-04-18 19:52:40



技术领域

本发明涉及人工智能技术领域,尤其涉及一种牛脸识别方法、装置、设备及存储介质。

背景技术

随着人工智能的发展,牛脸识别方案也随之产生。在目前基于人工智能的牛脸识别方案中,由于牛脸图像的随机性,导致牛脸图像的关键点难以准确获得,造成无法准确的识别出牛脸图像中的具体对象。

发明内容

鉴于以上内容,有必要提供一种牛脸识别方法、装置、设备及存储介质,能够解决无法准确的识别出牛脸图像中的具体对象的技术问题。

一方面,本发明提出一种牛脸识别方法,所述牛脸识别方法包括:

获取采集对象在不同朝向的脸部图像;

基于对所述脸部图像的关键点检测及质量检测,过滤所述脸部图像,得到初始图像,所述初始图像包括所述采集对象的正脸图像;

基于对从所述初始图像中语义分割得到的牛头区域图像的质量检测,过滤所述牛头区域图像,得到目标牛头图像;

对齐所述目标牛头图像,得到对齐图像,并对所述正脸图像进行实例分割,得到实例图像;

对所述对齐图像进行归一化增广处理,得到第一增广图像,并对所述实例图像进行归一化增广处理,得到第二增广图像;

融合所述第一增广图像的脸部特征及所述第二增广图像的局部特征,得到目标特征;

基于所述目标特征进行对象识别,得到所述采集对象的对象身份。

根据本发明优选实施例,所述基于对所述脸部图像的关键点检测及质量检测,过滤所述脸部图像,得到初始图像包括:

对所述脸部图像进行关键点检测,得到脸部关键点;

识别所述采集对象所对应的对象类别;

基于所述对象类别的对象配置形状及所述脸部关键点,从所述脸部图像中识别出检测区域;

计算所述检测区域的像素方差值;

基于所述像素方差值与预设偏差阈值的比较,过滤所述脸部图像,得到过滤后的脸部图像;

计算所述过滤后的脸部图像的图像清晰度;

基于所述图像清晰度处理所述过滤后的脸部图像,得到所述初始图像。

根据本发明优选实施例,所述对所述正脸图像进行实例分割,得到实例图像包括:

对所述正脸图像进行目标检测,得到所述正脸图像的对象中心坐标;

获取所述对象类别的偏移阈值;

基于所述对象中心坐标及所述偏移阈值,从所述正脸图像中识别出对象轮廓图像;

基于所述对象配置形状,对所述对象轮廓图像的图像形状进行调整,得到目标轮廓图像;

对所述目标轮廓图像进行掩膜处理,得到所述实例图像。

根据本发明优选实施例,所述基于对从所述初始图像中语义分割得到的牛头区域图像的质量检测,过滤所述牛头区域图像,得到目标牛头图像包括:

基于所述初始图像中每个像素点的像素值及像素位置,识别所述初始图像中每个像素点所属的像素类型;

将所述像素类型为预设类型的像素点所构成的区域确定为所述牛头区域图像;

计算所述牛头区域图像中像素数量在所述牛头区域图像的图像面积的比例信息;

根据所述比例信息及预设比例阈值,对所述牛头区域图像进行过滤,并将过滤后的牛头区域图像确定为所述目标牛头图像。

根据本发明优选实施例,所述对齐所述目标牛头图像,得到对齐图像包括:

从多个所述目标牛头图像中识别出关键点对;

根据所述关键点对在所述多个目标牛头图像中的坐标信息,计算出所述关键点对的对齐变换关系;

基于所述对齐变换关系,对所述多个目标牛头图像进行对齐处理,得到所述对齐图像。

根据本发明优选实施例,所述融合所述第一增广图像的脸部特征及所述第二增广图像的局部特征,得到目标特征包括:

基于预先训练完成的第一特征提取模型,从所述第一增广图像中提取所述脸部特征,所述脸部特征包括每个矩阵位置的脸部特征元素;

基于预先训练完成的第二特征提取模型,从所述第二增广图像中提取所述局部特征,所述局部特征包括每个矩阵位置的局部特征元素;

对每个矩阵位置上的脸部特征元素及对应的局部特征元素进行投票处理,得到每个矩阵位置所对应的目标元素;

基于多个所述矩阵位置拼接所述目标元素,得到所述目标特征。

根据本发明优选实施例,在基于预先训练完成的第一特征提取模型,从所述第一增广图像中提取所述脸部特征之前,所述方法还包括:

获取第一训练对象的第一训练图像及第一标注特征,并获取第二训练对象的第二训练图像及第二标注特征;

基于预先构建好的特征提取网络对所述第一训练图像进行特征提取,得到预测特征;

基于所述预测特征与所述第一标注特征的第一特征距离、所述预测特征与所述第二标注特征的第二特征距离,对所述特征提取网络进行参数调整,直至所述第一特征距离最小,及所述第二特征距离最大,得到所述第一特征提取模型。

另一方面,本发明还提出一种牛脸识别装置,所述牛脸识别装置包括:

获取单元,用于获取采集对象在不同朝向的脸部图像;

过滤单元,用于基于对所述脸部图像的关键点检测及质量检测,过滤所述脸部图像,得到初始图像,所述初始图像包括所述采集对象的正脸图像;

所述过滤单元,还用于基于对从所述初始图像中语义分割得到的牛头区域图像的质量检测,过滤所述牛头区域图像,得到目标牛头图像;

对齐分割单元,用于对齐所述目标牛头图像,得到对齐图像,并对所述正脸图像进行实例分割,得到实例图像;

增广单元,用于对所述对齐图像进行归一化增广处理,得到第一增广图像,并对所述实例图像进行归一化增广处理,得到第二增广图像;

融合单元,用于融合所述第一增广图像的脸部特征及所述第二增广图像的局部特征,得到目标特征;

识别单元,用于基于所述目标特征进行对象识别,得到所述采集对象的对象身份。

另一方面,本发明还提出一种电子设备,所述电子设备包括:

存储器,存储计算机可读指令;及

处理器,执行所述存储器中存储的计算机可读指令以实现所述牛脸识别方法。

另一方面,本发明还提出一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可读指令,所述计算机可读指令被电子设备中的处理器执行以实现所述牛脸识别方法。

由以上技术方案可以看出,本申请通过对所述脸部图像的质量检测,以及对从所述初始图像中提取到的牛头区域图像的质量检测,能够提高所述初始图像及所述目标牛头图像的图像质量,有效避免了因图像质量问题而导致无法准确的识别出所述对象身份,进一步地,本申请结合所述采集对象在多个所述不同朝向所对应的脸部特征及局部特征,能够充分考虑所述采集对象的特征,有效提升牛脸识别的鲁棒性。此外,本申请通过对所述对齐图像及所述实例图像进行增广处理,能够避免在对象识别时因图像角度等问题而造成无法准确的识别出所述对象身份,从而进一步提高了牛脸识别的准确性。

附图说明

图1是本发明牛脸识别方法的较佳实施例的应用环境图。

图2是本发明牛脸识别方法的较佳实施例的流程图。

图3是本发明牛脸识别方法中对象配置形状的示意图。

图4是本发明牛脸识别装置的较佳实施例的功能模块图。

图5是本发明实现牛脸识别方法的较佳实施例的电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。

如图1所示,是本发明牛脸识别方法的较佳实施例的应用环境图。所述牛脸识别方法可应用于一个或者多个电子设备1中,所述电子设备1与摄像设备2、摄像设备3及摄像设备4相通信,其中,所述摄像设备2、所述摄像设备3及所述摄像设备4可以是任意能够实现拍摄的设备。所述摄像设备2、所述摄像设备3及所述摄像设备4分别处于与不同朝向位置,以实现对采集对象在不同角度的拍摄。

所述牛脸识别方法可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

所述牛脸识别方法应用于一个或者多个电子设备中,所述电子设备是一种能够按照事先设定或存储的计算机可读指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字信号处理器(Digital Signal Processor,DSP)、嵌入式设备等。

所述电子设备可以是任何一种可与用户进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏机、交互式网络电视(Internet Protocol Television,IPTV)、智能穿戴式设备等。

所述电子设备可以包括网络设备和/或用户设备。其中,所述网络设备包括,但不限于单个网络电子设备、多个网络电子设备组成的电子设备组或基于云计算(CloudComputing)的由大量主机或网络电子设备构成的云。

所述电子设备所处的网络包括,但不限于:互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。

如图2所示,是本发明牛脸识别方法的较佳实施例的流程图。根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。所述方法的执行主体为电子设备,例如图1所示的电子设备1。

101,获取采集对象在不同朝向的脸部图像。

在本发明的至少一个实施例中,所述采集对象可以是指需要进行脸部识别的具体对象,例如,所述采集对象可以是编号为001的牛只。

多个所述不同朝向可以是左边、正面及右边等不同的朝向。

在本发明的至少一个实施例中,所述电子设备控制预先在不同位置所安装的摄像设备,对所述采集对象进行拍摄,得到所述脸部图像。

在本发明的至少一个实施例中,所述脸部图像可以从与多个摄像设备连接的存储设备中获取。

其中,所述存储设备可以同时与所述多个摄像设备进行通信。

102,基于对所述脸部图像的关键点检测及质量检测,过滤所述脸部图像,得到初始图像,所述初始图像包括所述采集对象的正脸图像。

在本发明的至少一个实施例中,所述初始图像是指将存在脸部遮挡问题、存在牛头不全问题、存在图像模糊问题的脸部图像进行删除后所得到的图像。所述初始图像中包含有牛头及其他图像信息。例如,所述其他图像信息可以是场景、牛身体等信息。

所述正脸图像是指处于所述采集对象正前方的摄像设备,对所述采集对象进行拍摄所得到的图像。

在本发明的至少一个实施例中,所述电子设备基于对所述脸部图像的关键点检测及质量检测,过滤所述脸部图像,得到初始图像包括:

对所述脸部图像进行关键点检测,得到脸部关键点;

识别所述采集对象所对应的对象类别;

基于所述对象类别的对象配置形状及所述脸部关键点,从所述脸部图像中识别出检测区域;

计算所述检测区域的像素方差值;

基于所述像素方差值与预设偏差阈值的比较,过滤所述脸部图像,得到过滤后的脸部图像;

计算所述过滤后的脸部图像的图像清晰度;

基于所述图像清晰度处理所述过滤后的脸部图像,得到所述初始图像。

其中,所述脸部关键点可以是眼睛、嘴巴等关键点。

所述对象类别是指所述采集对象所属的具体类别,例如,所述对象类别可以为牛。

所述对象配置形状是指从互联网数据库中获取与所述对象类别所对应的脸部形状。如图3所示,图3是本发明牛脸识别方法中对象配置形状的示意图,图3仅为示例。

所述检测区域是指所述脸部图像中包含所述脸部关键点的区域图像,所述检测区域的区域形状与所述对象配置形状相同。具体地,所述电子设备基于所述对象类别的对象配置形状及所述脸部关键点,从所述脸部图像中识别出检测区域包括:

获取与所述对象配置形状对应的配置图像,并识别出所述配置图像中与所述脸部关键点对应的配置关键点;

基于所述配置关键点与所述脸部关键点的映射关系,从所述脸部图像中提取出与所述配置图像对应的区域作为所述检测区域。

所述像素方差值是指所述检测区域中所有像素点的像素值的方差信息,所述像素方差值用于度量每个像素点与所述所有像素点的离散程度。

所述预设偏差阈值可以根据实际需求设定,例如,所述预设偏差阈值可以是0.5。

所述图像清晰度用于衡量所述过滤后的脸部图像的清晰程度。

通过结合所述对象配置形状及所述像素方差值,能够识别出存在脸部遮挡问题及/或牛头不全问题的脸部图像并进行图像过滤,进一步通过识别所述过滤后的脸部图像的图像清晰度,能够确保所述初始图像的清晰程度,从而有利于提高牛脸识别的鲁棒性。

具体地,所述电子设备基于所述像素方差值与预设偏差阈值的比较,过滤所述脸部图像,得到过滤后的脸部图像包括:

若所述像素方差值大于或者等于所述预设偏差阈值,则剔除所述脸部图像,得到所述过滤后的脸部图像。

本实施例中,当所述像素方差值大于或者等于所述预设偏差阈值,说明所述脸部图像存在脸部遮挡问题及/或牛头不全问题,因此,通过对所述脸部图像进行剔除,能够提高所述过滤后的脸部图像的质量。

具体地,所述图像清晰度的计算公式为:

其中,D表示所述图像清晰度,K

具体地,所述电子设备基于所述图像清晰度处理所述过滤后的脸部图像,得到所述初始图像包括:

将所述图像清晰度大于预设清晰度阈值的所述过滤后的脸部图像确定为所述初始图像。

其中,所述预设清晰度阈值可以根据实际需求设定。

103,基于对从所述初始图像中语义分割得到的牛头区域图像的质量检测,过滤所述牛头区域图像,得到目标牛头图像。

在本发明的至少一个实施例中,所述牛头区域图像是指所述初始图像中包含有牛头的区域图像。

所述目标牛头图像是指比例信息大于预设比例阈值的牛头区域图像。所述目标牛头图像包括左脸图像、正脸图像、右脸图像等。其中,所述比例信息用于衡量所述牛头区域图像的清晰度,所述比例信息越大,说明所述牛头区域图像的清晰度越高。

在本发明的至少一个实施例中,所述电子设备基于对从所述初始图像中提取到的牛头区域图像的质量检测,过滤所述牛头区域图像,得到目标牛头图像包括:

基于所述初始图像中每个像素点的像素值及像素位置,识别所述初始图像中每个像素点所属的像素类型;

将所述像素类型为预设类型的像素点所构成的区域确定为所述牛头区域图像;

计算所述牛头区域图像中像素数量在所述牛头区域图像的图像面积的比例信息;

根据所述比例信息及预设比例阈值,对所述牛头区域图像进行过滤,并将过滤后的牛头区域图像确定为所述目标牛头图像。

其中,所述像素类型可以包括,但不限于:牛头、场景、牛尾巴等类型。

所述预设类型通常设定为牛头。

所述预设比例阈值可以根据实际需求设定。

通过结合所述像素值及所述像素位置,能够准确地识别出每个像素点所属的像素类型,从而提高所述牛头区域图像的提取准确性,通过结合所述牛头区域图像中的像素数量及图像面积,能够准确的生成衡量所述牛头区域图像的清晰度的比例信息,进而通过所述比例信息与所述预设比例阈值的比较,能够合理的筛选出所述目标牛头图像,从而确保所述目标牛头图像的质量。

具体地,所述电子设备基于所述初始图像中每个像素点的像素值及像素位置,识别所述初始图像中每个像素点所属的像素类型包括:

从预设模板库中获取与所述像素值所对应的初始类型;

若所述初始类型有多个,从多个所述初始类型中获取与所述像素位置对应的映射类型作为所述像素类型。

其中,所述预设模板库中存储有多个像素值、多个像素位置与多个像素类型的映射关系。

通过结合所述像素值及所述像素位置,能够准确地识别出所述像素类型。

具体地,所述电子设备根据所述比例信息及预设比例阈值,对所述牛头区域图像进行过滤,并将过滤后的牛头区域图像确定为所述目标牛头图像包括:

将所述比例信息小于所述预设比例阈值的牛头区域进行剔除,并将剩余的牛头区域图像确定为所述目标牛头图像。

104,对齐所述目标牛头图像,得到对齐图像,并对所述正脸图像进行实例分割,得到实例图像。

在本发明的至少一个实施例中,所述对齐图像是指对多个所述目标牛头图像进行方向配准后生成的图像。

在本发明的至少一个实施例中,所述电子设备对齐所述目标牛头图像,得到对齐图像包括:

从多个所述目标牛头图像中识别出关键点对;

根据所述关键点对在所述多个目标牛头图像中的坐标信息,计算出所述关键点对的对齐变换关系;

基于所述对齐变换关系,对所述多个目标牛头图像进行对齐处理,得到所述对齐图像。

其中,所述关键点对是指从所述多个目标牛头图像中识别到的关键点,例如,所述关键点对可以是基于眼睛、眼角的特征点。

所述对齐变换关系的计算公式为:

q∈(1,z),p∈(1,z),q≠p;

其中,

在本发明的至少一个实施例中,所述电子设备对所述正脸图像进行实例分割,得到实例图像包括:

对所述正脸图像进行目标检测,得到所述正脸图像的对象中心坐标;

获取所述对象类别的偏移阈值;

基于所述对象中心坐标及所述偏移阈值,从所述正脸图像中识别出对象轮廓图像;

基于所述对象配置形状,对所述对象轮廓图像的图像形状进行调整,得到目标轮廓图像;

对所述目标轮廓图像进行掩膜处理,得到所述实例图像。

其中,所述对象中心坐标是指所述正脸图像中对象所处的中心位置所对应的坐标值。

所述偏移阈值可以根据实际生活中,所述对象类别所对应的所有对象中头部中心距离脸部边缘的最大值设定,所述偏移阈值可以有多个,例如,所述偏移阈值包括所述头部中心距离左脸边缘的阈值、所述头部中心距离右脸边缘的阈值等。

所述目标轮廓图像的图像形状与所述对象配置形状相同。

具体地,所述电子设备基于所述对象中心坐标及所述偏移阈值,从所述正脸图像中识别出对象轮廓图像包括:

计算所述对象中心坐标与所述偏移阈值的总和,得到轮廓坐标;

从所述正脸图像中获取所述轮廓坐标所构成的区域图像作为所述对象轮廓图像。

通过结合所述偏移阈值,能够准确的获取到所述轮廓坐标,从而合理的确定出所述对象轮廓图像。

105,对所述对齐图像进行归一化增广处理,得到第一增广图像,并对所述实例图像进行归一化增广处理,得到第二增广图像。

在本发明的至少一个实施例中,所述第一增广图像是指对所述对齐图像进行像素值归一化后,并进行角度旋转及/尺寸变换后所得到的图像。

所述第二增广图像是指对所述实例图像进行像素值归一化后,并进行角度旋转及/尺寸变换后所得到的图像。

106,融合所述第一增广图像的脸部特征及所述第二增广图像的局部特征,得到目标特征。

在本发明的至少一个实施例中,所述脸部特征是指预先训练完成的第一特征提取模型从所述第一增广图像中提取到的全局特征。

所述局部特征是指预先训练完成的第二特征提取模型从所述第二增广图像中提取到的特征信息。

所述目标特征是指对所述脸部特征及所述局部特征进行投票处理后所得到的融合特征。

在本发明的至少一个实施例中,所述电子设备融合所述第一增广图像的脸部特征及所述第二增广图像的局部特征,得到目标特征包括:

基于预先训练完成的第一特征提取模型,从所述第一增广图像中提取所述脸部特征,所述脸部特征包括每个矩阵位置的脸部特征元素;

基于预先训练完成的第二特征提取模型,从所述第二增广图像中提取所述局部特征,所述局部特征包括每个矩阵位置的局部特征元素;

对每个矩阵位置上的脸部特征元素及对应的局部特征元素进行投票处理,得到每个矩阵位置所对应的目标元素;

基于多个所述矩阵位置拼接所述目标元素,得到所述目标特征。

其中,所述目标元素是指所述脸部特征元素及所述对应的局部特征元素中,取值数量最多的元素,例如,所述脸部特征元素包括1,1,1,0,0,所述对应的局部特征元素为1,由于元素1所对应的取值数量为4,元素0所对应的取值数量为2,则所述目标元素为1。

通过对每个矩阵位置上的脸部特征元素及对应的局部特征元素进行投票处理,能够提高所述目标元素的确定准确性,从而基于所述多个矩阵位置对所述目标元素进行拼接,提高所述目标特征的融合准确性。

在本发明的至少一个实施例中,在基于预先训练完成的第一特征提取模型,从所述第一增广图像中提取所述脸部特征之前,所述方法还包括:

获取第一训练对象的第一训练图像及第一标注特征,并获取第二训练对象的第二训练图像及第二标注特征;

基于预先构建好的特征提取网络对所述第一训练图像进行特征提取,得到预测特征;

基于所述预测特征与所述第一标注特征的第一特征距离、所述预测特征与所述第二标注特征的第二特征距离,对所述特征提取网络进行参数调整,直至所述第一特征距离最小,及所述第二特征距离最大,得到所述第一特征提取模型。

其中,所述第一训练对象与所述第二训练对象不属于同一对象,例如,所述第一训练对象为:编号为003的牛只,所述第二训练对象为:编号为004的牛只。

所述特征提取网络包括多个卷积层,所述特征提取网络的参数包括每个卷积核的大小等。

通过结合同一训练对象及不同训练对象的特征距离,对所述特征提取网络进行参数调整,提高所述第一特征提取模型的特征提取能力。

在其他实施例中,所述电子设备还可以用所述第一训练图像及所述第二训练图像的度量学习损失值对所述特征提取网络进行参数调整,直至所述度量学习损失值最小,得到所述特征提取模型,其中,所述度量学习损失值的计算公式为:

其中,L表示所述度量学习损失值,N表示所述第一训练图像及所述第二训练图像的样本数量,M表示类别数量,m为角度余量,m∈[0.1,8],θ∈[0,π-m],x

通过本实施例,能够准确的计算出所述度量学习损失值,从而提高所述特征提取模型的调整准确性。

在本发明的至少一个实施例中,所述第二特征提取模型的训练方式与所述第一特征提取模型的训练方式相似,本申请对此不再赘述。

107,基于所述目标特征进行对象识别,得到所述采集对象的对象身份。

需要强调的是,为进一步保证上述对象身份的私密和安全性,上述对象身份还可以存储于一区块链的节点中。

在本发明的至少一个实施例中,所述对象身份是指唯一所述采集对象的标识信息,例如,所述对象身份可以是所述采集对象的身份编号等信息。

在本发明的至少一个实施例中,所述电子设备基于所述目标特征进行对象识别,得到所述采集对象的对象身份包括:

将所述目标特征与预设农场中所有特征模板进行匹配,得到匹配度;

将所述匹配度最大的特征模板所对应的对象信息确定为所述对象身份。

其中,所述预设农场可以是需要进行牛脸识别的农场。

由以上技术方案可以看出,本申请通过对所述脸部图像的质量检测,以及对从所述初始图像中提取到的牛头区域图像的质量检测,能够提高所述初始图像及所述目标牛头图像的图像质量,有效避免了因图像质量问题而导致无法准确的识别出所述对象身份,进一步地,本申请结合所述采集对象在多个所述不同朝向所对应的脸部特征及局部特征,能够充分考虑所述采集对象的特征,有效提升牛脸识别的鲁棒性。此外,本申请通过对所述对齐图像及所述实例图像进行增广处理,能够避免在对象识别时因图像角度等问题而造成无法准确的识别出所述对象身份,从而进一步提高了牛脸识别的准确性。

如图4所示,是本发明牛脸识别装置的较佳实施例的功能模块图。所述牛脸识别装置11包括获取单元110、过滤单元111、对齐分割单元112、增广单元113、融合单元114、识别单元115、提取单元116及调整单元117。本发明所称的模块/单元是指一种能够被处理器13所获取,并且能够完成固定功能的一系列计算机可读指令段,其存储在存储器12中。在本实施例中,关于各模块/单元的功能将在后续的实施例中详述。

获取单元110,用于获取采集对象在不同朝向的脸部图像;

过滤单元111,用于基于对所述脸部图像的关键点检测及质量检测,过滤所述脸部图像,得到初始图像,所述初始图像包括所述采集对象的正脸图像;

所述过滤单元111,还用于基于对从所述初始图像中语义分割得到的牛头区域图像的质量检测,过滤所述牛头区域图像,得到目标牛头图像;

对齐分割单元112,用于对齐所述目标牛头图像,得到对齐图像,并对所述正脸图像进行实例分割,得到实例图像;

增广单元113,用于对所述对齐图像进行归一化增广处理,得到第一增广图像,并对所述实例图像进行归一化增广处理,得到第二增广图像;

融合单元114,用于融合所述第一增广图像的脸部特征及所述第二增广图像的局部特征,得到目标特征;

识别单元115,用于基于所述目标特征进行对象识别,得到所述采集对象的对象身份。

在本发明的至少一个实施例中,所述过滤单元111,还用于对所述脸部图像进行关键点检测,得到脸部关键点;

识别所述采集对象所对应的对象类别;

基于所述对象类别的对象配置形状及所述脸部关键点,从所述脸部图像中识别出检测区域;

计算所述检测区域的像素方差值;

基于所述像素方差值与预设偏差阈值的比较,过滤所述脸部图像,得到过滤后的脸部图像;

计算所述过滤后的脸部图像的图像清晰度;

基于所述图像清晰度处理所述过滤后的脸部图像,得到所述初始图像。

在本发明的至少一个实施例中,所述过滤单元111,还用于基于对从所述初始图像中提取到的牛头区域图像的质量检测,过滤所述牛头区域图像,得到目标牛头图像包括:

基于所述初始图像中每个像素点的像素值及像素位置,识别所述初始图像中每个像素点所属的像素类型;

将所述像素类型为预设类型的像素点所构成的区域确定为所述牛头区域图像;

计算所述牛头区域图像中像素数量在所述牛头区域图像的图像面积的比例信息;

根据所述比例信息及预设比例阈值,对所述牛头区域图像进行过滤,并将过滤后的牛头区域图像确定为所述目标牛头图像。

在本发明的至少一个实施例中,所述对齐分割单元112,还用于对齐所述目标牛头图像,得到对齐图像包括:

从多个所述目标牛头图像中识别出关键点对;

根据所述关键点对在所述多个目标牛头图像中的坐标信息,计算出所述关键点对的对齐变换关系;

基于所述对齐变换关系,对所述多个目标牛头图像进行对齐处理,得到所述对齐图像。

在本发明的至少一个实施例中,所述对齐分割单元112,还用于对所述正脸图像进行目标检测,得到所述正脸图像的对象中心坐标;

获取所述对象类别的偏移阈值;

基于所述对象中心坐标及所述偏移阈值,从所述正脸图像中识别出对象轮廓图像;

基于所述对象配置形状,对所述对象轮廓图像的图像形状进行调整,得到目标轮廓图像;

对所述目标轮廓图像进行掩膜处理,得到所述实例图像。

在本发明的至少一个实施例中,所述融合单元114,还用于基于预先训练完成的第一特征提取模型,从所述第一增广图像中提取所述脸部特征,所述脸部特征包括每个矩阵位置的脸部特征元素;

基于预先训练完成的第二特征提取模型,从所述第二增广图像中提取所述局部特征,所述局部特征包括每个矩阵位置的局部特征元素;

对每个矩阵位置上的脸部特征元素及对应的局部特征元素进行投票处理,得到每个矩阵位置所对应的目标元素;

基于多个所述矩阵位置拼接所述目标元素,得到所述目标特征。

在本发明的至少一个实施例中,所述获取单元110,还用于获取第一训练对象的第一训练图像及第一标注特征,并获取第二训练对象的第二训练图像及第二标注特征;

提取单元116,用于基于预先构建好的特征提取网络对所述第一训练图像进行特征提取,得到预测特征;

调整单元117,用于基于所述预测特征与所述第一标注特征的第一特征距离、所述预测特征与所述第二标注特征的第二特征距离,对所述特征提取网络进行参数调整,直至所述第一特征距离最小,及所述第二特征距离最大,得到所述第一特征提取模型。

由以上技术方案可以看出,本申请通过对所述脸部图像的质量检测,以及对从所述初始图像中提取到的牛头区域图像的质量检测,能够提高所述初始图像及所述目标牛头图像的图像质量,有效避免了因图像质量问题而导致无法准确的识别出所述对象身份,进一步地,本申请结合所述采集对象在多个所述不同朝向所对应的脸部特征及局部特征,能够充分考虑所述采集对象的特征,有效提升牛脸识别的鲁棒性。此外,本申请通过对所述对齐图像及所述实例图像进行增广处理,能够避免在对象识别时因图像角度等问题而造成无法准确的识别出所述对象身份,从而进一步提高了牛脸识别的准确性。

如图5所示,是本发明实现牛脸识别方法的较佳实施例的电子设备的结构示意图。

在本发明的一个实施例中,所述电子设备1包括,但不限于,存储器12、处理器13,以及存储在所述存储器12中并可在所述处理器13上运行的计算机可读指令,例如牛脸识别程序。

本领域技术人员可以理解,所述示意图仅仅是电子设备1的示例,并不构成对电子设备1的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备1还可以包括输入输出设备、网络接入设备、总线等。

所述处理器13可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器13是所述电子设备1的运算核心和控制中心,利用各种接口和线路连接整个电子设备1的各个部分,及执行所述电子设备1的操作系统以及安装的各类应用程序、程序代码等。

示例性的,所述计算机可读指令可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器12中,并由所述处理器13执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该计算机可读指令段用于描述所述计算机可读指令在所述电子设备1中的执行过程。例如,所述计算机可读指令可以被分割成获取单元110、过滤单元111、对齐分割单元112、增广单元113、融合单元114、识别单元115、提取单元116及调整单元117。

所述存储器12可用于存储所述计算机可读指令和/或模块,所述处理器13通过运行或执行存储在所述存储器12内的计算机可读指令和/或模块,以及调用存储在存储器12内的数据,实现所述电子设备1的各种功能。所述存储器12可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。存储器12可以包括非易失性和易失性存储器,例如:硬盘、内存、插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他存储器件。

所述存储器12可以是电子设备1的外部存储器和/或内部存储器。进一步地,所述存储器12可以是具有实物形式的存储器,如内存条、TF卡(Trans-flash Card)等等。

所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机可读指令来指令相关的硬件来完成,所述的计算机可读指令可存储于一计算机可读存储介质中,该计算机可读指令在被处理器执行时,可实现上述各个方法实施例的步骤。

其中,所述计算机可读指令包括计算机可读指令代码,所述计算机可读指令代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机可读指令代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

结合图2,所述电子设备1中的所述存储器12存储计算机可读指令实现一种牛脸识别方法,所述处理器13可执行所述计算机可读指令从而实现:

获取采集对象在不同朝向的脸部图像;

基于对所述脸部图像的质量检测,过滤所述脸部图像,得到初始图像,所述初始图像包括所述采集对象的正脸图像;

基于对从所述初始图像中提取到的牛头区域图像的质量检测,过滤所述牛头区域图像,得到目标牛头图像;

对齐所述目标牛头图像,得到对齐图像,并对所述正脸图像进行实例分割,得到实例图像;

对所述对齐图像进行增广处理,得到第一增广图像,并对所述实例图像进行增广处理,得到第二增广图像;

融合所述第一增广图像的脸部特征及所述第二增广图像的局部特征,得到目标特征;

基于所述目标特征进行对象识别,得到所述采集对象的对象身份。

具体地,所述处理器13对上述计算机可读指令的具体实现方法可参考图2对应实施例中相关步骤的描述,在此不赘述。

在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

所述计算机可读存储介质上存储有计算机可读指令,其中,所述计算机可读指令被处理器13执行时用以实现以下步骤:

获取采集对象在不同朝向的脸部图像;

基于对所述脸部图像的质量检测,过滤所述脸部图像,得到初始图像,所述初始图像包括所述采集对象的正脸图像;

基于对从所述初始图像中提取到的牛头区域图像的质量检测,过滤所述牛头区域图像,得到目标牛头图像;

对齐所述目标牛头图像,得到对齐图像,并对所述正脸图像进行实例分割,得到实例图像;

对所述对齐图像进行增广处理,得到第一增广图像,并对所述实例图像进行增广处理,得到第二增广图像;

融合所述第一增广图像的脸部特征及所述第二增广图像的局部特征,得到目标特征;

基于所述目标特征进行对象识别,得到所述采集对象的对象身份。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。

因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。所述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称,而并不表示任何特定的顺序。

最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

技术分类

06120116334581