掌桥专利:专业的专利平台
掌桥专利
首页

快速图像识别方法、系统、介质及装置

文献发布时间:2023-06-19 13:26:15


快速图像识别方法、系统、介质及装置

技术领域

本发明属于图像识别领域,具体提供一种快速图像识别方法、系统、介质及装置。

背景技术

借助于近些年硬件性能的提升,深度学习重新焕发活力,并在图像识别领域不断创造新的记录。需要图像识别的领域很多,例如人脸识别、指纹识别、野外草本植物品类采集所使用的识别装置、垃圾分类识别、动物分类识别等等,下面本发明将以人脸识别为例进行展开介绍。其中,人脸识别作为其中一个主要技术分支,被工业界应用于生产,为支付、安防、交通等领域带来了不少便利。

由于服务器上拥有强大的计算性能,目前主流的技术方案都是将前端设备(与“后端”的服务器相对,指的是直接接触客户的终端设备,常见的是移动端设备,手机、平板电脑等)上抓取到的人脸图像传到服务器上进行人脸识别。但这种技术方案对于网络的稳定性要求极高,需要保持前端设备与服务器时刻在线,在一些无法提供稳定连接的场景如公交车上并不适用,而对于地铁这种可以长期保持网络通畅的场景,也通常希望能有一套备用方案,在十分罕见的断网现象发生时可以保证较高的通行率,避免入口堵塞。并且,服务器由于体积庞大并且价格昂贵,并不适宜在各个场所均设置,即使将服务器设置于某场所,受限于产品费用考量,也不会使用运算能力极高的服务器,使得人脸识别速度仍然不能得到一个令人满意的程度,人脸识别速度仍有待提高。

幸运的是,适用于移动端设备的人脸特征提取技术取得了不错的突破,在大规模人脸特征库上的识别正确率正在逐步接近服务器的级别。不仅特征提取速度达到了几百毫秒级别,其识别率可以支持的人脸特征库规模也可以达到百万级。但对于移动端设备来说,做一次大规模的人脸特征库检索耗时仍停留在若干秒的级别,这对于业务场景来说是致命的,还会带来十分糟糕的用户体验。因此,无论是服务器还是移动端,仍然需要将人脸识别速度进一步提高。

相应地,本领域需要一种新的快速图像识别方法、系统、介质及装置来解决现有的图像识别速度仍然不够高效的问题。

发明内容

本发明旨在解决上述技术问题,即,解决现有的图像识别速度仍然不够高效的问题。

在第一方面,本发明提供了一种快速图像识别方法,其特征在于,包括:

S01、对预存的完整待识别物特征库的向量特征进行简化,获得简化待识别物特征库;

S02、接收待核查的现场待识别物特征,并转化成完整的现场待识别物向量特征;

S03、对完整的现场待识别物的向量特征进行简化,获得现场待识别物简化向量特征;

S04、计算简化待识别物特征库中每个ID对应的向量特征与现场待识别物简化向量特征的相似度值P

S05、在简化待识别物特征库中筛选出所有P

S06、选取完整待识别物特征库中的与一组所述第一向量特征具有相同ID的一组第二向量特征;

S07、将完整的现场待识别物向量特征与一组所述第二向量特征逐一进行相似度计算,获得一组相似度值P

S08、将P

在上述方法的优选技术方案中,步骤S01和步骤S03中对向量特征进行简化的方案具体包括:

获取使用L个浮点型数组成的每条完整的向量特征的属性值;

对每个属性值逐个乘以128,使原本分布于(-1.0,1.0)区间的值扩展到(-128.0,128.0)区间内;

对每个属性值进行截断,舍去小数部分,得到一个整数,位于[-128,127]区间内;

将该整数用一个8位的整形数表示,最终将原本长度为N*L*4字节的完整待识别物特征库简化为长度为N*L字节的简化待识别物特征库;

其中,浮点型占用4字节,8位的整形数占用1字节。

在上述方法的优选技术方案中,所述设定阈值通过下列方式计算:

其中,Score为相似度分数,P为所述设定阈值,μ,σ为定义的特征分布值。

在上述方法的优选技术方案中,步骤S05进一步包括:

S051、获取最大误差值A;

S052、在简化待识别物特征库中筛选出所有符合P

在上述方法的优选技术方案中,最大误差值A为规定的预设值;或者,

最大误差值A由下述方法计算获得:

当向量特征X的第i个特征值为x

计算一次內积(余弦相似度)累积误差:

基于累计误差获得双边误差为

在上述方法的优选技术方案中,待识别物为人脸、指纹、垃圾分类物、草本植物分类物、动物分类物中的任一种;

并且/或者,

步骤S08进一步包括:

S081、筛选并获得P

S082、当该最大值大于所述设定阈值时,该最大值所对应的向量特征作为完整待识别物特征库中的与现场待识别物最匹配的向量特征,完成图像识别;

S083、当该最大值不大于所述设定阈值时,提示数据库中没有匹配的向量特征,完成图像识别。

本发明还提供了一种快速图像识别系统,其特征在于,所述系统包括:

数据库向量特征简化模块:对预存的完整待识别物特征库的向量特征进行简化,获得简化待识别物特征库;

现场待识别物特征获取与向量转化模块:接收待核查的现场待识别物特征,并转化成完整的现场待识别物向量特征;

现场待识别物向量特征简化模块:对完整的现场待识别物的向量特征进行简化,获得现场待识别物简化向量特征;

简化向量特征对比计算模块:计算简化待识别物特征库中每个ID对应的向量特征与现场待识别物简化向量特征的相似度值P

简化向量特征库ID筛选模块:在简化待识别物特征库中筛选出所有P

完整向量特征库ID选取模块:选取完整待识别物特征库中的与一组所述第一向量特征具有相同ID的一组第二向量特征;

完整向量特征对比计算模块:将完整的现场待识别物向量特征与一组所述第二向量特征逐一进行相似度计算,获得一组相似度值P

匹配ID输出模块:将P

在上述系统的优选技术方案中,简化向量特征库ID筛选模块进一步包括:

误差值获取模块:获取最大误差值A;

基于误差值的简化向量特征库ID筛选模块:在简化待识别物特征库中筛选出所有符合P

在上述系统的优选技术方案中,误差值获取模块进一步包括:

常数级误差计算模块:当向量特征X的第i个特征值为x

累积误差计算模块:计算一次内积(余弦相似度)累积误差:

双边误差计算模块:基于累计误差获得双边误差为

在上述系统的优选技术方案中,匹配ID输出模块进一步包括:

相似度值筛选比较模块:筛选并获得P

输出模块:当该最大值大于所述设定阈值时,该最大值所对应的向量特征作为完整待识别物特征库中的与现场待识别物最匹配的向量特征,完成图像识别;当该最大值不大于所述设定阈值时,提示数据库中没有匹配的向量特征,完成图像识别。

本发明还提供了一种计算机可读存储介质,所述存储介质中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行上述技术方案中任一项的快速图像识别方法。

本发明还提供了一种控制装置,该控制装置包括处理器和存储器,所述存储器适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行上述技术方案中任一项的快速图像识别方法。

本领域人员能够理解的是,在本发明的技术方案中,快速图像识别方法包括以下步骤:

S01、对预存的完整待识别物特征库的向量特征进行简化,获得简化待识别物特征库;

S02、接收待核查的现场待识别物特征,并转化成完整的现场待识别物向量特征;

S03、对完整的现场待识别物的向量特征进行简化,获得现场待识别物简化向量特征;

S04、计算简化待识别物特征库中每个ID对应的向量特征与现场待识别物简化向量特征的相似度值P

S05、在简化待识别物特征库中筛选出所有P

S06、选取完整待识别物特征库中的与一组所述第一向量特征具有相同ID的一组第二向量特征;

S07、将完整的现场待识别物向量特征与一组所述第二向量特征逐一进行相似度计算,获得一组相似度值P

S08、将P

下文中以待识别物为人脸为例对本发明进行阐述,通过上述设置方式,本发明将现有技术中的直接将人脸完整特征与人脸完整特征库中的数据进行对比的方案进行了改进,将完整人脸特征库进行了简化,然后将现场采集的人脸特征也进行了相同的简化,再将简化方案进行筛查,筛选出符合要求的一组第一特征向量,然后再将人脸特征与完整人脸特征库中对应这一组第一特征向量的一组第二特征向量的特征进行对比,这样便将筛查分成了两步,第一步当中将简化的人脸特征与简化人脸特征库进行对比,运算速度非常快,然后基于筛选出的一组第一特征向量,再将完整的人脸特征与完整人脸特征库中的与第一特征向量对应的第二特征向量进行一一对比,最终能够实现准确度还能保持原有水准的同时,整体计算量显著降低,大大提升了识别速度。

附图说明

下面结合附图并结合待识别物为人脸为例来描述本发明的优选实施方式,附图中:

图1是本发明的快速图像识别方法的主要流程图;

图2是本发明的步骤S05的详细流程图;

图3是本发明的步骤S08的详细流程图;

图4是本发明的快速图像识别系统的模块组成图;

图5是简化向量特征库ID筛选模块的详细组成图;

图6是匹配ID输出模块的详细组成图。

附图标记列表:

1、快速图像识别系统;

11、数据库向量特征简化模块;12;现场待识别物特征获取与向量转化模块;13、现场待识别物向量特征简化模块;14、简化向量特征对比计算模块;

15、简化向量特征库ID筛选模块;151、误差值获取模块;1511、常数级误差计算模块;1512、累积误差计算模块;1513、双边误差计算模块;152、基于误差值的简化向量特征库ID筛选模块;

16、完整向量特征库ID选取模块;17、完整向量特征对比计算模块;

18、匹配ID输出模块;181、相似度值筛选比较模块;182、输出模块。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。本领域技术人员可以根据需要对其作出调整,以便适应具体的应用场合。

在本发明的描述中,“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路,各种合适的感应器,通信端口,存储器,也可以包括软件部分,比如程序代码,也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似,可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。

参照图1至图3,对本发明的提升移动设备检测速度的方法进行描述。

如图1-3所示,为解决现有的图像识别速度仍然不够高效的问题,本发明的快速图像识别方法包括以下步骤:

S01、对预存的完整待识别物特征库的向量特征进行简化,获得简化待识别物特征库。

以待识别物为人脸为例进行说明,为了对现场人员进行验证,现有的完整人脸特征库非常完备,特征库中的每个人都对应一个完整的向量特征,但是,这种完整的向量特征每一个都要逐一与现场的待识别的人脸进行校对,这就产生了很大的工作量,便需要规格较高的服务器完成,如果是类似手机、平板电脑等移动端设备,运算起来非常慢,这将使得用户的体验变得很差,是很难在移动端拓展的,而在某些场景下,例如公交车上,经常会走到没有网络的地方,这时候会非常需要移动端来进行识别,移动端由于其便携性,能适应任何地方,因此,开发移动端的快速图像识别势在必行,使用户在没网的环境下不依赖远程服务器的算力也能完成人脸识别。

为了完成上述目标,本发明的步骤S01中,先基于完整人脸特征库生成一个简化人脸特征库,具体地,包括以下步骤:

S011、获取使用L个浮点型数组成的每条完整的向量特征的属性值;

S012、对每个属性值逐个乘以128,使原本分布于(-1.0,1.0)区间的值扩展到(-128.0,128.0)区间内;

完整人脸特征库中每个人都是以向量特征进行表示的,不同的人根据特征会生成不同的向量,通常,向量是以L个浮点型数组成的一条完整的向量特征的属性值,以常用的32位浮点型数为例进行说明,将每条特征(用L个浮点型数组成的向量表示)的属性值逐个乘以128,使原本值分布于(-1.0,1.0)区间的值扩展到(-128.0,128.0)区间内。

S013、对每个属性值进行截断,舍去小数部分,得到一个整数,位于[-128,127]区间内;将该整数用一个8位的整形数表示,最终将原本长度为N*L*4字节的完整待识别物特征库简化为长度为N*L字节的简化待识别物特征库;其中,浮点型占用4字节,8位的整形数占用1字节。

整理完后本发明便获得了简化人脸向量特征库,能够用于后续计算使用。完整的人脸特征是浮点型数据,占用4个字节长度;转换后的数据是8位整型数据,占1个字节长度。而常用的例如手机、平板电脑的移动端设备上的向量寄存器一次性可以装载16个字节进行运算,因此一次运算产出8位整型的运算结果数量是浮点型的4倍。另外,整型数据的乘法、加法运算速度本身快于浮点型(硬件构架所致),因此整体效率提升很明显,综合效率提升7-11倍,至此,向量特征库的简化基本完成。

S02、接收待核查的现场待识别物特征,并转化成完整的现场待识别物向量特征;

S03、对完整的现场待识别物的向量特征进行简化,获得现场待识别物简化向量特征。

步骤S02和S03中,对应的场景即为现场工作人员采集人脸,并且移动端将人脸转化为完整的现场人脸向量特征,然后再经过与步骤S01中相同的方式,将浮点型数据转换成8位整型数据,为后续计算做准备。

S04、计算简化待识别物特征库中每个ID对应的向量特征与现场待识别物简化向量特征的相似度值P

S05、在简化待识别物特征库中筛选出所有P

在步骤S01中获得了简化人脸特征库,在步骤S03中获得了现场人脸的简化向量特征,因此,在步骤S04中开始遍历简化人脸特征库,并与现场人脸的简化向量特征进行一一计算相似度值P

两个向量的相似度通常通过数学方法计算出,但相似度本身是不够直观的概念,因此为了便于用户解读通常将最终计算得到的相似度使用如下公式进行美化:

其中p为向量的相似度值,μ,σ为特征分布,Score为相似度分数。相似度分数Score即相当于如果人主观给相似度打分时,总分为1分,则相似度分数将会在0-1之间进行变化,展示给用户用于更直观的理解,对于用户一般不直接用p替代,原因在于,p是实际的相似度值,其区间是负无穷到正无穷,比方说,如果与客户说相似度值是1743,用户仍然不会理解到底是相似还是不相似,因此,p通常用于内部计算,而展示给用户的是Score,最终,用户会设定一个标准的相似度分数的阈值Score,然后,设定阈值p通过下列方式计算:

其中,Score为相似度分数,P为所述设定阈值,μ,σ为定义的特征分布值。

通过上式,易知该函数单调递增,于是在步骤S05中,直接筛选出所有P

更进一步地,由于在对浮点型的数据库转换成8位整数型的数据库的过程中,进行了小数的舍弃截断,这势必会造成一定的误差,对现场人脸进行舍弃阶段过程中,同样产生了一定的误差,因此,出现了双边误差,为了进一步优化本发明的精度,在本发明的一种优选实施方式中,步骤S05进一步包括:

S051、获取最大误差值A;

S052、在简化待识别物特征库中筛选出所有符合P

其中,最大误差值A为规定的预设值,本领域技术人员可以根据实际使用灵活设置一个合理的误差值A以弥补上述简化带来的精度降低的弥补;

或者,最大误差值A由下述方法计算获得:

当向量特征X的第i个特征值为x

计算一次內积(余弦相似度)累积误差:

基于累计误差获得双边误差为

通过计算得到,还可以使误差A设定为

至此,对于简化特征库和现场简化向量的特征使用完毕,筛选出了初步符合用户对相似度要求的一组ID,完成了本发明的第一步的初步筛选。

下面将会针对第二部的精细筛选进行展开:

S06、选取完整待识别物特征库中的与一组所述第一向量特征具有相同ID的一组第二向量特征。

由于简化人脸特征库中的ID是跟完整人脸特征库中的ID一一对应的,只是ID的具体参数不同(第二向量特征是浮点型,第一向量特征是8位整数型),因此,将完整人脸特征库中的一组ID重新进行一一对应并提取出来,获得具有相同ID的一组第二向量特征。

S07、将完整的现场待识别物向量特征与一组所述第二向量特征逐一进行相似度计算,获得一组相似度值P

S08、将P

进一步地,步骤S08进一步包括:

S081、筛选并获得P

S082、当该最大值大于所述设定阈值时,该最大值所对应的向量特征作为完整待识别物特征库中的与现场待识别物最匹配的向量特征,完成图像识别;

S083、当该最大值不大于所述设定阈值时,提示数据库中没有匹配的向量特征,完成图像识别。

本发明将最接近的一组ID筛选出来后,再重新将完整的人脸向量特征与这一组ID的完整的向量特征进行逐一比对,此时数据计算量已经变得很小,移动端也能够轻松满足,此时对比后的相似度最高的ID即可作为完整待识别物特征库中的与现场待识别物最匹配的ID。此时由于是重新计算相似度值,再重新比对一下该最大值是否大于所述设定阈值,如果大于的话,该最大值所对应的ID为完整待识别物特征库中的与现场待识别物最匹配的ID,如果不大于的话,提示数据库中没有匹配的ID即可。

综上所述,本发明针对目前存在的问题,设计了一套人脸特征简化方案,由初筛和精细对比组成,降低了非常大的运算量,使人脸相似度计算速度提升若干倍。同时针对简化特征的步骤进行严格的数学推导,保证其误差可控。在误差的极限范围内,对大规模人脸特征库进行初步检索,得到满足要求的候选特征。然后使用完整特征对现场特征逐个精算,得到最终想要检索出的目标。

需要说明的是,上述实施方式仅仅用来阐述本发明的原理,并非旨在与限制本发明的保护范围,在不偏离本发明原理的条件下,本领域技术人员能够对上述结构进行调整,以便本发明能够应用于更加具体的应用场景。

上面已经针对本发明的快速图像识别方法进行了阐述,本发明针对上述方法还提出了一种快速图像识别系统1,参照图4至图6。

本发明还提供了一种快速图像识别系统1,所述系统包括:

数据库向量特征简化模块11:对预存的完整待识别物特征库的向量特征进行简化,获得简化待识别物特征库;

现场待识别物特征获取与向量转化模块12:接收待核查的现场待识别物特征,并转化成完整的现场待识别物向量特征;

现场待识别物向量特征简化模块13:对完整的现场待识别物的向量特征进行简化,获得现场待识别物简化向量特征;

简化向量特征对比计算模块14:计算简化待识别物特征库中每个ID对应的向量特征与现场待识别物简化向量特征的相似度值P

简化向量特征库ID筛选模块15:在简化待识别物特征库中筛选出所有P

完整向量特征库ID选取模块16:选取完整待识别物特征库中的与一组所述第一向量特征具有相同ID的一组第二向量特征;

完整向量特征对比计算模块17:将完整的现场待识别物向量特征与一组所述第二向量特征逐一进行相似度计算,获得一组相似度值P

匹配ID输出模块18:将P

其中,简化向量特征库ID筛选模块15进一步包括:

误差值获取模块151:获取最大误差值A;

基于误差值的简化向量特征库ID筛选模块152:在简化待识别物特征库中筛选出所有符合P

其中,误差值获取模块151进一步包括:

常数级误差计算模块1511:当向量特征X的第i个特征值为x

累积误差计算模块1512:计算一次內积(余弦相似度)累积误差:

双边误差计算模块1513:基于累计误差获得双边误差为

其中,匹配ID输出模块18进一步包括:

相似度值筛选比较模块181:筛选并获得P

输出模块182:当该最大值大于所述设定阈值时,该最大值所对应的向量特征作为完整待识别物特征库中的与现场待识别物最匹配的向量特征,完成图像识别;当该最大值不大于所述设定阈值时,提示数据库中没有匹配的向量特征,完成图像识别。

此外,本发明还提供了一种计算机可读存储介质,所述存储介质中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行上述技术方案中任一项的快速图像识别方法。

此外,一种控制装置,该控制装置包括处理器和存储器,所述存储器适于存储多条程序代码,其特征在于,所述程序代码适于由所述处理器加载并运行以执行上述技术方案中任一项的快速图像识别方法。

本领域技术人员可以理解,上述提高行人数量检测准确度的系统及装置还包括一些其他公知结构,例如处理器、控制器、存储器等,其中,存储器包括但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等,处理器包括但不限于CPLD/FPGA、DSP、ARM处理器、MIPS处理器等。为了不必要地模糊本公开的实施例,这些公知的结构未在附图中示出。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述,但是本领域技术人员可以理解,为了实现本实施例的效果,不同的步骤之间不必按照这样的次序执行,其可以同时(并行)执行或以颠倒的次序执行。

至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

相关技术
  • 快速图像识别方法、系统、介质及装置
  • 图像识别方法及装置、存储介质、终端、图像识别系统
技术分类

06120113677642