掌桥专利:专业的专利平台
掌桥专利
首页

一种身份识别方法及设备

文献发布时间:2023-06-19 09:26:02


一种身份识别方法及设备

技术领域

本申请实施例涉及身份识别技术领域,特别涉及一种身份识别方法及设备。

背景技术

指纹是一种常见的身份识别的生物特征,指纹识别近年来在终端设备上大量普及。指纹识别技术首先采集指纹图像,随后对图像进行处理与特征抽取,最后与终端设备中存储的模板进行特征比对,输出结果。

随着深度学习的发展,终端能够使用神经网络完成特征抽取与特征比对过程。现有技术中,终端设备根据无法根据用户个性化数据进行自学习,自适应调整当前神经网络的参数。因而,端侧身份识别精度有限,无法获得持续改进的身份识别精度。

发明内容

本申请实施例提供一种身份识别方法及设备,终端设备可以训练获得终端设备的模板样本组对应的子模型,从而可以使用子模型来确定待处理图像样本与子模型对应的模板样本组中的模板图像是否匹配,提升终端设备侧的身份识别精度。

为达到上述目的,本申请实施例采用如下技术方案:

第一方面,本申请实施例提供了一种身份识别方法。其中,终端设备配置有第一模型,终端设备具有至少一个模板样本组,至少一个模板样本组包括第一模板样本组,每个模板样本组包括至少一个模板图像。该方法包括:终端设备采集身份识别数据的多个参考图像样本;终端设备根据多个参考图像样本、第一模型和第一模板样本组训练获得第一模板样本组对应的第一子模型;终端设备采集待处理图像样本;终端设备根据所述第一子模型,将待处理图像样本与第一模板样本组中的模板图像进行一一比对,获得第一匹配结果;终端设备根据第一模型,将待处理图像样本与目标模板样本组以外的模板图像进行一一比对,获得第二匹配结果;其中,目标模板样本组为至少一个模板样本组中已用于训练子模型的模板样本组,并且目标模板样本组包括第一模板样本组;终端设备根据第一匹配结果和第二匹配结果,确定待处理图像样本与至少一个模板样本组中的模板图像的目标匹配结果。

在该方案中,终端设备先针对第一模板样本组训练出第一子模型。之后,当终端设备采集到待处理图像样本时,轮询所有模板图像。对于训练过的第一模板样本组中的模板图像,终端设备采用第一子模型进行比对,获得第一匹配结果。由于终端设备对第一模板样本组训练出对应的第一子模型,因此,终端设备使用第一子模型来确定待处理图像样本与第一模板样本组中的模板图像是否匹配,能够提升终端设备侧的身份识别精度。对于未训练过的其他模板样本组中的模板图像,终端设备采用第一模型进行比对,获得第二匹配结果。由于终端设备保留了第一模型,因此能够解决抗遗忘问题,保证身份识别的安全性。

在一种可能的设计中,终端设备根据多个参考图像样本、第一模型和所述第一模板样本组训练获得第一子模型,包括:终端设备根据第一模型,将每个参考图像样本与第一模板样本组中的模板图像进行一一比对,确定参考匹配结果;终端设备基于多个参考图像样本、第一模型、第一模板样本组和参考匹配结果,训练得到第一模板样本组对应的第一子模型。

在该方案中,终端设备具体是基于多个参考图像样本、第一模型、第一模板样本组和参考匹配结果训练得到第一子模型。

在一种可能的设计中,终端设备基于多个参考图像样本、第一模型述第一模板样本组和参考匹配结果,训练得到第一模板样本组对应的第一子模型,包括:终端设备基于多个参考图像样本、第一模型的模型参数、第一模板样本组和参考匹配结果,训练得到第一模板样本组对应的第一子模型的模型参数;或者,终端设备根据多个参考图像样本、训练第一模型时使用的样本、第一模板样本组和参考匹配结果,训练得到第一模板样本组对应的第一子模型的模型参数。

也就是说,终端设备训练第一子模型时可以使用第一模型的参数,也可以使用训练第一模型时使用的样本。

在一种可能的设计中,第一子模型和第一模型均具有多个模型参数,多个模型参数包括第一模型参数组和第二模型参数组;其中,第一模型参数组中的模型参数用于待处理图像样本与模板图像的特征提取,第二模型参数组中的模型参数用于待处理图像样本的特征与模板图像的特征的相似度比较。其中,第一子模型和第一模型的第一模型参数组中的模型参数均相同,第一子模型和第一模型的第二模型参数组中的至少一个模型参数不同;或者,第一子模型和第一模型的第一模型参数组中的至少一个模型参数不同,第一子模型和第一模型的第二模型参数组中的模型参数均相同;或者,第一子模型和第一模型的第一模型参数组中的至少一个模型参数不同,第一子模型和第一模型的第二模型参数组中的至少一个模型参数不同。

在该方案中,第一模型参数组应用于特征提取网络,第二模型参数组应用于决策输出网络。第一子模型和第一模型的模型参数至少部分不同。也可以认为,训练第一子模型的过程是调整第一模型的模型参数的过程。

在一种可能的设计中,若目标比对结果指示待处理图像样本与至少一个模板样本组中的第一模板图像匹配,并且目标比对结果指示待处理图像样本与第一模板图像匹配的置信值大于预设值,则终端根据待处理图像样本更新第一模板图像所属的模板样本组。

在该方案中,可以使用采集到的较高质量的待处理图像样本来更新模板样本组,从而通过更新模板样本组来提高后续比对精度。

在一种可能的设计中,在终端设备采集身份识别数据的多个参考图像样本之后,该方法还包括:终端设备根据多个参考图像样本、第一模型和第二模板样本组训练获得第二子模型。其中,至少一个模板样本组还包括第二模板样本组,目标模板样本组还包括第二子模型。在终端设备采集待处理图像样本之后,该方法还包括:终端设备根据第二子模型,将待处理图像样本与第二模板样本组中的模板图像进行一一比对,获得第三匹配结果。根据第一匹配对结果和第二匹配结果,确定待处理图像样本与至少一个模板样本组中的模板图像的目标匹配结果,包括:根据第一匹配结果、第二匹配结果和第三匹配结果,确定待处理图像样本与至少一个模板样本组中的模板图像的目标匹配结果。

在该方案中,终端设备还可以训练第二模板样本组对应的第二子模型,即终端设备还可以训练多个子模型。终端设备针对不同的模板样本组采用不同的子模型,从而能够提高身份识别的精度。

在一种可能的设计中,该方法还包括:终端设备基于待处理图像样本、第一模板样本组和第一匹配结果,对第一子模型进行修正;和/或,终端设备基于待处理图像样本、第二模板样本组和第三匹配结果,对第二子模型进行修正。

在该方案中,终端设备对各个子模型进行修正,从而使得终端设备能够通过修正后的子模型获得更精确的比对结果。

在一种可能的设计中,该方法还包括:终端设备基于第一模型、待处理图像样本、第一模板样本组和第一匹配结果,训练得到第一模板样本组对应的第三子模型,并使用第三子模型替换所述第一子模型;和/或,终端设备基于第一模型、待处理图像样本、第二模板样本组和第三匹配结果,训练得到第二模板样本组对应的第四子模型,并使用第四子模型替换第二子模型。

在该方案中,终端设备可以针对各个子模型训练出新的子模型,以替换旧的子模型,从而使得终端设备能够通过新的子模型获得更精确的比对结果。

在一种可能的设计中,第一模型来自云服务器或其他设备。也就是说,云服务器或其他设备可以训练获得第一模型,并发送至终端设备。

第二方面,本申请实施例提供了一种终端设备。终端设备配置有第一模型,终端设备具有至少一个模板样本组,至少一个模板样本组包括第一模板样本组,每个模板样本组包括至少一个模板图像,终端设备包括采集模块和处理模块。采集模块用于:采集身份识别数据的多个参考图像样本;处理模块用于:根据多个参考图像样本、第一模型和第一模板样本组训练获得第一模板样本组对应的第一子模型。采集模块还用于:采集待处理图像样本。处理模块还用于:根据第一子模型,将待处理图像样本与第一模板样本组中的模板图像进行一一比对,获得第一匹配结果。处理模块还用于:根据第一模型,将待处理图像样本与目标模板样本组以外的模板图像进行一一比对,获得第二匹配结果;其中,目标模板样本组为至少一个模板样本组中已用于训练子模型的模板样本组,并且目标模板样本组包括第一模板样本组。处理模块还用于:根据第一匹配结果和第二匹配结果,确定待处理图像样本与至少一个模板样本组中的模板图像的目标匹配结果。

在一种可能的设计中,处理模块还用于:根据第一模型,将每个参考图像样本与第一模板样本组中的模板图像进行一一比对,确定参考匹配结果;基于多个参考图像样本、第一模型、第一模板样本组和参考匹配结果,训练得到第一模板样本组对应的第一子模型。

在一种可能的设计中,处理模块还用于:基于多个参考图像样本、第一模型的模型参数、第一模板样本组和参考匹配结果,训练得到第一模板样本组对应的第一子模型的模型参数;或者,根据多个参考图像样本、训练第一模型时使用的样本、第一模板样本组和参考匹配结果,训练得到第一模板样本组对应的第一子模型的模型参数。

在一种可能的设计中,第一子模型和第一模型均具有多个模型参数,多个模型参数包括第一模型参数组和第二模型参数组;其中,第一模型参数组中的模型参数用于待处理图像样本与模板图像的特征提取,第二模型参数组中的模型参数用于待处理图像样本的特征与模板图像的特征的相似度比较。其中,第一子模型和第一模型的第一模型参数组中的模型参数均相同,第一子模型和第一模型的第二模型参数组中的至少一个模型参数不同;或者,第一子模型和第一模型的第一模型参数组中的至少一个模型参数不同,第一子模型和第一模型的第二模型参数组中的模型参数均相同;或者,第一子模型和第一模型的第一模型参数组中的至少一个模型参数不同,第一子模型和第一模型的第二模型参数组中的至少一个模型参数不同。

在一种可能的设计中,处理模块还用于:根据多个参考图像样本、第一模型和第二模板样本组训练获得第二子模型;其中,至少一个模板样本组还包括第二模板样本组,目标模板样本组还包括所述第二子模型。处理模块还用于:根据第二子模型,将待处理图像样本与第二模板样本组中的模板图像进行一一比对,获得第三匹配结果。处理模块还用于:根据第一匹配结果、第二匹配结果和第三匹配结果,确定待处理图像样本与至少一个模板样本组中的模板图像的目标匹配结果。

在一种可能的设计中,处理模块还用于:基于待处理图像样本、第一模板样本组和第一匹配结果,对第一子模型进行修正;和/或,基于待处理图像样本、第二模板样本组和第三匹配结果,对第二子模型进行修正。

在一种可能的设计中,处理模块还用于:基于第一模型、待处理图像样本、第一模板样本组和第一匹配结果,训练得到第一模板样本组对应的第三子模型,并使用第三子模型替换第一子模型;和/或,基于第一模型、待处理图像样本、第二模板样本组和第三匹配结果,训练得到第二模板样本组对应的第四子模型,并使用第四子模型替换第二子模型。

在一种可能的设计中,第一模型来自云服务器。

第三方面,本申请实施例提供了一种身份识别系统。该身份识别系统包括云服务器和终端设备。终端设备包括至少一个模板样本组,至少一个模板样本组包括第一模板样本组,每个模板样本组包括至少一个模板图像。终端设备配置有第一模型和第一子模型,其中,第一模型来自云服务器,第一子模型是根据多个参考图像样本、第一模型和第一模板样本组训练所得。第一子模型用于,一一比对待处理图像样本与第一模板样本组中的模板图像;第一模型用于,一一比对待处理图像样本与目标模板样本组以外的模板图像。其中,目标模板样本组为至少一个模板样本组中已用于训练子模型的模板样本组,并且目标模板样本组包括第一模板样本组。

在一种可能的设计中,终端设备还配置有第二子模型,至少一个模板样本组还包括第二模板样本组。其中,第二子模型是根据多个参考图像样本、第一模型和第二模板样本组训练所得。第二子模型用于,一一比对待处理图像样本与第二模板样本组中的模板图像。目标模板样本组还包括第二模板样本组。

在一种可能的设计中,终端设备用于执行第一方面中任一项可能的设计中的身份识别方法。

第四方面,本申请实施例提供了一种终端设备。该终端设备包括:处理器和存储器。存储器用于存储计算机指令,当终端设备运行时,处理器执行存储器存储的计算机指令,实现第一方面中任一项可能的设计中的身份识别方法。

第五方面,本申请实施例提供了一种计算机可读存储介质。该计算机可读存储介质包括计算机指令,当计算机指令在计算机或处理器上运行时,使得所计算机或处理器执行第一方面中任一项可能的设计中的身份识别方法。

第六方面,本申请实施例提供了一种计算机程序产品。当计算机程序产品在计算机或处理器上运行时,使得计算机或处理器执行第一方面中任一项可能的设计中的身份识别方法。

上述其他方面对应的有益效果,可以参见关于方法方面的有益效果的描述,此处不予赘述。

附图说明

图1为本申请实施例提供的一种神经网络系统的示意图;

图2为本申请实施例提供的一种终端设备的结构示意图;

图3为本申请实施例提供的一种身份识别方法的流程图;

图4为本申请实施例提供的一种第一模型的基本结构的示意图;

图5为本申请实施例提供的一种训练子模型的流程示意图;

图6为本申请实施例提供的一种训练子模型方法的流程图;

图7为本申请实施例提供的一种神经网络结构示意图;

图8为本申请实施例提供的另一种身份识别方法的流程图;

图9为本申请实施例提供的一种终端设备的又一结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。

本申请实施例提供了一种身份识别方法,可以应用于如图1所示的神经网络系统中。参见图1,该神经网络系统包括终端设备101、云服务器102、公有模型103和私有模型104等。其中,终端设备101可以是手机、可穿戴设备(例如手表或手环等)、平板电脑、车载设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或个人数字助理(personal digital assistant,PDA)等能够根据用户身份识别数据进行匹配的电子设备。云服务器102可以训练公有模型,并将公有模型发送至终端设备。公有模型103为现有技术中由云服务器训练所得的神经网络模型。私有模型104为利用用户端侧数据进行端侧自学习后获得的,针对一个模板样本组的特定神经网络模型。

示例性的,图2示出了本申请实施例中终端设备101的结构示意图。终端设备101可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serialbus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。

可以理解的是,本申请实施例示意的结构并不构成对终端设备101的具体限定。在本申请另一些实施例中,终端设备101可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。

其中,控制器可以是终端设备101的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。

处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。

在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。

可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对终端设备101的结构限定。在本申请另一些实施例中,终端设备101也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。

终端设备101的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。终端设备101中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在终端设备101上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

无线通信模块160可以提供应用在终端设备101上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。

在一些实施例中,终端设备101的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得终端设备101可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。

终端设备101通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,终端设备101可以包括1个或N个显示屏194,N为大于1的正整数。

终端设备101可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,终端设备101可以包括1个或N个摄像头193,N为大于1的正整数。

NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现终端设备101的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。

外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展终端设备101的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行终端设备101的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储终端设备101使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。

例如,神经网络处理器通过运行内部存储器121中的指令,根据内部存储器中存储的多个参考图像样本、公有模型和模板样本组来训练该模板样本组的私有模型。处理器110还可以通过运行内部存储器121中的指令,根据内部存储器中存储的公有模型和私有模型,将待处理图像样本与模板图像进行比对,获得匹配结果。

终端设备101可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。

指纹传感器180H用于采集指纹。终端设备101可以利用指纹传感器采集指纹数据,若采集的指纹数据与存储的模板图像匹配成功,则实现指纹解锁,从而能够访问应用锁,指纹拍照,指纹接听来电等。

触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于终端设备101的表面,与显示屏194所处的位置不同。

按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备101可以接收按键输入,产生与终端设备101的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和终端设备101的接触和分离。终端设备101可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。终端设备101通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,终端设备101采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在终端设备101中,不能和终端设备101分离。

在本申请的实施例中,指纹传感器用于采集指纹,从而获取参考图像样本或待处理图像样本。神经网络处理器NPU通过运行内部存储器中的指令,根据内部存储器中存储的多个参考图像样本、公有模型和模板样本组来训练该模板样本组的私有模型。处理器还可以通过运行内部存储器中的指令,根据内部存储器中存储的公有模型和私有模型,将待处理图像样本与模板图像进行比对,获得匹配结果。

以下将基于上述终端设备,描述本申请实施例提供的身份识别方法。本申请实施例提供的一种身份识别方法包括子模型训练过程和子模型应用过程。

在本申请实施例中,终端设备具有至少一个模板样本组。其中,一个模板样本组中包括至少一个模板图像。模板图像表示的是身份识别数据的模板图像。

其中,身份识别数据表示能够识别用户身份的数据。比如,身份识别数据包括生物特征数据,例如身份识别数据可以是指纹数据、人脸数据或其他能够表示用户身份的生物特征数据。本申请实施例对身份识别数据的具体类型不作限定。

在一些实施例中,一个模板样本组中的至少一个模板样本可以来自一个对象,也可以来自多个对象。以模板样本组中的模板图像是指纹图像为例,一个模板样本组中的模板图像可以是一个手指录入的多个指纹数据,也可以是一只手上的五个手指分别录入的多个指纹数据,还可以是任意多个手指分别录入的多个指纹数据。本申请对此不作限定。

其中,终端设备可以通过多种方式获取至少一个模板样本组。例如,用户最初在终端设备上录入指纹时,终端设备可以获取一组质量较高、清晰度较高或完整度较高的指纹数据作为一个模板样本组。再例如,终端设备可以根据账号对应的用户信息,从云端预先配置该账号对应的用户的至少一组指纹数据作为至少一个模板样本组。

以终端设备是手机为例进行说明。用户最初在手机上录入指纹数据时,用户录入的左手食指的多个指纹数据被记为第一模板样本组,用户录入的左手中指的多个指纹数据被记为第二模板样本组;或者,用户录入的左手大拇指的多个指纹数据、左手食指的多个指纹数据、左手中指的多个指纹数据、左手无名指的多个指纹数据以及左手小拇指的多个指纹数据共同被记为第一模板样本组;用户录入的右手大拇指的多个指纹数据、右手食指的多个指纹数据、右手中指的多个指纹数据、右手无名指的多个指纹数据以及右手小拇指的多个指纹数据共同被记为第二模板样本组。

在一些实施例中,同一个模板样本组中的各个模板图像具有相同的模板标签,不同模板样本组中的模板图像的模板标签不同,从而能够通过模板标签来区分不同的模板样本组。

例如,用户录入的左手食指的多个指纹数据被记为第一模板样本组,第一模板样本组中的模板图像的模板标签都为左手食指或者第一手指或者编号a;用户录入的左手中指的多个指纹数据被记为第二模板样本组,第二模板样本组中的模板图像的模板标签都为左手中指或者第二手指或者编号b。本申请实施例对模板标签的名称不作限定,只要能够区分不同的模板样本组即可。模板标签不同的模板图像属于不同的模板样本组。

通过模板标签,终端设备能够确认该模板图像所属的模板样本组。在后续比对过程中,根据对比时模板图像所属的模板样本组对应的神经网络模型来对比待处理图像样本和模板样本,使得各个模型隔离,从而实现严格抗遗忘的效果,提高识别精度。

下面将结合图3具体描述本申请实施例提供的身份识别方法。

例如,参见图3,在终端设备上进行子模型训练的过程包括:

301、终端设备采集身份识别数据的多个参考图像样本。

终端设备获取至少一个模板样本组之后,在用户正常使用终端设备的过程中,终端设备将采集身份识别数据的多个参考图像样本。其中,多个参考图像样本对应的身份识别数据与模板图像表示的身份识别数据一致。

在用户正常使用终端设备的过程中,终端设备将采集身份识别数据的多个参考图像样本,表示终端设备响应于用户的多种操作将采集身份识别数据的参考图像样本。例如,终端设备响应于用户的解锁操作、支付操作或身份识别操作等操作,需要对用户的身份识别数据与存储的身份识别数据进行匹配时,终端设备将采集用户的身份识别数据的多个参考图像样本。

以身份识别数据是指纹数据,终端设备是手机为例进行说明。在用户使用手机的过程中,用户通常采用指纹数据来解锁手机。具体的,用户想要解锁手机时,用户将之前已经录入过指纹数据的一个手指放在手机对应的指纹识别区域。此时,通过手机中的指纹传感器,手机将采集用户的指纹数据作为参考图像样本,将采集的指纹数据的参考图像样本与之前录入的指纹数据的模板图像进行比对,匹配成功之后,手机将被解锁。用户在使用手机的过程中,需要多次解锁手机,每次解锁手机,手机都将采集至少一个用户的指纹数据的参考图像样本。或者,用户在解锁手机的时候,由于手机第一采集的指纹数据不够完整,或者手机屏幕上有杂质等原因,手机可能解锁失败,需要重新采集指纹数据。从而,手机将采集多个指纹数据的参考图像样本。此外,若用户需要支付时,手机也可以采集用户的指纹数据作为参考图像样本,将采集的指纹数据的参考图像样本与之前录入的指纹数据的模板图像进行比对,匹配成功之后,手机将响应于用户的支付操作完成支付。综上,在用户使用手机的多种场景下,手机将采集用户的指纹数据作为参考图像样本。也就是说,在用户使用终端设备的过程中,终端设备将采集身份识别数据的多个参考图像样本。

在一些实施例中,终端设备在采集身份识别数据的参考图像样本的过程中,可以利用参考图像样本对模板样本组进行更新。具体的,若终端设备在采集参考图像样本的过程中,采集到符合要求的新的模板图像,则可以将该模板图像加入相应的模板样本组,并更新该模板样本组。

以身份识别数据是指纹数据,终端设备是手机为例进行说明。将手机采集的指纹数据的参考图像样本与存储的模板图像一一比对时,若参考图像样本与存储的模板图像中的一个模板图像的匹配度较高,从而能够通过匹配的模板图像的模板标签明确判断出该参考图像样本来自于哪一个手指。这样,可以将该参考图像样本加入对应的模板样本组,并更新该模板样本组。

302、终端设备根据多个参考图像样本、第一模型和模板样本组训练获得该模板样本组对应的子模型。

在本申请实施例中,第一模型也可以称为公有模型或初始模型等。第一模型为初始部署至终端设备的神经网络模型。例如,第一模型是在云端训练所得,即第一模型来自于云端服务器。其中,第一模型的训练方法与现有技术相同,此处不再赘述。

通常,参见图4,第一模型包括图像输入模块、特征提取网络、决策输出网络和结果输出模块。其中,图像输入模块输入模板图像和参考图像样本。接着,特征提取网络分别提取输入的模板图像和参考图像样本中的特征。之后,决策输出网络将模板图像和参考图像样本的特征进行比对,得出匹配结果。最后,结果输出模块输出该匹配结果。需要说明的是,在图像输入模块之后或者在特征提取网络之后需要将模板图像和参考图像样本拼接起来,以便后续决策输出网络能够比对两者的特征。示例性的,特征提取网络可以是卷积神经网络(convolutional neural network,CNN),CNN中包含卷积层(convolutional layer)、池化层(pooling layer)、非线性层(例如ReLU layer)等;决策输出网络可以是全连接神经网络(fully connected network,FCC),FCC中包含全连接层(fully connect layer),非线性层(例如ReLU layer)等。

终端设备在未训练子模型时,通过第一模型来比对终端设备采集的身份识别数据的参考图像样本和模板图像。基于上述对第一模型的描述,任一个参考图像样本和任一个模板图像输入图像输入模块后,依次经过特征提取网络、决策输出网络和结果输出模块,从而得到匹配结果。这里匹配结果也可以称为真实标签,若参考图像样本与模板图像匹配成功,真实标签为1;若参考图像样本与模板图像匹配不成功,真实标签为0。

参见图5,以身份识别数据为指纹数据为例,终端设备在训练子模型之前,将持续累积{模板图像,参考图像样本}样本对以及比对各个模板图像和参考图像样本之后得到的真实标签。在终端设备累积的样本对数量达到预设值时,终端设备训练子模型。

需要说明的是,真实标签也可以由face-ID/个人识别码(personalidentification number,PIN)辅助获得。例如,有时候采集的指纹与模板图像实质上是匹配的,但由于手机采集的指纹有偏移,或者由于环境潮湿,手机屏幕有湿气导致采集的指纹无法与模板图像匹配成功。这种情况下,若能够通过face-ID或PIN码确定,采集的指纹确实属于机主,则也可以将此次匹配的真实标签记为1。通过face-ID或PIN码的辅助,能够避免遗漏掉后续训练子模型使用的训练数据。

在终端设备累积的样本对数量达到预设值时,终端设备将训练子模型。下面将以训练第一子模型为例具体描述训练子模型的过程。其中,第一子模型为第一模板样本组对应的子模型,第一模板样本组为终端设备获取的至少模板样本组中的任意一个模板样本组。

其中,子模型也可以称为私有模型或分支模型等。第一子模型为终端设备通过训练所得的与第一模板样本组对应的神经网络分支。

示例性的,参见图6,上述步骤302中,终端设备根据多个参考图像样本、第一模型和第一模板样本组训练获得第一模板样本组对应的第一子模型,包括:

501、终端设备根据第一模型,将每个参考图像样本与第一模板样本组中的模板图像进行一一比对,确定参考匹配结果。

该步骤与终端设备训练子模型之前,通过第一模型来比对参考图像样本和模板图像的过程相同。若参考图像样本与模板图像匹配成功,真实标签为1;若参考图像样本与模板图像匹配不成功,真实标签为0。

其中,参考匹配结果包括真实标签为1的匹配结果和真实标签为0的匹配结果。

可以理解的是,真实标签与参考图像样本和模板图像对存在映射关系。也就是说,若真实标签为1,可以得出,匹配成功时参考图像样本对应的模板图像。

示例性的,将用户注册指纹时录入的第一手指的指纹数据记为第一模板样本组,将用户之后使用手机时,手机采集的第一手指的指纹数据记为相应的参考图像样本。假设第一模板样本组中有20个模板图像,参考图像样本有700个,模板图像和参考图像样本有20*700种匹配方式,即共有14000对{模板图像,参考图像样本}。若第一模板图像与第一参考图像样本匹配,或者由face-ID或PIN码的辅助能够确定第一参考图像样本与第一模板图像匹配,则真实标签为1;若第一模板图像与第一参考图像样本不匹配,则真实标签为0。之后,与模板图像匹配成功的参考图像样本可以作为正样本,与模板图像匹配不成功的参考图像样本可以作为负样本,一起参与第一模板样本组对应的第一子模型的训练过程。

502、终端设备基于多个参考图像样本、第一模型、第一模板样本组和参考匹配结果,训练得到第一模板样本组对应的第一子模型。

由于参考匹配结果包括真实标签为1的匹配结果和真实标签为0的匹配结果,因此,可以认为,终端设备基于多个参考图像样本、第一模型、第一模板样本组和第一参考匹配结果,训练得到第一模板样本组对应的第一子模型时,使用的样本包括正样本和负样本,即与模板图像匹配的参考图像样本和与模板图像不匹配的参考图像样本。

需要说明的是,与模板图像不匹配的负样本还可以通过其他方式获取。例如,负样本还可以是在终端设备中预设的不属于机主的样本,或者负样本还可以是从服务器获取的不属于机主的样本等。本申请实施例对终端设备获取负样本的方式不作限定。

终端设备利用持续学习的方法来训练第一子模型。其中,持续学习需要基于第一模型,也就是说,持续学习的过程中学新不能忘旧。因而,终端设备基于多个参考图像样本、第一模型、第一模板样本组和参考匹配结果,训练得到第一模板样本组对应的第一子模型包括:终端设备基于多个参考图像样本、第一模型的模型参数、第一模板样本组和参考匹配结果,训练得到第一模板样本组对应的第一子模型的模型参数;或者,终端设备根据多个参考图像样本、训练第一模型时使用的样本、第一模板样本组和参考匹配结果,训练得到第一模板样本组对应的第一子模型的模型参数。也就是说,终端设备训练第一子模型时利用的第一模型可以是第一模型的参数,也可以是训练第一模型时使用的样本。

示例性的,终端设备可以通过正则化持续性学习的方法来训练第一子模型。本申请实施例对终端设备利用的持续学习的具体方法不作限定。

举例说明,终端设备可以采用如下所示的正则化持续性学习的方法来训练第一子模型。本申请实施例中采用持续学习的方式训练子模型,能够抵抗端侧数据少造成的过拟合。在该方法中,终端设备每学习一项任务,均在该任务数据集上求损失函数对参数的费雪(Fisher)信息矩阵的估计。其中,在本申请实施例中,任务是指将采集的参考图像样本与各个模板图像进行比对。

l

如公式(1)所示,其中,l

在训练第一子模型的过程中,比对一个参考图像样本和一个模板图像记为一项任务。由于设置了正则项,因此训练第一子模型的过程中能够减少对重要性高的权重的修改,从而尽可能地保持神经网络对前序任务的性能表现。

其中,第一子模型训练成功的标志是第一子模型收敛。第一子模型收敛可以是第一子模型的训练达到预设次数,也可以是训练过程中的损失函数小于预设值。

需要说明的是,第一子模型和第一模型均具有多个模型参数。其中,多个模型参数包括第一模型参数组和第二模型参数组。具体的,第一模型参数组中的模型参数用于待处理图像样本与模板图像的特征提取;第二模型参数组中的模型参数用于待处理图像样本的特征与模板图像的特征的相似度比较。结合图4示出的第一模型的基本结构,第一模型参数组应用于特征提取网络,第二模型参数组应用于决策输出网络。在本申请的一些实施例中,第一子模型的基本结构与第一模型的基本结构相同。第一子模型也包括特征提取网络和决策输出网络。

其中,第一子模型和第一模型的模型参数至少有部分不同。例如,第一子模型和第一模型的第一模型参数组中的模型参数均相同,第一子模型和第一模型的第二模型参数组中的至少一个模型参数不同;或者,第一子模型和第一模型的第一模型参数组中的至少一个模型参数不同,第一子模型和第一模型的第二模型参数组中的模型参数均相同;或者,第一子模型和第一模型的第一模型参数组中的至少一个模型参数不同,第一子模型和第一模型的第二模型参数组中的至少一个模型参数不同。因此,也可以认为,训练第一子模型的过程是调整第一模型的模型参数的过程。

例如,参见图7,第一模型和第一子模型仅在特征提取网络中的模型参数不同,即第一模型参数不同;第一模型和第一子模型的决策输出网络的模型参数相同,即第二模型参数相同。

通过上面的步骤,终端设备针对第一模板样本组训练出了第一子模型。之后,当终端设备采集到待处理的图像样本时,将轮询所有模板图像。若与第一模板样本组中的模板图像进行匹配时,终端设备采用第一子模型来输出匹配结果。若与未训练过的模板样本组中的模板图像进行匹配时,终端设备采用第一模型来输出匹配结果。

本申请实施例提供的身份识别方法还包括子模型应用过程。下面将以终端设备仅训练成功第一子模型,且终端设备应用训练所得的第一子模型为例,具体描述子模型应用过程。

继续参见图3,在上述步骤302之后,在终端设备上进行第一子模型应用过程具体包括:

303、终端设备采集待处理图像样本。

终端设备采集待处理图像样本与步骤301中终端设备采集身份识别数据的参考图像样本的过程相似。当终端设备已经训练好第一子模型之后,用户使用终端设备的过程中,终端设备响应于用户的操作采集的身份识别数据的图像样本就是待处理图像样本。

例如,在第一子模型训练成功之后,用户需要解锁手机时,仍然采用将手指放在手机对应的解锁区域的方式。此时,手机将采集用户的指纹数据,以与存储的模板图像匹配,从而判断该指纹数据是否能够解锁手机。这里,手机所采集的指纹数据为待处理图像样本。

也就是说,待处理图像样本是第一子模型训练成功之后,终端设备所采集的身份识别数据的图像样本。

304、终端设备根据第一子模型,将待处理图像样本与第一模板样本组中的模板图像进行一一比对,获得第一匹配结果。

由于终端设备已经针对第一模板样本组训练出了第一子模型,因此终端设备根据第一子模型,将待处理图像样本与第一模板样本组中的模板图像进行一一比对,获得第一匹配结果。

可以理解的是,由于第一子模型是针对第一模板样本组训练出的子模型,因此,终端设备比对待处理图像样本与第一模板样本组中的模板图像时,根据第一子模型获得的匹配结果比根据第一模型获得的匹配结果的精度更高。

305、终端设备根据第一模型,将待处理图像样本与目标模板样本组以外的模板图像进行一一比对,获得第二匹配结果。

其中,目标模板样本组为至少一个模板样本组中已用于训练子模型的模板样本组,并且目标模板样本组包括第一模板样本组。

在上述步骤304和步骤305的比对过程中,终端设备将待处理图像样本与所有模板样本组中的模板图像一一比对,确定目标匹配结果。

终端设备将采用轮询的方式将待处理图像样本与所有模板样本组中的模板图像一一比对。也就是说,终端设备将待处理图像样本与所有的模板图像均分别进行比对。

例如,若终端设备共保存1000个模板图像,则终端设备将待处理图像样本与这1000个模板图像一一比对,总计比对1000次。

终端设备根据待比对的模板图像是否属于训练过的第一模板样本组,将采用不同的模型来比对待处理图像样本与模板图像。

对于第一模板样本组中的模板图像,终端设备根据第一模板样本组对应的第一子模型,将待处理图像样本与第一模板样本组中的模板图像进行一一比对,获得第一匹配结果。

由于模板图像属于第一模板样本组,而终端设备已经完成对第一模板样本组的自学习,训练得到第一模板样本组对应的第一子模型。因而,对于已经学习过的第一模板样本组中的模板图像,终端设备采用相应的第一子模型来比对待处理图像样本和模板图像。

终端设备将待处理图像样本与第一模板组中的模板图像一一比对之后,获得第一匹配结果。其中,第一匹配结果表示待处理图像样本与第一模板样本组中的模板图像匹配成功或者匹配不成功,也可以表示待处理图像样本与第一模板样本组中的模板图像的匹配程度。本申请实施例对此不作限定。

对于目标模板组以外的模板图像,终端设备根据第一模型,将待处理图像样本与目标模板组以外的模板图像进行一一比对,获得第二匹配结果。其中,目标模板样本组为至少一个模板样本组中已用于训练子模型的模板样本组,并且目标模板样本组包括第一模板样本组。

由于模板图像不属于第一模板样本组或目标模板组中的其他模板样本组,因此,模板图像并未学习过,终端设备也没有训练出该模板图像对应的子模型。对于未学习过的目标模板样本组以外的模板图像,终端设备采用第一模型来比对待处理图像样本和模板图像。

终端设备将待处理图像样本与目标模板样本组以外的模板图像一一比对之后,获得第二匹配结果。其中,第二匹配结果表示待处理图像样本与目标模板样本组以外的模板图像匹配成功或者匹配不成功,也可以表示待处理图像样本与目标模板样本组以外的模板图像的匹配程度。本申请实施例对此不作限定。

306、终端设备根据第一匹配结果和第二匹配结果,确定待处理图像样本与至少一个模板样本组中的模板图像的目标匹配结果。

基于上述内容,终端设备采用轮询方式将待处理图像样本与所有模板图像一一比对。其中,对于第一模板样本组中的模板图像,终端设备采用第一子模型将将待处理图像样本与第一模板样本组中的模板图像一一比对;对于目标模板样本组之外的模板图像,终端设备采用第一模型将待处理图像样本与目标模板样本组之外的模板图像一一比对。这样,终端设备分别采用第一子模型或第一模型完成了对待处理图像样本与所有模板图像的一一比对,从而获得了所有匹配结果,即第一匹配结果和第二匹配结果。

终端设备根据上述第一匹配结果和第二匹配结果,确定待处理图像样本与至少一个模板样本组中的模板图像的目标匹配结果包括,终端设备根据上述第一匹配结果和第二匹配结果,将匹配程度最高的匹配结果确定为目标匹配结果。

若目标匹配结果大于或等于预设值,则表示待处理图像样本与对应的模板图像的匹配度较高,可以认为待处理图像样本与对应的模板图像匹配。若目标匹配结果小于预设值,则表示待处理图像样本与对应的模板图像的匹配度较低,可以认为待处理图像样本与对应的模板图像不匹配。

此外,若目标匹配结果指示待处理图像样本与至少一个模板样本组中的第一模板图像匹配,并且目标匹配结果指示待处理图像样本与第一模板图像匹配的置信值大于预设值,则终端设备根据待处理图像样本更新第一模板图像所属的模板样本组。

本申请实施例提供了一种身份识别方法,终端设备先针对第一模板样本组训练出第一子模型。之后,当终端设备采集到待处理的图像样本时,将轮询所述模板图像。对于训练过的第一模板样本组中的模板图像,终端设备采用第一子模型进行比对,输出匹配结果。对于未训练过的其他模板样本组中的模板图像,终端设备采用第一模型进行比对,输出匹配结果。由于终端设备对第一模板样本组训练出对应的第一子模型,即第一子模型专门用于比对待处理图像与第一模板样本组中的模板图像,因此,终端设备使用第一子模型来确定待处理图像样本与第一子模型对应的第一模板样本组中的模板图像是否匹配,能够提升终端设备侧的身份识别精度。

上述内容中以仅训练成功一个子模型,即第一子模型为例进行说明,本申请实施例提供的身份识别方法在终端设备采集身份识别数据的多个参考样本之后,还可以训练多个子模型。因此,参见图8,在步骤302之后,本申请实施例提供的身份识别方法还包括:

302a、终端设备根据多个参考图像样本、第一模型和第二模板样本组训练获得第二子模型。

其中,第二模板样本组也属于终端设备具有的至少一个模板样本组。第二子模型为第二模板样本组对应的子模型。

终端设备根据多个参考图像样本、第一模型和第二模板样本组训练获得第二子模型具体过程与终端设备训练第一子模型的具体过程类似,仅仅是将训练子模型过程中的第一模板样本组替换为第二模板样本组。因此,该步骤的具体过程不再赘述。

可以理解的是,终端设备还可以训练获得更多个子模型,每个子模型与训练所利用的模板样本组相对应。本申请实施例对子模型的数量不作限定。

在第二子模型训练成功之后,终端设备同样还能够应用第二子模型。因此,在步骤304之后,步骤305-306可以替换为以下步骤:

305a、终端设备根据第二子模型,将待处理图像样本与第二模板样本组中的模板图像进行一一比对,获得第三匹配结果。

由于模板图像属于第二模板样本组,而终端设备已经完成对第二模板样本组的自学习,训练得到第二模板样本组对应的第二子模型。因而,对于已经学习过的第二模板样本组中的模板图像,终端设备采用相应的第二子模型来比对待处理图像样本和模板图像。

终端设备将待处理图像样本与第二模板组中的模板图像一一比对之后,获得第三匹配结果。其中,第三匹配结果表示待处理图像样本与第二模板样本组中的模板图像匹配成功或者匹配不成功,也可以表示待处理图像样本与第二模板样本组中的模板图像的匹配程度。本申请实施例对此不作限定。

306a、终端设备根据第一模型,将待处理图像样本与目标模板样本组以外的模板图像进行一一比对,获得第二匹配结果。

其中,目标模板样本组为至少一个模板样本组中已用于训练子模型的模板样本组。这里,目标模板样本组具体包括第一模板样本组和第二模板样本组。

307a、终端设备根据第一匹配结果、第二匹配结果和第三匹配结果,确定待处理图像样本与至少一个模板样本组中的模板图像的目标匹配结果。

可以理解的是,若终端设备已经针对更多个模板样本组训练成功更多个子模型,则所有训练成功的子模型对应的模板样本组均属于目标模板样本组。

终端设备采用轮询方式将待处理图像样本与所有模板图像一一比对时,参见图7,若模板图像属于目标模板样本组,则表示模板图像已经学习过。对于已经学习过的模板图像,终端设备采用对应的子模型来比对待处理图像样本和已经学习过的模板图像,从而能够提高比对精度。例如,终端设备可以采用图7中的N个子模型中模板图像对应的子模型来进行比对。同时,若模板图像不属于目标模板样本,则表示模板图像未学习过。对于未学习过的模板图像,终端设备采用初始的第一模型来比对待处理图像样本和未学习过的模板图像。例如,终端设备可以采用图7中的第一模型来进行比对。通过采用不同的子模型对不同的模板样本组进行比对,能够避免不同模板样本组之间的相互影响。同时,本申请实施例中保留了第一模型,即公有模型,保证了安全性,能够实现严格抗遗忘的持续学习方式。此外,本申请实施例中采用持续学习的方式训练子模型,能够抵抗端侧数据少造成的过拟合。因而,本申请实施例提供的身份识别方法能够在身份识别过程中提高识别精度,并保证安全性。

此外,随着终端设别采集的待处理图像样本增多,现有的子模型可能不够精确。在一些实施例中,在终端设备训练成功子模型之后,终端设备还可以基于待处理图像样本以及终端设备利用各个子模型输出的匹配结果来对各个子模型进行修正。比如,对各个子模型的模型参数进行修正,使得通过修正后的子模型能够获得更精确的比对结果。

以终端设备成功训练了第一子模型和第二子模型为例,终端设备修正子模型的过程包括:

307、终端设备基于待处理图像样本、第一模板样本组和第一匹配结果,对第一子模型进行修正;和/或,终端设备基于待处理图像样本、第二模板样本组和第三匹配结果,对第二子模型进行修正。

进一步地,在终端设备训练成功子模型之后,随着终端设备采集的待处理图像样本越来越多,现有的子模型可能已经不够精确,需要修正的模型参数较多,或者修正的幅度较大。这种情况下,在一些实施例中,终端设备还可以针对各个模板样本组来训练新的子模型,以替换旧的子模型,使得通过新的子模型能够获得更精确的比对结果。

以终端设备成功训练了第一子模型和第二子模型为例,终端设备替换子模型的过程包括:

308、终端设备基于第一模型、待处理图像样本、第一模板样本组和第一匹配结果,训练得到第一模板样本组对应的第三子模型,并使用第三子模型替换第一子模型;和/或,终端设备基于第一模型、待处理图像样本、第二模板样本组和第三匹配结果,训练得到第二模板样本组对应的第四子模型,并使用第四子模型替换第二子模型。

可以理解的是,第一匹配结果和第三匹配结果与上述真实标签相似,能够表示待处理图像样本在第一子模型和第二子模型中的匹配结果。例如,若终端设备利用第一子模型判断待处理图像样本与第一模板样本组中的模板样本匹配成功时,则第一匹配结果可以记为1;若终端设备利用第一子模型判断待处理图像样本与第一模板样本组中的模板样本匹配不成功时,则第一匹配结果可以记为0。

随着终端设备采集的待处理图像样本越来越多,通过修正子模型,或者生成新的子模型替换原来的子模型,终端设备能够获得更合适的子模型,以适应越来越多的待处理图像样本,从而获得更精确的识别结果,避免由于原来的子模型不适合新增的待处理图像样本而造成的识别精度下降的问题。

可以理解的是,为了实现上述功能,终端设备包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

本实施例可以根据上述方法示例对终端设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下,图9示出了上述实施例中涉及的终端设备900的一种可能的组成示意图,如图9所示,该终端设备900可以包括:采集模块901和处理模块902。

其中,采集模块901可以用于支持终端设备900执行上述实施例中图3所示的步骤301和步骤303,和/或以上方法实施例中终端设备执行的其他步骤或功能。处理模块902可以用于支持终端设备900执行上述实施例中图3所示的步骤302、步骤304-步骤308,图5所示的步骤501和步骤502,图8的步骤305a-步骤307a,和/或以上方法实施例中终端设备执行的其他步骤或功能。

需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。

在本申请的实施例中,该终端设备900以采用集成的方式划分各个功能模块的形式来呈现。这里的“模块”可以指特定ASIC,电路,执行一个或多个软件或固件程序的处理器和存储器,集成逻辑电路,和/或其他可以提供上述功能的器件。

可选地,本申请实施例还提供了一种身份识别系统,该身份识别系统包括云服务器和终端设备。其中,终端设备包括至少一个模板样本组,例如第一模板样本组和/或第二模板样本组等。终端设备配置有第一模型和子模型,例如,子模型可以包括第一子模型和第二子模型等。

第一模型来自云服务器;子模型是根据多个参考图像样本、第一模型和对应的模板样本组训练所得。

也可以认为,在该身份识别系统中,终端设备能够执行上述各方法实施例中终端设备执行的身份识别方法。

可选地,本申请的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在终端设备上运行时,使得终端设备执行上述相关方法步骤实现上述实施例中的身份识别方法。

可选地,本申请的实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中终端设备执行的身份识别方法。

可选地,本申请的实施例还提供了一种终端设备,该终端设备具体可以是芯片,组件,模块,或片上系统。该终端设备可包括相连的处理器和存储器;其中,存储器用于存储计算机指令,当装置运行时,处理器可执行存储器存储的计算机指令,以使芯片执行上述各方法实施例中终端设备执行的身份识别方法。

其中,本申请实施例提供的终端设备、计算机可读存储介质、计算机程序产品、芯片或片上系统均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line,简称DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,简称SSD))等。

尽管在此结合各实施例对本申请进行了描述,然而,在实施所要求保护的本申请过程中,本领域技术人员通过查看附图、公开内容、以及所附权利要求书,可理解并实现公开实施例的其他变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。

尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包括这些改动和变型在内。

相关技术
  • 一种身份识别预处理、身份识别方法及设备
  • 一种身份识别方法、活体识别方法、装置及电子设备
技术分类

06120112162328