掌桥专利:专业的专利平台
掌桥专利
首页

用于目标识别的方法和系统

文献发布时间:2023-06-19 11:49:09


用于目标识别的方法和系统

技术领域

本说明书涉及图像处理技术领域,特别涉及用于目标识别的方法和系统。

背景技术

目标识别是基于图像采集设备获取的目标进行生物识别的技术,例如,以人脸为目标的人脸识别技术,被广泛应用于权限验证、身份验证等应用场景。为了保证目标识别的安全性,需要确定目标图像的真实性。

因此,希望提供一种目标识别的方法和系统,可以确定目标图像的真实性发明内容。

发明内容

本说明书实施例之一提供一种目标识别方法,所述方法包括:确定光照序列,光照序列用于确定照射目标对象的多个光照的多个颜色;获取多幅目标图像,多幅目标图像的拍摄时间与多个光照的照射时间具有对应关系;以及基于光照序列和多幅目标图像,确定多幅目标图像的真实性。

本说明书实施例之一提供一种目标识别系统,所述系统包括:确定模块,用于确定光照序列,光照序列用于确定照射目标对象的多个光照的多个颜色;获取模块,用于获取多幅目标图像,多幅目标图像的拍摄时间与多个光照的照射时间具有对应关系;验证模块,用于基于光照序列和多幅目标图像,确定多幅目标图像的真实性。

本说明书实施例之一提供一种目标识别装置,包括处理器,所述处理器用于执行本说明书披露的目标识别方法。

本说明书实施例之一提供一种计算机可读存储介质,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行本说明书披露的目标识别方法。

附图说明

本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:

图1是根据本说明书一些实施例所示的目标识别系统的应用场景示意图;

图2是根据本说明书一些实施例所示的目标识别方法的示例性流程图;

图3是根据本说明书一些实施例所示的光照序列的示意图;

图4是根据本说明书一些实施例所示的光照序列的另一示意图;

图5是根据本说明书一些实施例所示的获取多幅目标图像的示例性流程图;

图6是根据本说明书一些实施例所示的纹理替换的示意图;

图7是根据本说明书一些实施例所示的确定多幅目标图像的真实性的示例性流程图;

图8是根据本说明书一些实施例所示的确定多幅目标图像的真实性的另一示例性流程图;

图9是根据本说明书一些实施例所示的确定多幅目标图像的真实性的另一示例性流程图

图10是根据本说明书一些实施例所示的第一验证模型的结构示意图;

图11是根据本说明书一些实施例所示的确定多幅目标图像的真实性的另一示例性流程图;

图12是根据本说明书一些实施例所示的确定多幅目标图像的真实性的另一示例性流程图;

图13是根据本说明书一些实施例所示的第二验证模型的结构示意图;

图14是根据本说明书一些实施例所示的确定多幅目标图像的真实性的另一示例性流程图;以及

图15是根据本说明书一些实施例所示的第三验证模型的结构示意图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。

应当理解,本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。

目标识别是基于图像采集设备获取的目标对象进行生物识别的技术。在一些实施例中,目标对象可以是人脸、指纹、掌纹和瞳孔等。在一些实施例中,目标识别可以应用于权限验证。例如,门禁权限认证和账户支付权限认证等。在一些实施例中,目标识别还可以用于身份验证。例如,员工考勤认证和本人注册身份安全认证。仅作为示例,目标识别可以基于图像采集设备实时采集到的目标图像和预先获取的生物特征进行匹配,从而验证目标身份。

然而,图像采集设备可能被攻击或劫持,攻击者可以上传虚假的目标图像通过身份验证。例如,攻击者A可以在攻击或劫持图像采集设备后,直接上传用户B的人脸图像。目标识别系统基于用户B的人脸图像和预先获取的用户B的人脸生物特征进行人脸识别,从而通过用户B的身份验证。

因此,为了保证目标识别的安全性,需要确定目标图像的真实性,即确定目标图像是图像采集设备在目标识别过程中实时采集到的。

图1是根据本说明书一些实施例所示的目标识别系统的应用场景示意图。如图1所示,目标识别系统100可以包括处理设备110、网络120、终端130和存储设备140。

处理设备110可以用于处理来自目标识别系统100的至少一个组件和/或外部数据源(例如,云数据中心)的数据和/或信息。例如,处理设备110可以确定光照序列,获取多幅目标图像,以及确定多幅目标图像的真实性等。又例如,处理设备110可以对从终端130获取的多幅初始图像进行预处理(例如,替换纹理等),得到多幅目标图像。在处理过程中,处理设备110可以直接或通过网络120从目标识别系统100的其他组件(如存储设备140和/或终端130)获取数据(如指令)和/或将处理后的数据发送给所述其他组件进行存储或显示。

在一些实施例中,处理设备110可以是单一服务器或服务器组。该服务器组可以是集中式或分布式的(例如,处理设备110可以是分布式系统)。在一些实施例中,处理设备110可以是本地的或者远程的。在一些实施例中,处理设备110可以在云平台上实施,或者以虚拟方式提供。仅作为示例,云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

网络120可以连接系统的各组成部分和/或连接系统与外部部分。网络120使得目标识别系统100中各组成部分之间、目标识别系统100与外部部分之间可以进行通讯,促进数据和/或信息的交换。在一些实施例中,网络120可以是有线网络或无线网络中的任意一种或多种。例如,网络120可以包括电缆网络、光纤网络、电信网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络(ZigBee)、近场通信(NFC)、设备内总线、设备内线路、线缆连接等或其任意组合。在一些实施例中,目标识别系统100中各部分之间的网络连接可以采用上述一种方式,也可以采取多种方式。在一些实施例中,网络120可以是点对点的、共享的、中心式的等各种拓扑结构或者多种拓扑结构的组合。在一些实施例中,网络120可以包括一个或以上网络接入点。例如,网络120可以包括有线或无线网络接入点,例如基站和/或网络交换点120-1、120-2、…,通过这些网络接入点,目标识别系统100的一个或多个组件可连接到网络120以交换数据和/或信息。

终端130指用户所使用的一个或多个终端设备或软件。在一些实施例中,终端130可以包括图像采集设备131(例如,摄像头、照相机),图像采集设备131可以拍摄目标对象,获取多幅目标图像。在一些实施例中,图像采集设备131在拍摄目标对象时,终端130(例如,终端130的屏幕和/或其他灯光发射原件)可以依次发射光照序列中的多个颜色的光照射目标对象。在一些实施例中,终端130可以通过网络120与处理设备110通信,并将拍摄的多幅目标图像发送到处理设备110。在一些实施例中,终端130可以是移动设备130-1、平板计算机130-2、膝上型计算机130-3、其他具有输入和/或输出功能的设备等或其任意组合。上述示例仅用于说明所述终端130的类型的广泛性而非对其范围的限制。

存储设备140可以用于存储数据(如光照序列、多幅初始图像或多幅目标图像等)和/或指令。存储设备140可以包括一个或多个存储组件,每个存储组件可以是一个独立的设备,也可以是其他设备的一部分。在一些实施例中,存储设备140可包括随机存取存储器(RAM)、只读存储器(ROM)、大容量存储器、可移动存储器、易失性读写存储器等或其任意组合。示例性地,大容量储存器可以包括磁盘、光盘、固态磁盘等。在一些实施例中,存储设备140可在云平台上实现。仅作为示例,云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中,存储设备140可以集成或包括在目标识别系统100的一个或多个其他组件(例如,处理设备110、终端130或其他可能的组件)中。

在一些实施例中,所述目标识别系统100可以包括确定模块、获取模块和验证模块。

确定模块可以用于确定光照序列,光照序列用于确定照射目标对象的多个光照的多个颜色。

获取模块可以用于获取多幅目标图像,多幅目标图像的拍摄时间与多个光照的照射时间具有对应关系。

在一些实施例中,获取模块可以用于获取多幅初始图像,并对多幅初始图像进行预处理,得到多幅目标图像。

在一些实施例中,获取模块可以用于获取颜色验证模型,颜色验证模型是预置参数的机器学习模型。例如,通过训练获取颜色验证模型的预置参数等。

验证模块可以用于基于光照序列和多幅目标图像,确定多幅目标图像的真实性。

在一些实施例中,多个颜色包括至少一个基准颜色和至少一个验证颜色。至少一个基准颜色和至少一个验证颜色之间的关系可以是多种。例如,至少一个验证颜色中的每一个基于至少一个基准颜色中的至少一部分颜色确定,又例如,至少一个基准颜色中的一个或多个与至少一个验证颜色中的一个或多个相同。

在一些实施例中,多幅目标图像包括至少一幅验证图像和至少一幅基准图像,至少一幅验证图像中的每一幅与至少一个验证颜色中的一个对应,多幅基准图像中的每一幅与至少一个基准颜色中的一个对应。

在一些实施例中,验证模块可以用于基于至少一幅基准图像,确定至少一幅验证图像被拍摄时光照的颜色,并基于光照序列和至少一幅验证图像被拍摄时光照的颜色,确定多幅目标图像的真实性。

在一些实施例中,验证模块可以用于基于多幅目标图像确定的第一图像序列,以及多幅颜色模板图像确定的第二图像序列,并基于第一图像序列和第二图像序列确定多幅目标图像的真实性。其中,多幅颜色模板图像基于光照序列生成的。

在一些实施例中,验证模块可以用于基于至少一幅基准图像和至少一幅验证图像之间的第一颜色关系,至少一个基准颜色和至少一个验证颜色之间的第二颜色关系,并基于第一颜色关系和第二颜色关系确定多幅目标图像的真实性。

在一些实施例中,验证模块可以用于基于光照序列以及颜色验证模型,确定多幅目标图像的真实性。例如,验证模型基于颜色验证模型对多幅目标图像进行处理,得到处理结果,结合处理结果和光照序列确定多幅目标图像的真实性。

关于确定模块、获取模块和验证模块的更多详细描述可以参见图2-图15,在此不再赘述。

需要注意的是,以上对于目标识别系统及其模块的描述,仅为描述方便,并不能把本说明书限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该系统的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接。在一些实施例中,图1中披露的确定模块、获取模块和验证模块可以是一个系统中的不同模块,也可以是一个模块实现上述的两个或两个以上模块的功能。例如,各个模块可以共用一个存储模块,各个模块也可以分别具有各自的存储模块。诸如此类的变形,均在本说明书的保护范围之内。

在一些实施例中,目标识别系统100的处理设备进行目标识别的方法可以包括:确定光照序列,所述光照序列用于确定照射目标对象的多个光照的多个颜色;获取多幅目标图像,所述多幅目标图像的拍摄时间与所述多个光照的照射时间具有对应关系;以及基于所述光照序列和所述多幅目标图像,确定所述多幅目标图像的真实性。

在一些实施例中,处理设备获取多幅目标图像可以包括:获取多幅初始图像,所述多幅初始图像包括第一初始图像和第二初始图像;用所述第一初始图像的纹理替换所述第二初始图像的纹理,以生成处理后的第二初始图像;以及将所述处理后的第二初始图像作为所述多幅目标图像中的一幅。

在一些实施例中,处理设备以所述第一初始图像的纹理替换所述第二初始图像的纹理,以生成处理后的第二初始图像可以包括:基于色彩迁移算法,将所述第二初始图像被拍摄时光照的颜色迁移至所述第一初始图像,得到所述处理后的第二初始图像。

在一些实施例中,所述多个颜色包括至少一个基准颜色和至少一个验证颜色,所述至少一个验证颜色中的每一个基于所述至少一个基准颜色中的至少一部分颜色确定。在一些实施例中,所述至少一个基准颜色中的一个或多个与所述至少一个验证颜色中的一个或多个相同。

在一些实施例中,所述多幅目标图像包括至少一幅验证图像和至少一幅基准图像,所述至少一幅验证图像中的每一幅与所述至少一个验证颜色中的一个对应,所述至少一幅基准图像中的每一幅与所述至少一个基准颜色中的一个对应,处理设备基于所述光照序列和所述多幅目标图像,确定所述多幅目标图像的真实性可以包括:提取所述至少一幅基准图像的基准颜色特征和所述至少一幅验证图像的验证颜色特征;对所述至少一幅验证图像中的每一幅,基于所述验证图像的验证颜色特征和所述至少一幅基准图像的基准颜色特征,确定所述验证图像被拍摄时光照的颜色;以及基于所述光照序列和所述至少一幅验证图像被拍摄时光照的颜色,确定所述多幅目标图像的真实性。

在一些实施例中,处理设备基于所述光照序列和所述多幅目标图像,确定所述多幅目标图像的真实性包括:基于所述多幅目标图像,确定第一图像序列;基于多幅颜色模板图像,确定第二图像序列,所述多幅颜色模板图像基于所述光照序列生成;基于第一提取层处理所述第一图像序列,提取所述第一图像序列的第一特征信息;基于第二提取层处理所述第二图像序列,提取所述第二图像序列的第二特征信息;以及基于判别层处理所述第一特征信息和所述第二特征信息,确定所述多幅目标图像的真实性,其中所述第一提取层、第二提取层和判别层为预置参数的机器学习模型,所述第一提取层和所述第二提取层共享参数。

在一些实施例中,所述第一提取层、所述第二提取层和所述判别层的所述预置参数通过端到端的训练方式获得。

在一些实施例中,所述多个颜色包括至少一个基准颜色和至少一个验证颜色,所述多幅目标图像包括至少一幅基准图像和至少一幅验证图像,所述至少一幅基准图像的每一幅与所述至少一幅基准颜色中的一个对应,所述至少一幅验证图像的每一幅与所述至少一个验证颜色中的一个对应,处理设备基于所述光照序列和所述多幅目标图像,确定所述多幅目标图像的真实性包括:提取所述至少一幅基准图像中每一副的基准颜色特征和所述至少一幅验证图像中每一副的验证颜色特征;对所述至少一幅基准图像中的每一幅,基于所述基准图像的基准颜色特征和所述每一幅验证图像的验证颜色特征,确定所述基准图像和所述每一幅验证图像的第一颜色关系;对所述至少一个基准颜色中的每一个,确定所述基准颜色和每个所述验证颜色的第二颜色关系;以及基于所述至少一个第一颜色关系和所述至少一个第二颜色关系,确定所述多幅目标图像的真实性。

在一些实施例中,处理设备基于所述光照序列和所述多幅目标图像,确定所述多幅目标图像的真实性包括:获取颜色验证模型,所述颜色验证模型为预置参数的机器学习模型;以及基于所述光照序列,利用所述颜色验证模型对所述多幅目标图像进行处理,确定所述多幅目标图像的真实性。

图2是根据本说明书一些实施例所示的目标识别方法的示例性流程图。如图2所示,流程200包括下述步骤:

步骤210,确定光照序列。所述光照序列用于确定照射目标对象的多个光照的多个颜色。在一些实施例中,步骤210可以由确定模块执行。

所述目标对象指需要进行目标识别的对象。例如目标对象可以是用户的特定身体部位,如面部、指纹、掌纹或瞳孔等。在一些实施例中,所述目标对象指需要进行身份验证和/或权限认证的用户的面部。例如,在网约车应用场景中,平台需要验证接单司机是否为平台审核过的注册司机用户,则所述目标对象是司机的面部。又例如,在人脸支付应用场景中,支付系统需要验证支付人员的支付权限,则所述目标对象是支付人员的面部。

为对所述目标对象进行目标识别,所述终端会被指示发射所述光照序列。所述光照序列包括多个光照,用于照射所述目标对象。所述光照序列中不同光照的颜色可以相同,也可以不同。在一些实施例中,所述多个光照包含至少两个颜色不同的光照,即所述多个光照有多个颜色。

在本文中所使用的“确定光照序列”指的是确定所述光照序列中包含的多个光照中每个光照的信息,例如,颜色信息、照射时间等。所述光照序列中多个光照的颜色信息可以采用相同或不同的方式表示。例如,所述多个光照的颜色信息可以用颜色类别来表示。示例的,所述光照序列中多个光照的颜色可以表示为红、黄、绿、紫、青、蓝、红。又例如,所述多个光照的颜色信息可以用颜色参数来表示。例如,所述光照序列中多个光照的颜色可以表示为RGB(255,0,0)、RGB(255,255,0)、RGB(0,255,0)、RGB(255,0,255)、RGB(0,255,255)、RGB(0,0,255)。在一些实施例中,光照序列也可以被称为颜色序列,其包含所述多个光照的颜色信息。

光照序列中多个光照的照射时间可以包括每个光照计划照射目标对象上的开始时间、结束时间、持续时长等或其任意组合。例如,红光照射目标对象的开始时间为14:00、绿光照射目标对象的开始时间为14:02。又例如,红光和绿光照射目标对象的持续时长均为0.1秒。在一些实施例中,不同光照照射目标对象的持续时长可以相同,也可以不同。照射时间可以通过其他方式表示,在此不再赘述。

在一些实施例中,终端可以按照特定顺序依次发射多个光照。在一些实施例中,终端可以通过发光元件发射光照。发光元件可以包括终端内置的发光元件,例如,屏幕、LED灯等。发光元件也可以包括外接的发光元件。例如,外接LED灯、发光二极管等。在一些实施例中,当所述终端被劫持或攻击时,所述终端可能会接受发射光照的指示,但实际并不会发出光照。关于光照序列的更多细节可以参见图3和图4及其相关描述,此处不再赘述。

在一些实施例中,终端或处理设备(例如,确定模块)可以随机生成或者基于预设规则生成光照序列。例如,终端或处理设备可以从颜色库中随机抽取多个颜色生成光照序列。在一些实施例中,光照序列可以由用户在终端设定、根据目标识别系统100的默认设置确定、或由处理设备通过数据分析(例如,利用确定模型)确定等。在一些实施例中,终端或者存储设备可以存储所述光照序列。相应的,获取模块可以通过网络从终端或者存储设备中获取光照序列。

步骤220,获取多幅目标图像。在一些实施例中,步骤220可以由获取模块执行。

所述多幅目标图像是用于目标识别的图像。所述多幅目标图像的格式可以包括Joint Photographic Experts Group(JPEG)、Tagged Image File Format(TIFF)、Graphics Interchange Format(GIF)、Kodak Flash PiX(FPX)、Digital Imaging andCommunications in Medicine(DICOM)等。所述多幅目标图像可以是二维(2D,two-dimensional)图像或三维(3D,three-dimensional)图像。

在一些实施例中,获取模块可以基于终端获取所述多幅目标图像。例如,获取模块可以通过网络发送获取指令至终端,然后通过网络接收终端发送的多幅目标图像。或者,终端可以将所述多幅目标图像发送至存储设备中进行存储,所述获取模块可以从所述存储设备中获取所述多幅目标图像。所述目标图像中可能不包含或包含目标对象。

所述目标图像可以是由终端的图像采集设备拍摄,也可以是基于用户上传的数据(例如,视频或图像)确定。例如,在目标对象验证的过程中,目标识别系统100会给终端下发光照序列。当终端未被劫持或攻击时,终端可以根据所述光照序列依次发射所述多个光照。当终端发出多个光照中某一个时,其图像采集设备可以被指示在该光照的照射时间内采集一幅或多幅图像。或者,终端的图像采集设备可以被指示在所述多个光照的整个照射期间拍摄视频。终端或其他计算设备(例如处理设备110)可以根据各光照的照射时间从视频中截取各光照的照射时间内采集的一幅或多幅图像。所述终端在各个光照的照射时间内采集的一幅或多幅图像可以作为所述多幅目标图像。此时,所述多幅目标图像为所述目标对象在被所述多个光照照射时拍摄的真实图像。可以理解,所述多个光照的照射时间与所述多幅目标图像的拍摄时间之间存在对应关系。若在单个光照的照射时间内采集一幅图像,则该对应关系是一对一;若在单个光照的照射时间内采集多幅图像,则该对应关系是一对多。

当所述终端被劫持时,劫持者可以通过终端设备上传图像或视频。所述上传的图像或视频可以包含目标对象或者其他用户的特定身体部位,和/或其他物体。。所述上传的图像或视频可以是由所述终端或者其他终端拍摄的历史图像或视频,或者是合成的图像或视频。所述终端或其他计算设备(例如处理设备110)可以基于所述上传的图像或视频确定所述多幅目标图像。例如,被劫持的终端可以根据所述光照序列中每个光照的照射顺序和/或照射时长,从所述上传的图像或视频中抽取所述每个光照对应的一幅或多幅图像。仅作为示例,所述光照序列中包含依次排列的五个光照,劫持者可以通过终端设备上传五幅目标图像。终端或其他计算设备会根据所述五幅目标图像被上传的先后顺序确定五个光照中每个光照对应的目标图像。又例如,所述光照序列中五个光照的照射时间分别为0.5秒,劫持者可以通过终端上传时长2.5秒的视频。终端或其他计算设备可以将所述被上传的视频分为0-0.5秒、0.5-1秒、1-1.5秒、1.5-2秒和2-2.5秒五段视频,并在每段视频中截取一幅目标图像。从视频中截取的五幅目标图像与所述五个光照依次对应。此时,所述多幅目标图像是被劫持者上传的虚假图像,而非所述目标对象在被所述多个光照照射时拍摄的真实图像。在一些实施例中,若目标图像是由劫持者通过终端上传,可以将该目标图像的上传时间或其在视频中拍摄时间视为其拍摄时间。可以理解,当所述终端被劫持时,多个光照的照射时间与多幅目标图像的拍摄时间之间同样存在对应关系。

对于所述多幅目标图像中的每一幅,确定模块可以将光照序列中照射时间与所述目标图像拍摄时间对应的光照的颜色,作为目标图像对应的颜色。具体的,若光照的照射时间与一幅或多幅目标图像的拍摄时间相对应,则将所述光照的颜色作为所述一幅或多幅目标图像对应的颜色。可以理解,当终端未被劫持或攻击时,多幅目标图像对应的颜色应当和光照序列中多个光照的多个颜色相同。例如,光照序列多个光照的多个颜色是“红、黄、蓝、绿、紫、红”,当终端未被劫持或攻击时,终端获取的多幅目标图像对应的颜色应该也是“红、黄、蓝、绿、紫、红”。当终端被劫持或攻击时,多幅目标图像对应的颜色和光照序列中多个光照的多个颜色可能不同。

在一些实施例中,获取模块可以从终端获取多幅初始图像,并对多幅初始图像进行预处理,以获取所述多幅目标图像。所述多幅初始图像可以由终端拍摄或者劫持者通过终端上传。

可以理解的,多幅初始图像的拍摄时间与多个光照的照射时间存在对应关系。若多幅目标图像是基于对多幅初始图像预处理得到,则多幅目标图像的拍摄时间与多个光照的照射时间的对应关系实际反映多幅目标图像对应的多幅初始图像的拍摄时间与多个光照的照射时间的对应关系,目标图像被拍摄时光照的颜色实际反映目标图像对应的初始图像被拍摄时光照的颜色。

在一些实施例中,预处理可以包括纹理一致化处理。图像的纹理是指图像中的元素(如像素)及其周围空间邻域的灰度分布。可以理解,若所述多幅初始图像由终端拍摄,由于终端和目标对象的距离、角度、采集时的背景可能发生变化,所述多幅初始图像的纹理可能不同。纹理一致化处理可以使所述多幅初始图像的纹理相同或基本相同,减少纹理特征的干扰,从而提高目标识别的效率和准确率。

在一些实施例中,获取模块可以通过纹理替换实现纹理一致化处理。纹理替换是指将所有初始图像的纹理都替换为指定图像的纹理。在一些实施例中,指定图像可以是多幅初始图像中的一幅,即,获取模块可以将所述多幅初始图像中一幅的纹理替换其他初始图像的纹理,实现纹理一致化。或者,指定图像可以是多幅初始图像以外的目标对象的图像。例如,存储设备中存储的过去拍摄的所述目标对象的图像。关于纹理替换的具体描述可以参见图5及其相关描述,在此不再赘述。

在一些实施例中,获取模块可以通过抠除背景、拍摄角度纠正等方式实现纹理一致化处理。例如,以目标对象为目标人脸为例,将所述多幅初始图像中除人脸以外的部分抠除,然后再将剩余部分中人脸的角度校正到预设角度(例如,正面面向图像采集设备等)。仅作为示例,背景的抠除可以通过图像识别技术识别所述多幅初始图像中每幅的人脸轮廓,再将所述人脸轮廓以外的部分抠除。角度校正可以通过校正算法(例如,人脸校正算法)或模型实现。在一些实施例中,获取模块还可以通过其他方式实现纹理一致化处理,在此不做限制。

在一些实施例中,预处理还可以包括图像筛选、图像去噪、图像增强等。

图像筛选可以包括筛除不包括目标对象或用户的特定身体部位的图像。筛选的对象可以是终端采集的初始图像,也可以是初始图像经过其他预处理(例如,纹理一致化处理)得到的图像。例如,获取模块可以基于初始图像的特征和包含目标对象的图像的特征进行匹配,筛除所述多幅初始图像中不包含目标对象的图像。

图像去噪可以包括去除图像中的干扰信息。图像中的干扰信息不仅会降低图像的质量,还会影响基于图像提取的颜色特征。在一些实施例中,获取模块可以通过中值滤波器、机器学习模型等实现图像去噪。

图像增强可以增加图像中的缺失信息。图像中的缺失信息会造成图像模糊,也会影响基于图像提取的颜色特征。例如,图像增强可以对图像的亮度、对比度、饱和度、色调等进行调节,增加其清晰度,减少噪点等。在一些实施例中,获取模块可以通过平滑滤波器、中值滤波器等实现图像增强。

与图像筛选类似,图像去噪或图像增强针对的对象可以是初始图像,或初始图像经过其他预处理后得到的图像。

在一些实施例中,预处理还可以包括其他操作,在此不作限制。在一些实施例中,所述目标识别系统100可以进一步包括预处理模块,用于对所述初始图像进行预处理。

步骤230,基于光照序列和多幅目标图像,确定多幅目标图像的真实性。在一些实施例中,步骤230可以由验证模块执行。

多幅目标图像的真实性可以反映所述多幅目标图像是否是所述目标对象在多个颜色的光照的照射下拍摄获取的图像。例如,当终端未被劫持或攻击时,其发光元件可以发射多个颜色的光照,同时其图像采集设备可以目标对象进行录像或拍照以获取的所述目标图像。此时,所述目标图像具有真实性。又例如,当终端被劫持或攻击时,所述目标图像是基于攻击者上传的图像或视频获取。此时,所述目标图像不具有真实性。

若多幅目标图像基于对多幅初始图像预处理得到,多幅目标图像的真实性也可以称为多幅初始图像的真实性,其可以反映所述多幅目标图像对应的多幅初始图像是否是所述目标对象在多个颜色的光照的照射下拍摄获取的图像。如,当终端未被劫持或攻击时,所述初始图像和目标图像具有真实性。又例如,当终端被劫持或攻击时,所述初始图像和目标图像不具有真实性。为方便描述,下文将多幅目标图像的真实性和多幅初始图像的真实性统称为多幅目标图像的真实性。

目标图像的真实性可以用于确定终端的图像采集设备是否被攻击者劫持。例如,所述多幅目标图像中若存在至少一幅目标图像不具有真实性,则说明图像采集设备被劫持。又例如,所述多幅目标图像中若超过预设数量的目标图像不具有真实性,则说明图像采集设备被劫持。

在一些实施例中,验证模块可以基于多幅目标图像的颜色特征和光照序列,确定多幅目标图像的真实性。关于基于目标图像的颜色特征确定目标图像的真实性的更多细节可以参见图7及其相关描述,在此不再赘述。

图像的颜色特征是指与图像的颜色相关的信息。图像的颜色包括拍摄图像时光照的颜色、图像中拍摄对象的颜色、图像中背景的颜色等。在一些实施例中,颜色特征可以包括由神经网络提取的深度特征和/或复杂特征。

颜色特征可以通过多种方式表示。在一些实施例中,颜色特征可以基于图像中各像素点在颜色空间中的颜色值表示。颜色空间是使用一组数值描述颜色的数学模型,该组数值中每个数值可以表示颜色特征在颜色空间的每个颜色通道上的颜色值。在一些实施例中,颜色空间可以表示为向量空间,该向量空间的每个维度表示颜色空间的一个颜色通道。颜色特征可以用该向量空间中的向量来表示。在一些实施例中,颜色空间可以包括但不限于RGB颜色空间、Lαβ颜色空间、LMS颜色空间、HSV颜色空间、YCrCb颜色空间和HSL颜色空间等。可以理解,不同的颜色空包含不同的颜色通道。例如,RGB颜色空间包含红色通道R、绿色通道G和蓝色通道B,颜色特征可以用图像中各像素点分别在红色通道R、绿色通道G和蓝色通道B上的颜色值表示。

在一些实施例中,颜色特征可以通过其他方式表示(如,颜色直方图、颜色矩、颜色集等)。例如,对图像中各像素点在颜色空间中的颜色值进行直方图统计,生成表示颜色特征的直方图。又例如,对图像中各像素点在颜色空间中的颜色值进行特定运算(如,均值、平方差等),将该特定运算的结果表示该图像的颜色特征。

在一些实施例中,验证模块可以通过颜色特征提取算法和/或颜色验证模型(或其部分)来提取多幅目标图像的颜色特征。颜色特征提取算法包括:颜色直方图、颜色矩、颜色集等。例如,验证模块可以基于图像中各像素点分别在颜色空间的每个颜色通道的颜色值,统计梯度直方图,从而获取颜色直方图。又例如,验证模块可以将图像分割为多个区域,用图像中各像素点分别在颜色空间的每个颜色通道的颜色值建立的多个区域的二进制索引的集合,以确定所述图像的颜色集。关于基于颜色验证模型提取颜色特征的更多细节参见图10、13和图15及其相关描述。

在一些实施例中,验证模块可以基于光照序列,以及利用颜色验证模型对多幅目标图像进行处理,以确定多幅目标图像的真实性,所述颜色验证模型为预置参数的机器学习模型。关于基于颜色验证模型确定目标图像的真实性可以参见图8及其相关描述,在此不再赘述。

在本说明书一些实施例中,目标识别系统100会给终端下发光照序列,并从终端获取与光照序列中多个光照存在对应关系的目标图像。处理设备通过识别目标图像被拍摄时光照的颜色,可以确定目标图像或其对应的初始图像是否是在目标对象被光照序列照射下拍摄的图像,进一步确定终端是否被劫持或攻击。可以理解,攻击者在不知道光照序列的情况下,上传的图像或上传的视频中的图像被拍摄时光照的颜色很难与光照序列中的多个光照的颜色相同。即使颜色的种类相同,每个颜色的位置顺序也很难相同。本说明书中披露的方法可以提高攻击者攻击的难度,保证目标识别的安全性。

图3是根据本说明书一些实施例所示的光照序列的示意图。

如前所述,光照序列中可以包含多个光照。在一些实施例中,光照序列中多个光照的颜色可以完全相同、完全不同或部分相同。例如,所述多个光照的颜色均为红色。又例如,所述多个光照中的至少两种光照有不同的颜色,即,所述多个光照有多个颜色。在一些实施例中,所述多个颜色包含白色。在一些实施例中,所述多个颜色包含红、蓝、绿。

光照序列中多个光照按照特定顺序排列。如图3所示,光照序列a包含红光、白光、蓝光、绿光4个依次排列的光照,光照序列b包括白光、蓝光、红光、绿光4个依次排列的光照,光照序列c包括红光、白光、蓝光、白光4个依次排列的光照,光照序列d包括红光、白光、白光、蓝光4个依次排列的光照。光照序列a和光照序列b中多个光照的颜色相同,但是排列顺序不同。类似的,光照序列c和光照序列d中多个光照的颜色相同,但是排列顺序不同。此外,光照序列a和b中4个光照的颜色完全不同,光照序列c和d中有两个光照的颜色相同。

图4是根据本说明书一些实施例所示的光照序列的另一示意图。

在一些实施例中,光照序列中光照的多个颜色可以包含至少一个基准颜色和至少一个验证颜色。验证颜色是多个颜色中直接用于验证图像真实性的颜色。基准颜色是多个颜色中用于辅助验证颜色确定目标图像真实性的颜色。例如,基准颜色对应的目标图像(又称为基准图像)可以用于确定验证颜色对应的目标图像(又称为验证图像)被拍摄时光照的颜色。进一步的,验证模块可以基于验证图像被拍摄时光照的颜色确定多幅目标图像的真实性。又例如,基准颜色对应的目标图像(又称为基准图像)可以用于验证颜色对应的目标图像(又称为验证图像)确定第一颜色关系。进一步的,验证模块可以基于第一颜色关系确定多幅目标图像的真实性。如图4所示,光照序列e中包含多个基准颜色的光照“红光、绿光、蓝光”,多个验证颜色的光照“黄光、紫光…青光”;光照序列f中包含多个基准颜色的光照“红光、白光…蓝光”,多个验证颜色的光照“红光..绿光”。

在一些实施例中,验证颜色存在多个。所述多个验证颜色可以完全相同。例如,验证颜色可以是红、红、红、红。或者,多个验证颜色也可以完全不同。例如,验证颜色可以是红、黄、蓝、绿、紫。又或者,多个验证颜色还可以部分相同。例如,验证颜色可以是黄、绿、紫、黄、红。与验证颜色类似地,在一些实施例中,基准颜色存在多个,所述多个基准颜色可以完全相同、完全不同或部分相同。在一些实施例中,验证颜色可以仅包含一个颜色,例如绿色。

在一些实施例中,所述至少一个基准颜色和至少一个验证颜色可以根据目标识别系统100的默认设定确定、由用户手动设定,或者由确定模块确定。例如,确定模块可以随机选取基准颜色和验证颜色。仅作为示例,确定模块可以从多个颜色中随机选取部分颜色作为所述至少一个基准颜色,剩余的颜色作为所述至少一个验证颜色。在一些实施例中,确定模块可以基于预设规则确定所述至少一个基准颜色和所述至少一个验证颜色。所述预设规则可以是关于验证颜色之间关系、基准颜色之间关系,和/或验证颜色和基准颜色之间关系等的规则。例如,所述预设规则为验证颜色可以基于基准颜色融合生成等。

在一些实施例中,至少一个验证颜色中的每一个可以基于至少一个基准颜色中的至少一部分颜色确定。例如,验证颜色可以基于至少一个基准颜色中的至少一部分颜色进行融合得到。在一些实施例中,至少一个基准颜色可以包含颜色空间的基色或原色。例如,所述至少一个基准颜色可以包括RGB空间的三原色,即“红、绿、蓝”。如图4所示,光照序列e中多个验证颜色“黄、紫…青”可以基于3个基准颜色“红、绿、蓝”确定。例如,“黄”可以基于第一比例对基准颜色“红、绿、蓝”进行融合得到,“紫”可以基于第二比例对基准颜色“红、绿、蓝”进行融合得到。

在一些实施例中,至少一个基准颜色中的一个或多个与至少一个验证颜色中的一个或多个相同。至少一个基准颜色和至少一个验证颜色之间可以全部相同或部分相同。例如,至少一个验证颜色中的某一个可以与至少一个基准颜色中特定一个颜色相同。可以理解的,该验证颜色也可以基于至少一个基准颜色确定,即,将该特定基准颜色作为该验证颜色即可。如图4所示,光照序列f中,多个基准颜色“红、白…蓝”和多个验证颜色“红..绿”均包含红色。

在一些实施例中,至少一个基准颜色和至少一个验证颜色还可以存在其他关系,在此不做限制。例如,至少一个基准颜色和所述至少一个验证颜色的色系相同或不同。示例的,至少一个基准颜色属于暖色系的颜色(如,红色、黄色等),至少一个基准颜色属于冷色系的颜色(如,灰色等)。

在一些实施例中,在所述光照序列中,所述至少一个基准颜色对应的光照可以排列在所述至少一个验证颜色对应的光照的前面或后面。如图4所示,光照序列e中,多个基准颜色的光照“红光、绿光、蓝光”排列在多个验证颜色的光照“黄光、紫光…青光”前面。光照序列f中,多个基准颜色的光照“红光、白光…蓝光”排列在多个验证颜色“红光..绿光”的后面。在一些实施例中,所述至少一个基准颜色对应的光照还可以和所述至少一个验证颜色对应的光照间隔排列,在此不做限制。

图5是根据本说明书一些实施例所示的获取多幅目标图像的示例性流程图。在一些实施例中,流程500可以由获取模块执行。如图5所示,该流程500包括下述步骤:

步骤510,获取多幅初始图像。

如前所述,所述多幅初始图像是从终端获取的未处理的图像。在一些实施例中,所述多幅初始图像可以是终端的图像采集设备拍摄的图像,也可以是被劫持的终端基于劫持者上传的图像或视频确定的图像。在一些实施例中,所述多幅初始图像可以包括第一初始图像和第二初始图像。

如前所述,获取模块可以对所述多幅初始图像进行纹理替换,以生成步骤220中所述的多幅目标图像。例如,获取模块可以利用指定图像中的纹理替换所述多幅初始图像的纹理。所述第一初始图像是指多幅初始图像中的指定图像,即,提供用于替换的纹理的初始图像。在一些实施例中,第一初始图像需要包含目标对象。例如,获取模块可以通过图像筛选从多幅初始图像中获取包含目标对象的第一初始图像。或者,第一初始图像可以是多幅初始图像中任意一幅。又例如,第一初始图像可以是多幅初始图像中拍摄时间最早的一幅。又例如,第一初始图像可以是多幅初始图像中背景最简单的一幅。仅作为示例,背景的简单程度通过背景的颜色种类判断,背景的颜色种类越少,背景越简单。背景简单程度还通过背景的线条复杂程度判断,背景的线条越少,背景越简单。在一些实施例中,光照序列中存在白色的光。第一初始图像可以是多幅目标图像中,采集时间与白光照射时间对应的初始图像。

第二初始图像是多幅初始图像中被替换纹理的初始图像。在一些实施例中,第二初始图像可以是除第一初始图像之外的任意初始图像。第二初始图像可以是一幅或者多幅。

在一些实施例中,终端可以根据光照序列中光照的照射时间采集对应的初始图像。获取模块可以通过网络从终端获取所述多幅初始图像。或者,劫持者可以通过终端设备上传图像或视频。获取模块可以基于所述上传的图像或视频确定所述多幅初始图像。关于终端采集初始图像的详细描述可以参见步骤220,在此不再赘述。

步骤520,用第一初始图像的纹理替换第二初始图像的纹理,以生成处理后的第二初始图像。

在一些实施例中,获取模块可以基于色彩迁移算法实现纹理替换。具体地,获取模块可以基于色彩迁移算法将第二初始图像被拍摄时光照的颜色迁移到第一初始图像上,以生成处理后的第二初始图像。色彩迁移算法是将一幅图像的颜色迁移至另一幅图像上以生成新的图像的方法。色彩迁移算法包括但不限于Reinhard算法、Welsh算法、模糊聚类算法、自适应迁移算法等。在一些实施例中,色彩迁移算法可以提取第二初始图像的颜色特征,然后将第二初始图像的颜色特征迁移到第一初始图像上,生成处理后的第二初始图像。关于颜色特征的更多介绍参见步骤230及其相关描述。关于色彩迁移算法的详细描述可以参见图6及其相关描述,在此不再赘述。

可以理解,用第一初始图像的纹理替换第二初始图像的纹理,是为了使得所有的目标图像的纹理一致,但所有的目标图像的颜色保持不变。因此,在一些实施例中,获取模块可以基于色彩迁移算法将第二初始图像被拍摄时光照的颜色特征迁移到第一初始图像,则新生成的图像的颜色特征仍然与第二初始图像相同,但纹理变为第一初始图像的纹理。例如,第二初始图像为N幅(N为大于等于1的整数)时,将N幅第二初始图像中每一幅被拍摄时光照的颜色特征迁移到第一初始图像,可以得到N幅新生成的图像,所述N幅新生成的图像颜色特征分别代表N幅第二初始图像被拍摄时光照的颜色,但所述N幅新生成的图像纹理均为第一初始图像的纹理。

在一些实施例中,获取模块还可以使用纹理特征迁移算法实现纹理替换。具体地,纹理特征迁移算法可以提取第一初始图像的纹理特征和第二初始图像的纹理特征,并用第一初始图像的纹理特征替换第二初始图像的纹理特征,以生成处理后的第二初始图像。

在一些实施例中,提取纹理特征的方法可以包括但不限于几何法、灰度共生矩阵法、模型法、信号处理法和机器学习模型等。其中,机器学习模型可以包括但不限于深度神经网络模型、循环神经网络模型、自定义的模型结构等,在此不做限制。

步骤530,将处理后的第二初始图像作为多幅目标图像中的一幅。

可以理解,处理后的第二初始图像被拍摄时光照的颜色与第二初始图像相同,但纹理特征来自于第一初始图像。如果第一初始图像和第二初始图像被拍摄时的光照颜色不同,第一初始图像和处理后的第二初始图像可以是两张内容相同、颜色不同的图像。在一些实施例中,所述多幅初始图像包含一幅或多幅第二初始图像。对每幅第二初始图像,获取模块可以用第一初始图像的纹理替换所述第二初始图像的纹理,以生成对应的处理后的第二初始图像。可选地,获取模块可以将第一初始图像也作为多幅目标图像中的一幅。此时,所述多幅目标图像包含所述第一初始图像以及一幅或多幅处理后的第二初始图像。

如前所述,由于图像采集设备和目标对象的距离、角度可能发生变化,导致多幅初始图像的纹理可能不同。因此,本说明书一些实施例通过纹理一致化处理,使得多幅目标图像中的纹理相同,从而减少目标图像中的纹理对光照颜色识别的影响,更好地确定多幅目标图像的真实性。

图6是根据本说明书一些实施例所示的纹理替换的示意图。

如图6所示,m幅初始图像中,第1幅初始图像为白光照射时采集的,其他初始图像分别是在红光、橙光、青光…、蓝光的照射时采集的。获取模块可以选择第1幅初始图像610-1作为第一初始图像,将初始图像610-2、610-3…、610-m作为第二初始图像。各第二初始图像与第一初始图像除了颜色不同,纹理也有所不同。例如,第二初始图像610-m中的目标对象所在的位置与第一初始图像610-1中的不同。又例如,第二初始图像610-2、610-3…、610-m中的目标对象的拍摄背景均与第一初始图像610-1中的不同。初始图像610-1、610-2、610-3…、610-m的纹理差异可能会导致图像真实性判断结果准确度低,数据分析量增大等。

为解决上述问题,可以利用色彩迁移算法对第二初始图像进行预处理。如图6所示,获取模块分别提取m-1幅第二初始图像610-2、610-3…610-m的颜色特征(即,红色、橙色、青色、…蓝色分别对应的颜色特征)。获取模块分别将m-1个第二初始图像的颜色特征迁移到第一初始图像610-1上,生成m-1幅处理后的第二初始图像620-2、620-3…、620-m。可以理解,处理后的第二初始图像中融合了第一初始图像的纹理特征和第二初始图像的颜色特征,等同于用第一初始图像的纹理替换第二初始图像的纹理后得到的图像。

在一些实施例中,第一初始图像和第二初始图像是RGB图像。为了避免RGB颜色空间中各颜色通道之间相关性的影响,获取模块可以先将第一初始图像和第二初始图像从RGB颜色空间转换到Lαβ颜色空间。例如,获取模块可以通过神经网络将目标图像(例如,第一初始图像或第二初始图像)从RGB颜色空间转换到Lαβ颜色空间。又例如,获取模块可以基于多个过渡矩阵,将目标图像从RGB颜色空间先转换到LMS颜色空间,再从LMS颜色空间转换至Lαβ颜色空间。

进一步地,获取模块可以提取转化后的第二初始图像和转化后第一初始图像在Lαβ颜色空间中的颜色特征。在一些实施例中,获取模块可以计算转化后的第二初始图像的所有像素点在Lαβ各通道上的平均值μ

更进一步地,获取模块可以将转化后的第二初始图像的颜色特征迁移到转化后的第一初始图像上。在一些实施例中,获取模块可以基于每个Lαβ通道中转化后的第一初始图像的标准差值σ

在一些实施例中,获取模块还可以将处理后的第二初始图像从Lαβ颜色空间转换到RGB颜色空间。

本说明书的一些实施例基于色彩迁移算法将第二初始图像的颜色特征迁移到第一初始图像上,不仅避免了提取复杂的纹理特征,还可以使得处理后的第二初始图像包含更详细和更准确的颜色特征信息,从而可以提高确定目标图像真实性的效率和准确率。

图7是根据本说明书一些实施例所示的基于颜色特征确定目标图像的真实性的流程图。在一些实施例中,流程700可以由验证模块执行。如图7所示,该流程700可以包括以下步骤:

步骤710,提取多幅目标图像的颜色特征。

关于颜色特征的更多细节参见步骤230及其相关描述。

步骤720,基于多幅目标图像的颜色特征以及光照序列,确定多幅目标图像的真实性。

在一些实施例中,对于所述多幅目标图像中每一幅,验证模块可以基于该目标图像的颜色特征确定该目标图像被拍摄时光照的颜色,再基于光照序列确定该目标图像对应的颜色。进一步的,验证模块可以确定目标图像的真实性。

例如,验证颜色可以基于至少一个基准颜色融合得到时,验证模块可以基于至少一个基准图像的基准颜色特征构成新的颜色空间(即图9中的基准颜色空间)。进一步的,验证模块可以基于新的颜色空间和验证图像的验证颜色特征,确定该验证图像被拍摄时光照的颜色。更进一步的,验证模块可以结合该验证图像对应的颜色,确定该验证图像的真实性。关于基于基准颜色空间确定目标图像的真实性可以参见图9、图11及其相关描述,此处不再赘述。

在一些实施例中,验证模块可以基于多幅目标图像的颜色特征,确定多幅目标图像之间的颜色关系,再基于多幅目标图像之间的颜色关系和光照序列中多个光照的多个颜色之间的颜色关系,确定多幅目标图像的真实性。关于基于颜色关系确定目标图像的真实性可以参见图12及其相关描述,此处不再赘述。

在一些实施例中,对所述多幅目标图像中的每一幅,验证模块可以基于所述目标图像的颜色特征及其对应的光照的颜色特征,确定所述目标图像的颜色特征及其对应的光照的颜色特征之间的匹配度。进一步的,验证模块可以基于该匹配度确定该目标图像的真实性。例如,如果目标图像的颜色特征及其对应的光照的颜色特征之间的匹配度大于预设阈值,则该目标图像具有真实性。匹配度可以基于目标图像的颜色特征和光照的颜色特征之间的相似度确定。相似度可以通过欧式距离、曼哈顿距离等衡量。在一些实施例中,验证模块可以基于多幅目标图像构建的第一图像序列的颜色特征(即,图14中的第一特征信息)和多个颜色模板图像构建的第二图像序列的颜色特征(即,图14中的第二特性信息),确定第一特征信息和第二特征信息之间的匹配度。进一步的,验证模块可以基于该匹配度,确定多幅目标图像的真实性。关于基于序列确定多幅目标图像的真实性的更多细节可以参见图14及其相关描述。

在一些实施例中,本说明书一些实施例中针对图像真实性判断设定的预设阈值可以和拍摄稳定程度相关。拍摄稳定程度是终端的图像采集设备获取目标图像时的稳定程度。在一些实施例中,预设阈值与拍摄稳定程度正相关。可以理解,拍摄稳定程度越高,则获取的目标图像质量越高,基于多幅目标图像提取的颜色特征越能真实反应被拍摄时光照的颜色,则预设阈值越大。在一些实施例中,拍摄稳定度可以基于终端(例如,车载终端或用户终端等)的运动传感器检测到的终端的运动参数衡量。例如,运动传感器检测到的运动速度、震动频率等。示例的,运动参数越大,或者运动参数变化率越大,说明拍摄稳定程度越低。运动传感器可以是检测车辆行驶情况的传感器,车辆可以是目标用户使用的车辆。目标用户是指目标对象所属的用户。例如,目标用户为网约车司机,则运动传感器可以是司机端或者车载终端的运动传感器。

在一些实施例中,预设阈值还可以与拍摄距离和拍摄角度相关。拍摄距离是图像采集设备获取目标图像时和目标对象之间的距离。拍摄角度是图像采集设备获取目标图像时目标对象正面与终端屏幕的角度。在一些实施例中,拍摄距离和拍摄角度都与预设阈值负相关。可以理解,拍摄距离越短,则获取的目标图像质量越高,基于多幅目标图像提取的颜色特征越能真实反应被拍摄时光照的颜色,则预设阈值越大。拍摄角度越小,则获取的目标图像质量越高,同理,则预设阈值越大。在一些实施例中,拍摄距离和拍摄角度可以通过图像识别技术基于目标图像确定。

在一些实施例中,验证模块可以对每幅目标图像的拍摄稳定程度、拍摄距离和拍摄角度进行特定运算(如,求平均、标准差等),基于特定运算后的拍摄稳定程度、拍摄距离和拍摄角度确定预设阈值。例如,验证模块分别基于特定运算后的拍摄稳定程度、拍摄距离和拍摄角度,确定对应的子阈值,再基于拍摄稳定程度对应的子阈值、拍摄距离对应的子阈值和拍摄角度对应的子阈值,确定预设阈值。如,可以对这三个子阈值进行求平均、加权平均等。

图8是根据本说明书一些实施例所示的基于颜色验证模型确定目标图像的真实性的流程图。在一些实施例中,流程800可以由验证模块执行。如图8所示,该流程800可以包括以下步骤:

步骤810,获取颜色验证模型。

颜色验证模型是用于验证图像是否具有真实性的模型。颜色验证模型是预置参数的机器学习模型。预置参数是指机器学习模型训练过程中,学习到的模型参数。以神经网络为例,模型参数包括权重(Weight)和偏置(bias)等。颜色验证模型的所述预置参数在训练过程确定。例如,模型获取模块可以基于带有标签的多个训练样本训练初始颜色验证模型,以得到颜色验证模型。

在一些实施例中,颜色验证模型可以存储在存储设备中,验证模块可以通过网络从存储设备中获取颜色验证模型。在一些实施例中,颜色验证模型可以通过训练过程获取。关于颜色验证模型的训练过程可以参见图10、13和图15及其相关描述。

步骤820,基于光照序列,利用颜色验证模型对多幅目标图像进行处理,确定多幅目标图像的真实性。

在一些实施例中,颜色验证模型可以包括第一验证模型。所述第一验证模型可以包括第一颜色特征提取层和颜色分类层。第一颜色特征提取层提取目标图像的颜色特征。颜色分类层基于目标图像的颜色特征,确定目标图像对应的颜色。关于基于第一验证模型确定目标图像的真实性可以参见图10及其相关描述。

在一些实施例中,颜色验证模型可以包括第二验证模型。所述第二验证模型可以包括第二颜色特征提取层和颜色关系确定层。第二颜色特征提取层层提取目标图像的颜色特征。颜色关系确定层基于目标图像的颜色特征,确定不同目标图像对应的颜色之间的关系(例如,是否相同)。关于基于第二验证模型确定目标图像的真实性的详细描述可以参见图13及其相关描述。

在一些实施例中,颜色验证模型可以包括第三验证模型。所述第三验证模型可以包括第一提取层、第二提取层和判别层。第一提取层提取多幅目标图像构建的序列的颜色特征。第二提取层提取多个颜色模板图像构建的序列的颜色特征。判别层基于两个序列的颜色特征确定两个序列的关系。关于基于第三验证模型确定多幅目标图像的真实性可以参见图14及其相关描述。

图9是根据本说明书一些实施例所示的确定多幅目标图像的真实性的示例性流程图。在一些实施例中,流程图900可以由验证模块执行。如图9所示,该流程900可以包括以下步骤:

在一些实施例中,光照序列中光照的多个颜色包括至少一个基准颜色和至少一个验证颜色。至少一个验证颜色中的每一个可以基于至少一个基准颜色中的至少一部分颜色确定。例如,至少一个验证颜色中的每一个可以基于一个或多个基准颜色融合生成。所述多幅图像包括至少一幅基准图像和至少一幅验证图像。所述至少一幅验证图像中的每一幅与所述至少一个验证颜色中的一个对应。所述多幅基准图像中的每一幅与所述至少一个基准颜色中的一个对应。如步骤220所述,目标图像与特定的颜色对应说明若终端未被劫持时(即该目标图像是真实的),所述目标图像理应具备该特定的颜色。

步骤910,提取至少一幅基准图像的基准颜色特征和至少一幅验证图像的验证颜色特征。

基准颜色特征是指基准图像的颜色特征。验证颜色特征是指验证图像的颜色特征。关于颜色特征及其提取可以参见步骤230的描述。

在一些实施例中,验证模块可以基于第一验证模型包含的第一颜色特征提取层提取图像的颜色特征。关于基于第一颜色特征提取层提取颜色特征的细节可以参见图10及其相关描述,在此不再赘述。

步骤920,对至少一幅验证图像中的每一幅,基于验证图像的验证颜色特征和至少一幅基准图像的基准颜色特征,确定验证图像被拍摄时光照的颜色。

在一些实施例中,至少一幅基准图像的基准颜色特征可以用于构建一个基准颜色空间。所述基准颜色空间以所述至少一个基准颜色作为其颜色通道。具体地,每个基准图像对应的基准颜色特征可以作为该基准颜色空间中对应颜色通道的基准值。

在一些实施例中,所述多幅目标图像对应的颜色空间(又称为原始颜色空间)可以与所述基准颜色空间相同或不同。例如,所述多幅目标图像可以对应RGB颜色空间,所述至少一个基准颜色为红、蓝和绿,则多幅目标图像对应的原始颜色空间和基于所述基准颜色构建的基准颜色空间属于相同的颜色空间。在本文中,如果两个颜色空间的基色或原色相同,则这两个颜色空间可以被视为相同的颜色空间。

如上所述,验证颜色可以基于一个或多个基准颜色进行融合得到。因此,验证模块可以基于基准颜色特征和/或其构建的基准颜色空间确定验证颜色特征对应的颜色。在一些实施例中,验证模块可以基于基准颜色空间,对验证图像的验证颜色特征进行映射,确定验证图像被拍摄时光照的颜色。例如,验证模块可以基于验证颜色特征和基准颜色空间中每个颜色通道的基准值之间的关系,确定验证颜色特征在每个颜色通道上的参数,再基于参数确定验证颜色特征对应的颜色,即验证图像被拍摄时光照的颜色。

示例的,验证模块可以将基于基准图像a、b、c提取的基准颜色特征

在一些实施例,基准颜色空间可以与原始颜色空间的颜色通道的颜色相同。例如,所述原始空间颜色可以是RGB空间,所述至少一个基准颜色可以是红、绿、蓝。验证模块可以基于红、绿、蓝对应的三幅基准图像的基准颜色特征构建新的RGB颜色空间(即基准颜色空间),并确定每幅验证图像的验证颜色特征在新的RGB颜色空间中的RGB值,从而确定验证图像被拍摄时光照的颜色。

在一些实施例中,验证模块可以基于第一验证模型中颜色分类层对基准颜色特征和验证颜色特征处理,确定验证图像被拍摄时光照的颜色,具体可以参见图10及其相关描述,在此不再赘述。

步骤930,基于光照序列和至少一幅验证图像被拍摄时光照的颜色,确定多幅目标图像的真实性。

在一些实施例中,对于至少一幅验证图像中的每一幅,验证模块可以基于光照序列确定所述验证图像对应的验证颜色。进一步地,验证模块可以基于验证图像对应的验证颜色,确定验证图像的真实性。例如,验证模块基于验证图像对应的验证颜色与被拍摄时光照的颜色是否一致的第一判断结果,确定验证图像的真实性。验证图像对应的验证颜色和被拍摄时光照的颜色相同表示验证图像具有真实性,验证图像对应的验证颜色和被拍摄时光照的颜色不相同表示该验证图像不具有真实性。又例如,验证模块基于多个验证图像对应的验证颜色之间的关系(例如,是否相同)与多幅验证图像被拍摄时光照的颜色之间的关系是否一致,确定验证图像的真实性。

在一些实施例中,验证模块可以基于至少一个验证图像的真实性确定终端的图像采集设备是否被劫持。例如,具有真实性的验证图像的个数超过第一阈值说明终端的图像采集设备未被劫持。又例如,不具有真实性的验证图像的个数超过第二阈值(例如,1)说明终端的图像采集设备被劫持。

在一些实施例中,验证模块可以结合基准颜色空间与其他验证方式,确定多幅目标图像的真实性。在一些实施例中,验证模块可以基于基准颜色空间确定验证图像和基准图像中每幅目标图像的更新后的颜色特征。更新后的颜色特征是指将原来的颜色特征转换到基准颜色空间后的特征。进一步地,验证模块可以基于每幅目标图像更新后的颜色特征替换原来的颜色特征,并结合其他验证方式确定多幅目标图像的真实性。例如,验证模块可以基于多幅目标图像更新后的颜色特征确定多幅目标图像之间的第一颜色关系,并基于第一颜色关系确定多幅目标图像的真实性。又例如,验证模块基于多幅目标图像更新后的颜色特征确定多幅目标图像构建的第一图像序列的颜色特征,并基于第一图像序列的颜色特征确定多幅目标图像的真实性。关于其他验证方式的相关描述可以参见本说明书的其他地方,例如图12~15及其相关描述。

由于基准图像和验证图像都是在相同的外界环境光的条件下拍摄的,基于基准图像建立基准颜色空间,并基于基准颜色空间确定验证图像被拍摄时光照的颜色可以使确定结果更加准确。进一步的,目标图像真实性的确定也更加准确。例如,光照序列中的光照比环境光微弱时,照射到目标对象的光照可能难以被检测。或者,当环境光为彩色光时,照射到目标对象的光照可能会受到干扰。当终端未被劫持时,基准图像和验证图像是在相同(或基本相同)的环境光下拍摄的。基于基准图像构建的基准颜色空间融合了环境光的影响,因此,相比于原始颜色空间,可以较准确地识别出验证图像被拍摄时光照的颜色。此外,本文中披露的方法可以避免终端的发光元件的干扰。当终端未被劫持时,基准图像和验证图像都是在相同的发光元件照射下被拍摄的,利用基准颜色空间可以消除或减弱发光元件的影响,提高识别光照颜色的准确率。

图10是根据本说明书一些实施例所示的第一验证模型的示意图。

在一些实施例中,验证模块可以基于第一验证模型和光照序列确定多幅目标图像的真实性。第一验证模型可以包括第一颜色特征提取层和颜色分类层。第一颜色特征提取层可以包括基准颜色特征提取层和验证颜色特征提取层。如图10所示,第一验证模型可以包括基准颜色特征提取层1030、验证颜色特征提取层1040以及颜色分类层1070。基准颜色特征提取层1030和验证颜色特征提取层1040可以用于实现步骤910。颜色分类层1070可以用于实现步骤920。进一步的,验证模块基于验证图像对应的颜色和光照序列,确定验证图像的真实性。

颜色特征提取模型(如,第一颜色特征提取层、基准颜色特征提取层1030和验证颜色特征提取层1040等)可以提取目标图像的颜色特征。在一些实施例中,颜色特征提取模型的类型可以包括ResNet、DenseNet、MobileNet、ShuffleNet或EfficientNet等卷积神经网络模型,或长短记忆循环神经网络等循环神经网络模型。在一些实施例中,基准颜色特征提取层1030和验证颜色特征提取层1040的类型可以相同或不同。

基准颜色特征提取层1030提取至少一幅基准图像1010的基准颜色特征1050。在一些实施例中,至少一幅基准图像1010可以包括多幅基准图像。基准颜色特征1050可以是所述多幅基准图像1010的颜色特征的融合。例如,可以将所述多幅基准图像1010进行拼接,拼接后输入基准颜色特征提取层1030,所述基准颜色特征提取层1030可以输出基准颜色特征1050。示例的,基准颜色特征1050是基准图像1010-1、1010-2、1010-3的颜色特征向量拼接而成的特征向量。

验证颜色特征提取层1040提取至少一幅验证图像1020的验证颜色特征1060。在一些实施例中,验证模块可以分别对至少一幅验证图像1020中的每一幅进行颜色判断。例如,如图8所示,验证模块可以将至少一幅基准图像1010输入基准颜色特征提取层1030,将验证图像1020-2输入验证颜色特征提取层1040。验证颜色特征提取层1040可以输出验证图像1020-2的验证颜色特征1060。颜色分类层1070可以基于基准颜色特征1050和验证图像1020-2的验证颜色特征1060,确定验证图像1020-2被拍摄时光照的颜色。

在一些实施例中,验证模块可以同时对多幅验证图像1020进行颜色判断。例如,验证模块可以将至少一幅基准图像1010输入基准颜色特征提取层1030,将多幅验证图像1020(包括验证图像1020-1、1020-2…1020-n)输入验证颜色特征提取层1040。验证颜色特征提取层1040可以同时输出多幅验证图像1020的验证颜色特征1060。颜色分类层1070可以同时确定多幅验证图像中每幅验证图像被拍摄时光照的颜色。

对至少一幅验证图像中每一幅,颜色分类层1070可以基于基准颜色特征和该验证图像的验证颜色特征,确定该验证图像被拍摄时光照的颜色。例如,颜色分类层1070可以基于基准颜色特征和该验证图像的验证颜色特征确定数值或概率,再基于数值或概率确定验证图像被拍摄时光照的颜色。验证图像对应的数值或概率可以反映所述验证图像被拍摄时光照的颜色属于各颜色的可能性。在一些实施例中,颜色分类层1070可以包括但不限于全连接层、深度神经网络等。

第一验证模型是预置参数的机器学习模型。可以理解的,第一验证模型包括的基准颜色特征提取层、验证颜色特征提取层和颜色分类层是预置参数的机器学习模型。第一验证模型的预置参数可以在模型训练过程确定。例如,获取模块可以基于带有第一标签的第一训练样本训练初始第一验证模型,以得到第一验证模型的预置参数。第一训练样本包括样本目标对象的至少一幅样本基准图像和至少一幅样本验证图像,第一训练样本的第一标签为每幅样本验证图像被拍摄时光照的颜色。其中,至少一个样本基准图像被拍摄时光照的颜色与至少一个基准颜色相同。例如,如果所述至少一个基准颜色包括红、绿、蓝,则所述至少样本基准图像包括样本目标对象在红光、绿光和蓝光照射下拍摄的三幅目标图像。

在一些实施例中,获取模块可以将第一训练样本输入初始第一验证模型,通过训练更新初始验证颜色特征提取层、初始基准颜色特征提取层和初始颜色分类层的参数,直到更新后的第一验证模型满足第一预设条件。更新后的第一验证模型可以被指定为预置参数的第一验证模型,换言之,更新后的第一验证模型可以被指定为训练后的第一验证模型。第一预设条件可以是更新后的颜色特征模型的损失函数小于阈值、收敛,或训练迭代次数达到阈值。

在一些实施例中,获取模块可以通过端到端的训练方式,训练初始第一验证模型中的初始验证颜色特征提取层、初始基准颜色特征提取层和初始颜色分类层。端到端的训练方式是指将训练样本输入初始模型,并基于初始模型的输出确定损失值,基于所述损失值更新所述初始模型。所述初始模型可能会包含用于执行不同数据处理操作的多个子模型或模块,其会在训练中被视为整体,进行同时更新。例如,在初始第一验证模型的训练中,可以将至少一幅样本基准图像输入初始基准颜色特征提取层,将至少一幅样本验证图像输入初始验证颜色特征提取层,基于初始颜色分类层的输出结果和第一标签建立损失函数,基于损失函数对初始第一验证模型中各初始模型的参数进行同时更新。

在一些实施例中,第一验证模型可以由处理设备或第三方预先训练后保存在存储设备中,处理设备可以从存储设备中直接调用第一验证模型。

本说明书一些实施例通过第一验证模型确定验证图像的真实性,可以提高目标图像真实性验证的效率。此外,使用第一验证模型可以提高目标对象真实性验证的可靠性,减少或者去除终端设备的性能差异的影响,进一步确定目标图像的真实性。可以理解,不同终端的硬件存在一定差异,例如,不同厂商的终端屏幕发射的相同颜色彩色光在饱和度、亮度等参数上可能会有差异,导致同一种颜色的类内差距比较大。初始第一验证模型的第一训练样本可以是由不同性能的终端拍摄的。初始第一验证模型在训练过程中通过学习,可以使得第一验证模型在进行目标对象颜色判断时可以考虑终端性能差异,较为准确地确定目标图像的颜色。而且,当终端未被劫持时,由于基准图像和验证图像都是在相同的外界环境光的条件下拍摄的。在一些实施例中,基于第一验证模型中的基准颜色特征提取层,建立基准颜色空间,并基于基准颜色空间确定多幅目标图像的真实性时,可以消除或减弱外界环境光的影响。

图11是根据本说明书一些实施例所示的确定多幅目标图像的真实性的另一示例性流程图。在一些实施例中,流程图1100可以由验证模块执行。如图11所示,该流程1100包括如下步骤:

步骤1110,提取至少一幅验证图像的验证颜色特征。

关于提取验证颜色特征的具体描述可以参见步骤910及其相关描述。

步骤1120,提取至少一幅基准图像的基准颜色特征。

关于提取基准颜色特征的具体描述可以参见步骤910及其相关描述。

步骤1130,对至少一幅验证图像中的每一幅,基于光照序列和基准颜色特征,生成该验证图像对应的验证颜色的目标颜色特征。

目标颜色特征是指验证图像对应的验证颜色在基准颜色空间中表示的特征。在一些实施例中,对于至少一幅验证图像中的每一幅,验证模块可以基于光照序列,确定验证图像对应的验证颜色,并基于该验证颜色和基准颜色特征生成验证图像的目标颜色特征。例如,验证模块可以将验证颜色的颜色特征与基准颜色特征进行融合,得到目标颜色特征。

步骤1140,基于至少一幅验证图像中的每一幅对应的目标颜色特征和验证颜色特征,确定多幅目标图像的真实性。

在一些实施例中,对于至少一幅验证图像中的每一幅,验证模块可以基于其对应的目标颜色特征和验证颜色特征之间的相似度,确定验证图像的真实性。其中,目标颜色特征和验证颜色特征之间的相似度可以通过向量相似度计算得到,例如,通过欧式距离、曼哈顿距离等确定。示例性地,当目标颜色特征和验证颜色特征的相似度大于第三阈值,则验证图像具有真实性,反之则不具有真实性。

图12是根据本说明书一些实施例所示的确定多幅目标图像的真实性的方法的示例性流程图。在一些实施例中,流程1200可以由验证模块执行。如图12所示,该流程1200包括以下步骤:

如前所述,光照序列中多个光照对应的多个颜色包括至少一个基准颜色和至少一个验证颜色。在一些实施例中,至少一个基准颜色中的一个或多个与至少一个验证颜色中的一个或多个相同。所述多幅目标图像包括至少一幅基准图像和至少一幅验证图像,所述至少一幅基准图像的每幅与所述至少一幅基准颜色中的一个对应,所述至少一幅验证图像的每幅与所述至少一个验证颜色中的一个对应。

步骤1210,提取至少一幅基准图像中每一幅的基准颜色特征和至少一幅验证图像中每一副的验证颜色特征。

关于提取基准颜色特征和验证颜色特征可以参见步骤910及其相关描述,在此不再赘述。

在一些实施例中,验证模块可以基于第二验证模型包含的第二颜色特征提取层提取基准颜色特征和验证颜色特征。关于基于第二颜色特征提取层提取颜色特征的细节可以参见图13及其相关描述,在此不再赘述。

步骤1220,对至少一幅基准图像中的每一幅,基于基准图像的基准颜色特征和每幅验证图像的验证颜色特征,确定基准图像和每幅验证图像的第一颜色关系。

基准图像和验证图像之间的第一颜色关系是指基准图像被拍摄时光照的颜色和验证图像被拍摄时光照的颜色之间的关系。第一颜色关系包括相同、不同或相似等。在一些实施例中,第一颜色关系可以用数值表示。例如,相同用“1”表示,不同用“0”表示。

在一些实施例中,基于至少一幅基准图像和至少一幅验证图像确定的至少一个第一颜色关系可以用向量表示,向量中每个元素可以表示至少一幅基准图像中的一幅和至少一幅验证图像中的一幅之间的第一颜色关系。例如,1幅基准图像和5幅验证图像中每一幅的第一颜色关系分别为相同、不同、相同、相同、不同,则1幅基准图像和5幅验证图像的第一颜色关系可以用向量(1,0,1,1,0)表示。

在一些实施例中,基于至少一幅基准图像和至少一幅验证图像确定的至少一个第一颜色关系还可以用验证码表示。验证码中每个位置的子码可以表示至少一幅基准图像中的一幅和至少一幅验证图像中的一幅之间的第一颜色关系。例如,上述1幅基准图像和5幅验证图像的第一颜色关系可以用验证码10110表示。

在一些实施例中,验证模块可以基于基准图像的基准颜色特征和验证图像的验证颜色特征,确定其之间的第一颜色关系。例如,验证模块可以确定基准图像的基准颜色特征和验证图像的验证颜色特征之间的相似度,基于相似度和阈值确定至少一个第一颜色关系。例如,相似度大于第四阈值则判断为相同,小于第五阈值则判断为不同,或者大于第六阈值小于第四阈值则判断为相似等。其中,第四阈值可以大于第五阈值和第六阈值,第六阈值可以大于第五阈值。在一些实施例中,相似度可以用基准颜色特征和验证颜色特征之间的距离表征。距离可以包括但不限于欧氏距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、马氏距离、夹角余弦距离等。

在一些实施例中,验证模块还可以基于第二验证模型包含的颜色关系确定层获取第一颜色关系。关于颜色关系确定层的详细描述可以参见图13及其相关描述,在此不再赘述。

步骤1230,对至少一个基准颜色中的每一个,确定基准颜色和每个所述验证颜色的第二颜色关系。

基准颜色和验证颜色的第二颜色关系可以表示这两个颜色是否相同、不同,或者相似。在一些实施例中第二颜色关系的类型和表示方式可以与第一颜色关系类似,在此不再赘述。

在一些实施例中,验证模块可以基于基准颜色和验证颜色类别或颜色参数,确定其第二颜色关系。例如,如果基准颜色和验证颜色中的类别相同或颜色参数的数值差小于一定阈值,则判断这两个颜色相同,反之则判断这两个颜色不同。

在一些实施例中,验证模块可以提取基准颜色的颜色模板图像的第一颜色特征和验证颜色的颜色模板图像的第二颜色特征。验证模块可以进一步基于第一颜色特征和第二颜色特征,确定所述基准颜色和验证颜色的第二颜色关系。例如,验证模块可以计算第一颜色特征和第二颜色特征之间的相似度以确定所述第二颜色关系。

在一些实施例中,至少一个第一颜色关系和至少一个第二颜色关系存在一对一的对应关系。具体的,基准图像和验证图像之间的第一颜色关系与该基准图像对应的基准颜色和该验证图像对应的验证颜色之间第二颜色关系相对应。

步骤1240,基于至少一个第一颜色关系和至少一个第二颜色关系,确定多幅目标图像的真实性。

在一些实施例中,验证模块可以基于至少一个第一颜色关系中的部分或全部,和对应的第二颜色关系,确定多幅目标图像的真实性。

在一些实施例中,第一颜色关系和第二颜色关系可以通过向量表示。在一些实施例中,验证模块可以选择至少一个第一颜色关系中的部分或全部构建第一向量,基于被选择的第一颜色关系对应的第二颜色关系构建第二向量。进一步,验证模块可以基于第一向量和第二向量的相似度确定多幅目标图像的真实性。例如,相似度大于第七阈值,则多幅目标图像具有真实性。可以理解的,第一向量和第二向量中元素的排列顺序基于第一颜色关系和第二颜色关系之间的对应关系确定。例如,第一向量A中某第一颜色关系对应的元素为A

在一些实施例中,第一颜色关系和第二颜色关系还可以通过验证码表示。在一些实施例中,验证模块可以选择至少一个第一颜色关系中的部分或全部构建对应的第一验证码,基于被选择的第一颜色关系对应的第二颜色关系构建对应的第二验证码,确定多幅目标图像的真实性。与第一向量和第二向量类似地,第一验证码和第二验证码中子码的位置基于第一颜色关系和第二颜色关系之间的对应关系确定。例如,第一验证码和第二验证码不同,则多幅目标图像不具有真实性。示例的,第一验证码为10110,第二验证码为10111,则多幅目标图像不具有真实性。又例如,验证模块可以基于第一验证码和第二验证码中子码相同的个数,确定多幅目标图像的真实性。例如,子码相同的个数大于第八阈值,则确定多幅目标图像的真实性,子码相同的个数小于第九阈值,则确定多幅目标图像不具有真实性。示例的,第八阈值为3,第九阈值为1,第一验证码为10110,第二验证码为10111,第一验证码和第二验证码的第一位、第二位、第三位和第四位的子码对应相同,则确定多幅目标图像具有真实性。

在一些实施例中,验证模块可以基于基准颜色空间确定验证图像和基准图像被拍摄时光照的颜色,进一步确定第一颜色关系,再结合对应的第二颜色关系确定多幅目标图像的真实性。在一些实施例中,验证模块可以基于基准颜色空间确定验证图像更新后的验证颜色特征和基准图像更新后的基准颜色特征。进一步的,验证模块基于更新后的验证颜色特征和更新后的基准颜色特征确定第一颜色关系,再结合对应的第二颜色关系确定多幅目标图像的真实性。

如前所述,基准图像和验证图像都是在相同的外界环境光的条件下、被相同的发光元件照射时拍摄的,因此,基于基准图像和验证图像之间的关系确定多幅目标图像的真实性时,可以消除或减弱外界环境光和发光元件的影响,从而提高光照颜色的识别准确率。

图13是根据本说明书一些实施例所示的第二验证模型的示意图。

在一些实施例中,验证模块可以基于第二验证模型和光照序列确定多幅目标图像的真实性。如图13所示,第二验证模型可以包括第二颜色特征提取层1330和颜色关系确定层1360。第二颜色特征提取层1330可以用于实现步骤1210,颜色关系确定层1360可以用于实现步骤1220。进一步的,验证模块可以基于所述第一颜色关系和光照序列,确定多幅目标图像的真实性。

在一些实施例中,至少一幅基准图像和至少一幅验证图像可以组成一个或多个图像对。每个图像对包括至少一副基准图像中的一幅和至少一幅验证图像中一幅。验证模块可以分别对一个或多个图像对进行分析,确定该图像对中基准图像和验证图像之间的第一颜色关系。例如,如图13所示,所述至少一幅基准图像包括“1320-1…1320-y”,所述至少一幅验证图像包括“1310-1…1310-x”。出于说明目的,下文以基准图像1320-y和验证图像1310-1构成的图像对为例展开。

第二颜色特征提取层1330可以提取基准图像1320-y的基准颜色特征1350-y和验证图像1310-1的验证颜色特征1340-1。在一些实施例中,第二颜色特征提取层1330的类型可以包括ResNet、ResNeXt、SE-Net、DenseNet、MobileNet、ShuffleNet、RegNet、EfficientNet或Inception等卷积神经网络(Convolutional Neural Networks,CNN)模型,或循环神经网络模型。

第二颜色特征提取层1330的输入可以是图像对(如,基准图像1320-y和验证图像1310-1)。例如,可以将基准图像1320-y和验证图像1310-1拼接后输入第二颜色特征提取层1330。第二颜色特征提取层1330的输出可以是图像对的颜色特征(如,基准图像1320-y的基准颜色特征1350-y和验证图像1310-1的验证颜色特征1340-1)。例如,第二颜色特征提取模型1330的输出可以是验证图像1310-1的验证颜色特征1340-1和基准图像1320-y的基准颜色特征1350-y拼接后的颜色特征。

颜色关系确定层1360用于基于图像对的颜色特征,确定图像对的第一颜色关系。例如,验证模块可以将基准图像1320-y的基准颜色特征1350-y和验证图像1310-1的验证颜色特征1340-1输入颜色关系确定层1360,颜色关系确定层1360输出基准图像1320-y和验证图像1310-1的第一颜色关系。

在一些实施例中,验证模块可以将至少一个基准图像和至少一个验证图像组成的多对图像对一起输入第二验证模型。第二验证模型可以同时输出所述多对图像对中每一对的第一颜色关系。在一些实施例中,验证模块可以将所述多对图像对中某一对输入第二验证模型。第二验证模型可以输出该对图像对的第一颜色关系。

在一些实施例中,颜色关系确定层1360可以是分类模型,包括但不限于全连接层、深度神经网络、决策树等。

第二验证模型是预置参数的机器学习模型,可以理解的,第二验证模型包括的第二颜色特征提取层和颜色关系确定层为预置参数的机器学习模型。第二验证模型的预置参数可以在训练过程确定。例如,获取模块可以基于带有第二标签的第二训练样本训练初始第二验证模型,以得到第二验证模型。第二训练样本包括带有第二标签的一个或多个样本图像对。每个样本图像对包括样本目标对象在相同或不同灯光的照射下拍摄的两张目标图像。第二训练样本的第二标签可以说明样本图像对被拍摄时光照的颜色是否相同。

在一些实施例中,获取模块可以将第二训练样本输入初始第二验证模型,通过训练更新初始第二颜色特征提取层和初始颜色关系确定层的参数,直到更新后的第二验证模型满足第二预设条件。更新后的第二验证模型可以被指定为预置参数的第二验证模型,换言之,更新后的第二验证模型可以被指定为训练后的第二验证模型。第二预设条件可以是更新后的第二验证模型的损失函数小于阈值、收敛,或训练迭代次数达到阈值。

在一些实施例中,获取模块可以通过端到端的训练方式,训练初始第二验证模型中的初始第二颜色特征提取层和初始颜色关系确定层。端到端的训练方式是指将训练样本输入初始模型,并基于初始模型的输出确定损失值,基于所述损失值更新所述初始模型。所述初始模型可能会包含用于执行不同数据处理操作的多个子模型或模块,其会在训练中被视为整体,进行同时更新。例如,在初始第二验证模型训练中,可以将至少一幅样本基准图像和至少一幅验证图像输入初始颜色特征提取模型,基于初始颜色关系确定层的输出结果和第二标签建立损失函数,基于损失函数对初始第二验证模型中各初始模型的参数进行同时更新。

在一些实施例中,第二验证模型可以由处理设备或第三方预先训练后保存在存储设备中,处理设备可以从存储设备中直接调用第二验证模型。

基于第一颜色关系和第二颜色关系确定多幅目标图像的真实性,可以无需识别目标图像被拍摄时光照的类型,直接通过对比颜色特征确定被拍摄时光照的类型是否一致来进行识别,这相当于把颜色识别任务转化为判断颜色是否相同的二分类任务。在一些实施例中,可以使用第二验证模型来确定第一颜色关系。第二验证模型的颜色关系确定层可以只包括数量较少的神经元(例如,两个神经元)来进行颜色是否相同的判断。相比于传统方法中的颜色识别网络,本说明书中披露的第二验证模型结构更加简单。基于所述第二验证模型进行的目标对象分析所需要的计算资源(如计算空间)也相对更少,由此可以提高光照颜色的识别效率。同时,模型的输入可以是任意颜色对应的目标图像,与其他需要限定输入颜色种类数量的算法相比,本说明书实施例的适用性更高。而且,使用第二验证模型可以提高目标对象真实性验证的可靠性,减少或者去除终端设备的性能差异的影响,进一步确定目标图像的真实性。可以理解,不同终端的硬件存在一定差异,例如,不同厂商的终端屏幕发射的相同颜色彩色光在饱和度、亮度等参数上可能会有差异,导致同一种颜色的类内差距比较大。初始第二验证模型的第二训练样本可以是由不同性能的终端拍摄的。初始第二验证模型在训练过程中通过学习,可以使得第二验证模型在进行目标对象颜色判断时可以考虑终端性能差异,较为准确地确定目标图像的颜色。此外,当终端未被劫持时,基准图像和验证图像都是在相同的外界环境光的条件下拍摄的。因此,基于第二验证模型对基准图像和验证图像进行处理,确定多幅目标图像的真实性时,可以消除或减弱外界环境光的影响。

图14是根据本说明书一些实施例所示的确定多幅目标图像的真实性方法的另一示例性流程图。在一些实施例中,流程1400可以由验证模块执行。如图14所示,该流程1400包括以下步骤:

步骤1410,基于多幅目标图像,确定第一图像序列。

第一图像序列是按照特定顺序排列的多幅目标图像的集合。在一些实施例中,验证模块可以将多幅目标图像按其各自的拍摄时间排序,以生成第一图像序列。例如,所述多幅目标图像可以按照其各自的拍摄时间从先到后排序。

步骤1420,基于多幅颜色模板图像,确定第二图像序列。

颜色模板图像是基于光照序列中光照的颜色生成的模板图像。某个颜色的颜色模板图像是指仅仅包含该颜色的纯色图片。例如,红色的颜色模板图像仅仅包含红色,不包含红色以外的其他颜色,也不包含纹理。

在一些实施例中,验证模块可以基于光照序列,生成所述多幅颜色模板图像。例如,验证模块可以根据光照序列中每个光照的颜色类型和/或颜色参数,生成该光照的颜色对应的颜色模板图像。在一些实施例中,存储设备中可以预先存储光照序列中每个颜色的颜色模板图像,验证模块可以通过网络从存储设备中获取光照序列中光照的颜色对应的颜色模板图像。

第二图像序列是按照顺序排列的多幅颜色模板图像的集合。在一些实施例中,验证模块可以将多幅颜色模板图像按其对应的光照的照射时间排序,以生成第二图像序列。例如,所述多幅颜色模板图像可以按照其对应的光照的照射时间从先到后排序。在一些实施例中,在第二图像序列中多幅颜色模板图像的排列顺序与第一图像序列中多幅目标图像的排列顺序相一致。在第二图像序列中多幅颜色模板图像对应的光照的照射时间与第一图像序列中多幅目标图像的拍摄时间对应。例如,如果多幅目标图像按照其拍摄时间从先到后排列,则多幅颜色模板图像也基于其对应的光照的照射时间从先到后排列。

步骤1430,提取第一图像序列的第一特征信息。

第一特征信息可以包括第一图像序列中多幅目标图像的颜色特征。关于提取颜色特征的更多细节参见步骤230及其相关描述。在一些实施例中,验证模块可以基于第三验证模型中的第一提取层提取第一图像序列的第一特征信息。关于基于第一提取层提取第一特征信息参见图15及其相关描述。

步骤1440,提取第二图像序列的第二特征信息。

第二特征信息可以包括第二图像序列中多个颜色模板图像的颜色特征。关于提取颜色特征的更多细节参见步骤230及其相关描述。在一些实施例中,验证模块可以基于第二颜色验证模型中的第二提取层提取所述第二特征信息。关于基于第二提取层提取第二颜色特征的更多细节参见图15及其相关描述。

步骤1450,基于第一特征信息和第二特征信息,确定多幅目标图像的真实性。

在一些实施例中,验证模块可以基于第一特征信息和第二特征信息的匹配度,确定第一图像序列中多幅目标图像被拍摄时光照的颜色序列和第二图像序列中多个模板颜色图像的颜色序列是否一致的第二判断结果。例如,验证模块可以将第一特征信息和第二特征信息的相似度作为匹配度,再基于第一特征信息和第二特征信息的相似度和阈值的关系,确定所述第二判断结果。例如,第一特征信息和第二特征信息的相似度大于第十阈值,则第二判断结果为一致。第一特征信息和第二特征信息的相似度小于第十一阈值,则第二判断结果为不一致。进一步的,验证模块可以基于该第二判断结果确定多幅目标图像的真实性。例如,第二判断结果为一致,则多幅目标图像具有真实性。

在一些实施例中,验证模块可以基于第三颜色验证模型中的判别层确定第二判断结果。关于基于判别层确定第二判断结果的更多细节参见图15及其相关描述。

本说明书一些实施例基于人工构造的颜色模板图像生成第二图像序列,并利用第二图像序列和第一图像序列(多幅目标图像的序列)的做比对的方式确定多幅目标图像的真实性。与直接识别第一图像序列的颜色相比,本说明书中披露的方法可以使目标图像的识别任务更加简单。在一些实施例中,可以使用第三验证模型来进行目标图像真实性分析。利用第二图像序列可以使得第三验证模型的识别任务更简单、学习难度更小,从而使得识别准确率更高。此外,第一图像序列中的多幅目标图像都是在相同的外界环境光的条件下、被相同的发光元件照射时拍摄的,因此,基于基准图像和验证图像之间的关系确定多幅目标图像的真实性时,可以消除或减弱外界环境光和发光元件的影响,从而提高光照颜色的识别准确率。

图15是根据本说明书一些实施例所示的第三验证模型的结构示例图。

在一些实施例中,验证模块可以基于第三验证模型和光照序列,确定多幅目标图像的真实性。如图15所示,第三颜色验证模型可以包括第一提取层1530、第二提取层1540和判别层1570。例如,验证模块可以利用第三验证模型实现步骤1430-1450,确定第二判断结果。具体的,基于第一提取层1530实现步骤1430,第二提取层1540实现步骤1440,判别层1570实现步骤1450。进一步的,验证模块基于第二判断结果和光照序列确定多幅目标图像的真实性。

在一些实施例中,第一提取层1530的输入为第一图像序列1510,输出为第一特征信息1550。例如,验证模块可以将第一图像序列1510中多幅目标图像依次拼接后输入第一提取层1530。输出的第一特征信息1550可以是第一图像序列1510中多幅目标图像对应的颜色特征拼接后的特征。第二提取层1540的输入为第二图像序列1520,输出为第二特征信息1560。例如,验证模块可以将第二图像序列1520中多幅颜色模板图像依次拼接后输入第二提取层1540。输出的第二特征信息1560可以是第二图像序列1520中多幅颜色模板图像对应的颜色特征拼接后的特征。

在一些实施例中,所述第一提取层和第二提取层的类型包括但不限于ResNet、ResNeXt、SE-Net、DenseNet、MobileNet、ShuffleNet、RegNet、EfficientNet或Inception等卷积神经网络(Convolutional Neural Networks,CNN)模型,或循环神经网络模型。第一提取层和第二提取层的类型可以相同或不同。

在一些实施例中,判别层1570的输入为第一特征信息1550和第二特征信息1560,输出为第二判断结果。在一些实施例中,判别层可以是实现分类的模型,包括但不限于全连接层、深度神经网络(DNN)等。

第三验证模型是预置参数的机器学习模型。可以理解的,第三验证模型包括的第一提取层、第二提取层和判别层是预置参数的机器学习模型。第三验证模型的预置参数可以在模型训练过程确定。例如,获取模块可以基于带有第三标签的第三训练样本训练初始第三验证模型,以得到第三验证模型。第三训练样本包括第一样本图像序列和第二样本图像序列,第一样本图像序列由样本目标对象的多个样本目标图像构成,第二样本图像序列由多个样本颜色的多个样本颜色模板图像构成。第三训练样本的第三标签为第一样本图像序列的多个样本目标图像被拍摄时光照的颜色序列与第二样本图像序列中多个样本颜色模板的颜色序列是否一致。

在一些实施例中,获取模块可以将第三训练样本输入初始第三验证模型,通过训练更新初始第一提取层、初始第二提取层和初始判别层的参数,直到更新后的第三验证模型满足第一预设条件。更新后的第三验证模型可以被指定为预置参数的第三验证模型,换言之,更新后的第三验证模型可以被指定为训练后的第三验证模型。第三预设条件可以是更新后的第三验证模型的损失函数小于阈值、收敛,或训练迭代次数达到阈值。

在一些实施例中,获取模块可以通过端到端的训练方式,训练初始第三验证模型中的初始第一提取层、初始第二提取层和初始判别层。端到端的训练方式是指将训练样本输入初始模型,并基于初始模型的输出确定损失值,基于所述损失值更新所述初始模型。所述初始模型可能会包含用于执行不同数据处理操作的多个子模型或模块,其会在训练中被视为整体,进行同时更新。例如,在初始第一验证模型的训练中,可以将第一样本图像序列输入初始第一提取层,第二样本图像序列输入初始第二提取层,基于初始判别层的输出结果和第三标签建立损失函数,基于损失函数对初始第三验证模型中各初始模型的参数进行同时更新。

在一些实施例中,第一提取层和第二提取层的全部或者部分参数可以共享。

本说明书一些实施例通过第三验证模型确定目标图像的真实性,可以无需识别目标图像被拍摄时光照的类型,直接通过对比包含目标图像的第一图像序列和包含颜色模板图像第二图像序列是否一致来进行目标识别。这相当于把颜色识别任务转化为判断颜色是否相同的二分类任务。在一些实施例中,可以使用第三验证模型来确定第一图序列和第二图像序列是否一致。第二验证模型的判别层可以只包括数量较少的神经元(例如,两个神经元)来进行序列是否相同的判断。相比于传统方法中的颜色识别网络,本说明书中披露的第二验证模型结构更加简单。基于所述第三验证模型进行的目标对象分析所需要的计算资源(如计算空间)也相对更少,由此可以提高光照颜色的识别效率。同时,模型的输入可以是任意颜色对应的目标图像,与其他需要限定输入颜色种类数量的算法相比,本说明书实施例的适用性更高。而且,使用第三验证模型可以提高目标对象真实性验证的可靠性,减少或者去除终端设备的性能差异的影响,进一步确定目标图像的真实性。可以理解,不同终端的硬件存在一定差异,例如,不同厂商的终端屏幕发射的相同颜色彩色光在饱和度、亮度等参数上可能会有差异,导致同一种颜色的类内差距比较大。初始第三验证模型的第三训练样本可以是由不同性能的终端拍摄的。初始第三验证模型在训练过程中通过学习,可以使得训练后的第三验证模型在进行目标对象颜色判断时可以考虑终端性能差异,较为准确地确定目标图像的颜色。此外,第一图序列中的多幅目标图像都是在相同的外界环境光的条件下拍摄的。因此,基于第三验证模型对第一图像序列进行处理,确定多幅目标图像的真实性时,可以消除或减弱外界环境光的影响。

在一些实施例中,验证模块可以基于基准颜色空间,确定多个目标图像(包括至少一个验证目标对象图和至少一个基准图像)更新后的颜色特征,基于多个目标图像更新后的颜色特征生成第一图像序列更新后的第一特征信息。类似的,验证模块可以基于多个颜色模板图像更新后的颜色特征生成第二图像序列更新后的第二特征信息。验证模块可以进一步基于更新后的第一特征信息(或第一特征信息)和更新后的第二特性信息(或第二特性信息),确定多幅目标图像的真实性。

上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。

同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外,对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。

最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

相关技术
  • 用于计算目标脱靶量的目标识别软件系统及目标识别系统
  • 目标识别方法、系统、目标识别管理方法及存储介质
技术分类

06120113066099