掌桥专利:专业的专利平台
掌桥专利
首页

图像数据处理方法、装置、计算机设备和存储介质

文献发布时间:2024-04-18 19:58:26


图像数据处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域,特别是涉及一种图像数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

目前,图像数据处理技术可以用于识别待检测图像中人物的动作是否符合动作规范、识别待检测图像中物品摆放方式是否符合摆放规范等。例如,图像数据处理技术可以应用于活体检测技术,在用户完成指定动作时采集用户图像,通过图像数据处理技术对用户图像进行特征提取并检验,判断图像中用户动作与标准动作的匹配程度。

然而,传统方法是直接将待检测图像中各像素点与标准图像中各像素点进行比对,得到待检测图像与标准图像之间的匹配程度,存在图像数据处理准确性低的问题。

发明内容

基于此,有必要针对上述技术问题,提供一种能够提高图像数据处理准确性的图像数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

本申请提供了一种图像数据处理方法。所述方法包括:

获取目标动作对应的标准动作图像集;

将标准动作图像集中的各个标准动作图像分别输入目标动作对应的初始图像处理模型中的滤波器集,分别得到各个标准动作图像对应的特征图像集;滤波器集包括基础滤波器和方向滤波器,特征图像集包括基础滤波器输出的基础特征图像和方向滤波器输出的方向特征图像;

通过初始图像处理模型中的融合层融合同一特征图像集中的基础特征图像和方向特征图像,分别得到各个标准动作图像对应的融合特征图像;

基于融合特征图像和对应的标准动作图像之间的差异,得到损失值;

基于损失值调整初始图像处理模型的模型参数,直至满足收敛条件,得到目标动作对应的目标图像处理模型;目标图像处理模型中的滤波器集用于确定动作图像和目标动作之间的匹配度。

本申请还提供了一种图像数据处理装置。所述装置包括:

标准动作图像获取模块,用于获取目标动作对应的标准动作图像集;

特征图像集生成模块,用于将标准动作图像集中的各个标准动作图像分别输入目标动作对应的初始图像处理模型中的滤波器集,分别得到各个标准动作图像对应的特征图像集;滤波器集包括基础滤波器和方向滤波器,特征图像集包括基础滤波器输出的基础特征图像和方向滤波器输出的方向特征图像;

融合特征图像生成模块,用于通过初始图像处理模型中的融合层融合同一特征图像集中的基础特征图像和方向特征图像,分别得到各个标准动作图像对应的融合特征图像;

损失值确定模块,用于基于融合特征图像和对应的标准动作图像之间的差异,得到损失值;

目标模型确定模块,用于基于损失值调整初始图像处理模型的模型参数,直至满足收敛条件,得到目标动作对应的目标图像处理模型;目标图像处理模型中的滤波器集用于确定动作图像和目标动作之间的匹配度。

一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述图像数据处理方法的步骤。

一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述图像数据处理方法的步骤。

一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述图像数据处理方法的步骤。

上述图像数据处理方法、装置、计算机设备、存储介质和计算机程序产品,通过获取目标动作对应的标准动作图像集,将标准动作图像集中的各个标准动作图像分别输入目标动作对应的初始图像处理模型中的滤波器集,分别得到各个标准动作图像对应的特征图像集。通过初始图像处理模型中的融合层融合同一特征图像集中的基础特征图像和方向特征图像,分别得到各个标准动作图像对应的融合特征图像。基于融合特征图像和标准动作图像之间的差异得到损失值,基于损失值调整初始图像处理模型的模型参数,直至满足收敛条件,得到目标动作对应的目标图像处理模型。这样,基于目标动作对应的标准动作图像集训练目标动作对应的初始图像处理模型得到目标图像处理模型,目标图像处理模型中的滤波器集包括基础滤波器和方向滤波器,基于目标动作对应的滤波器集可以更加准确全面地提取动作图像的特征信息,基于滤波器集能够更加准确地确定动作图像和目标动作之间的匹配度,从而有效提高图像数据处理的准确性。

附图说明

图1为一个实施例中图像数据处理方法的应用环境图;

图2为一个实施例中图像数据处理方法的流程示意图;

图3为一个实施例中身份校验步骤的流程示意图;

图4为一个实施例中方向滤波器的滤波角度示意图;

图5为一个实施例中图像数据处理装置的结构框图;

图6为另一个实施例中图像数据处理装置的结构框图;

图7为一个实施例中计算机设备的内部结构图;

图8为另一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

本申请实施例提供的图像数据处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能电视、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。

终端和服务器均可单独用于执行本申请实施例中提供的图像数据处理方法。

例如,终端获取目标动作对应的标准动作图像集,将标准动作图像集中的各个标准动作图像分别输入目标动作对应的初始图像处理模型中的滤波器集,分别得到各个标准动作图像对应的特征图像集。滤波器集包括基础滤波器和方向滤波器,特征图像集包括基础滤波器输出的基础特征图像和方向滤波器输出的方向特征图像。终端通过初始图像处理模型中的融合层融合同一特征图像集中的基础特征图像和方向特征图像,分别得到各个标准动作图像对应的融合特征图像。终端基于融合特征图像和对应的标准动作图像之间的差异,得到损失值。终端基于损失值调整初始图像处理模型的模型参数,直至满足收敛条件,得到目标动作对应的目标图像处理模型。目标图像处理模型中的滤波器集用于确定动作图像和目标动作之间的匹配度。

终端和服务器也可协同用于执行本申请实施例中提供的图像数据处理方法。

例如,终端向服务器发送目标动作对应的标准动作图像集。服务器将标准动作图像集中的各个标准动作图像分别输入目标动作对应的初始图像处理模型中的滤波器集,分别得到各个标准动作图像对应的特征图像集。滤波器集包括基础滤波器和方向滤波器,特征图像集包括基础滤波器输出的基础特征图像和方向滤波器输出的方向特征图像。服务器通过初始图像处理模型中的融合层融合同一特征图像集中的基础特征图像和方向特征图像,分别得到各个标准动作图像对应的融合特征图像。服务器基于融合特征图像和对应的标准动作图像之间的差异,得到损失值。服务器基于损失值调整初始图像处理模型的模型参数,直至满足收敛条件,得到目标动作对应的目标图像处理模型。目标图像处理模型中的滤波器集用于确定动作图像和目标动作之间的匹配度。服务器将目标图像处理模型中的滤波器集发送至终端,终端可以基于目标图像处理模型中的滤波器集确定动作图像和目标动作之间的匹配度。

在一个实施例中,如图2所示,提供了一种图像数据处理方法,以该方法应用于计算机设备为例进行说明,计算机设备可以是终端或服务器,由终端或服务器自身单独执行,也可以通过终端和服务器之间的交互来实现。图像数据处理方法包括以下步骤:

步骤S202,获取目标动作对应的标准动作图像集。

其中,目标动作是指待检测对象需要完成的动作,例如,在进行活体检测时,需要指示用户进行向左转头、抬头、点头等动作来完成活体检测,向左转头、抬头、点头等动作均可作为目标动作。标准动作图像集是指包括目标动作对应的多张标准动作图像的集合,标准动作图像中对象的动作为标准的目标动作,例如,当目标动作为向左转头时,标准动作图像中人物位于图像正中央,人物所做的动作为标准的向左转头动作。

示例性地,计算机设备获取目标动作对应的多张不同的标准动作图像,得到目标动作对应的标准动作图像集。具体地,标准动作图像集可以包括不同对象分别对应的标准动作图像。例如,标准动作图像集可以包括不同年龄段的用户分别对应的、在目标动作下的标准动作图像,可以包括不同性别的用户分别对应的、在目标动作下的标准动作图像等。

步骤S204,将标准动作图像集中的各个标准动作图像分别输入目标动作对应的初始图像处理模型中的滤波器集,分别得到各个标准动作图像对应的特征图像集;滤波器集包括基础滤波器和方向滤波器,特征图像集包括基础滤波器输出的基础特征图像和方向滤波器输出的方向特征图像。

其中,初始图像处理模型是指由滤波器集和融合层组成的、未经过模型训练的图像处理模型,图像处理模型的输入数据为动作图像,输出数据为动作图像对应的融合特征图像。

图像处理模型中的滤波器集用于提取动作图像对应的特征图像集,特征图像集用于与目标动作对应的标准特征图像集进行比对,从而确定动作图像和目标动作之间的匹配度。滤波器集中的基础滤波器用于保留图像的低频信息,过滤高频信息。滤波器集中的方向滤波器用于提取图像中的特定方向的信息。例如,滤波器集中的基础滤波器可以为低通滤波器,方向滤波器可以为特定方向的高通滤波器。

基础特征图像是指由基础滤波器过滤动作图像中的高频信息得到的特征图像,基础特征图像包含动作图像的低频信息。方向特征图像是指由方向滤波器提取动作图像中的特定方向的信息得到特征图像,例如,当方向滤波器为特定方向的高通滤波器时,方向特征图像包含动作图像在特定方向的高频信息。

示例性地,计算机设备将标准动作图像集中的各个标准动作图像分别输入目标动作对应的初始图像处理模型中的滤波器集,得到各个标准动作图像分别对应的特征图像集。具体地,将每个标准动作图像分别输入滤波器集中的基础滤波器和方向滤波器,由基础滤波器对标准动作图像进行特征提取,得到标准动作图像对应的基础特征图像,由方向滤波器对标准动作图像进行特征提取,得到标准动作图像对应的方向特征图像,基于标准动作图像对应的基础特征图像和方向特征图像得到标准动作图像对应的特征图像集。

步骤S206,通过初始图像处理模型中的融合层融合同一特征图像集中的基础特征图像和方向特征图像,分别得到各个标准动作图像对应的融合特征图像。

其中,融合层是指用于融合特征图像集中的基础特征图像和方向特征图像的模型层。融合特征图像是指基于融合层,对标准动作图像对应的特征图像集中的基础特征图像和方向特征图像进行融合得到的特征图像。

示例性地,基于滤波器集得到标准动作图像对应的特征图像集后,计算机设备将标准动作图像对应的特征图像集输入初始图像处理模型中的融合层,由融合层对特征图像集中的基础特征图像和方向特征图像进行融合,得到标准动作图像对应的融合特征图像。用同样的方法,生成其他各个标准动作图像分别对应的融合特征图像,从而得到标准动作图像集中各个标准动作图像分别对应的融合特征图像。

步骤S208,基于融合特征图像和对应的标准动作图像之间的差异,得到损失值。

其中,损失值是指用于表征融合特征图像和标准动作图像之间的差异的数值,用于调整初始图像处理模型中模型参数。

示例性地,计算机设备将融合特征图像与融合特征图像对应的标准动作图像进行比对,得到融合特征图像和标准动作图像之间的差异。具体地,可以基于融合特征图像和对应的标准动作图像在像素值和像素梯度值中至少一者上的差异,得到融合特征图像和标准动作图像之间的差异。基于标准动作图像集中各个动作图像分别对应的融合特征图像和标准动作图像之间的差异,计算损失值。

步骤S210,基于损失值调整初始图像处理模型的模型参数,直至满足收敛条件,得到目标动作对应的目标图像处理模型;目标图像处理模型中的滤波器集用于确定动作图像和目标动作之间的匹配度。

其中,收敛条件是指用于判断初始图像处理模型是否收敛的条件,例如,收敛条件可以为损失值小于预设值;可以为模型训练轮次达到对应的预设轮次;等等。目标图像处理模型是指通过模型训练得到的收敛的图像处理模型,即训练好的图像处理模型。

示例性地,计算机设备基于损失值调整初始图像处理模型中的模型参数,得到中间图像处理模型,将中间图像处理模型作为初始图像处理模型,返回获取目标动作对应的标准动作图像集的步骤执行,进行多次模型迭代,直至满足收敛条件,得到目标图像处理模型。目标图像处理模型中的滤波器集,可以用于确定动作图像和目标动作之间的匹配度。具体地,将目标动作对应的待检测动作图像输入目标图像处理模型中的滤波器集,滤波器集中的基础滤波器输出待检测动作图像对应的基础特征图像,滤波器集中的方向滤波器输出待检测动作图像对应的方向特征图像,将目标动作对应的标准动作图像输入滤波器集,得到标准动作图像对应的基础特征图像和方向特征图像,比对待检测动作图像对应的基础特征图像和标准动作图像对应的基础特征图像得到基础特征差异,比对待检测动作图像对应的方向特征图像和标准动作图像对应的方向特征图像得到方向特征差异,基于基础特征差异和方向特征差异得到待检测动作图像和目标动作之间的匹配度。

上述图像数据处理方法中,通过获取目标动作对应的标准动作图像集,将标准动作图像集中的各个标准动作图像分别输入目标动作对应的初始图像处理模型中的滤波器集,分别得到各个标准动作图像对应的特征图像集。通过初始图像处理模型中的融合层融合同一特征图像集中的基础特征图像和方向特征图像,分别得到各个标准动作图像对应的融合特征图像。基于融合特征图像和标准动作图像之间的差异得到损失值,基于损失值调整初始图像处理模型的模型参数,直至满足收敛条件,得到目标动作对应的目标图像处理模型。本方法属于人工智能技术领域,基于目标动作对应的标准动作图像集训练目标动作对应的初始图像处理模型得到目标图像处理模型,目标图像处理模型中的滤波器集包括基础滤波器和方向滤波器,基于目标动作对应的滤波器集可以更加准确全面地提取动作图像的特征信息,基于滤波器集能够更加准确地确定动作图像和目标动作之间的匹配度,从而有效提高图像数据处理的准确性。

在一个实施例中,如图3所示,图像数据处理方法还包括:

步骤S302,获取目标对象基于目标动作对应的图像采集指令确定的当前动作图像。

步骤S304,将当前动作图像输入目标动作对应的目标图像处理模型中的滤波器集,得到当前动作图像对应的当前特征图像集。

其中,目标终端是指目标对象进行身份验证所使用的终端,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备等。目标动作对应的图像采集指令用于指示目标终端采集目标对象执行目标动作时的动作图像。例如,当目标动作为向左转头时,目标动作对应的图像采集指令为指示目标终端采集用户向左转头时的动作图像的指令,目标终端响应于图像采集指令,在界面上显示动作提示语“请向左转头”,并采集用户向左转头时的动作图像。当前动作图像是指目标终端基于目标动作对应的图像采集指令采集到的目标对象执行目标动作时的动作图像。

当前特征图像集是指将当前动作图像输入目标图像处理模型中的滤波器集,由滤波器集中基础滤波器输出的当前动作图像对应的基础特征图像、方向滤波器输出的当前动作图像对应的方向特征图像组成的特征图像集。

示例性地,计算机设备采集目标对象根据目标动作对应对图像采集指令执行目标动作时的动作图像作为当前动作图像。将当前动作图像输入目标动作对应的目标图像处理模型中的滤波器集,得到当前动作图像对应的当前特征图像集。具体地,由滤波器集中的基础滤波器对当前动作图像进行特征提取,得到当前动作图像对应的基础特征图像,由滤波器集中的方向滤波器对当前动作图像进行特征提取,得到当前动作图像对应的方向特征图像,基于当前动作图像对应的基础特征图像和方向特征图像,得到当前动作图像对应的当前特征图像集。

步骤S306,基于目标动作对应的标准特征图像集,对当前特征图像集进行动作匹配,得到目标动作对应的动作匹配结果;标准特征图像集是将目标动作对应的标准动作图像输入目标动作对应的目标图像处理模型中的滤波器集得到的。

步骤S308,当动作匹配结果为匹配失败时,向目标对象对应的目标终端发送目标动作对应的、指示重新采集图像的图像采集指令,返回获取目标对象基于目标动作对应的图像采集指令确定的当前动作图像的步骤执行,直至满足结束条件,基于各个动作匹配结果得到目标对象对应的动作检测结果。

步骤S310,当动作匹配结果为匹配成功时,将下一动作作为目标动作,返回获取目标对象基于目标动作对应的图像采集指令确定的当前动作图像的步骤执行,直至满足结束条件,基于各个动作匹配结果得到目标对象对应的动作检测结果。

其中,标准特征图像集是指将目标动作对应的标准动作图像输入目标动作对应的目标图像处理模型中的滤波器,由滤波器中基础滤波器输出的标准动作图像对应的基础特征图像、方向滤波器输出的标准动作图像对应的方向特征图像组成的特征图像集。

动作匹配结果是指基于目标动作对应的标准特征图像集对当前特征图像进行动作匹配,得到的匹配结果,当动作匹配结果为匹配失败时,说明当前动作图像中目标对象的动作没有达标,当动作匹配结果为匹配成功时,说明当前动作图像中目标对象的动作达标。结束条件是指用于判断对目标对象的动作检测是否结束的条件,例如,结束条件可以为目标对象完成了预设的各个指定动作且各个指定动作对应的动作匹配结果均为匹配成功,或目标动作对应的图像重新采集次数达到预设次数且目标动作对应的动作匹配结果仍为匹配失败。

动作检测结果是指基于各个动作分别对应的动作匹配结果得到的检测结果,例如,在活体检测时,动作检测用于验证是否为真实活体操作。当动作检测结果为检测通过时,表明目标对象为活体,此时可以进一步校验目标对象的身份信息,当动作检测结果为检测失败时,表明目标对象不是活体,无需进行下一步校验。

示例性地,计算机设备获取目标动作对应的标准特征图像集,比对当前特征图像集和标准特征图像集,得到目标动作对应的匹配结果。具体地,比对当前特征图像集和标准特征图像集中分别对应的基础特征图像得到基础特征差异,比对当前特征图像集和标准特征图像集中分别对应的方向特征图像得到方向特征差异,基于基础特征差异和方向特征差异确定目标动作对应的匹配结果。

当动作匹配结果为匹配失败时,计算机设备向目标对象对应的目标终端发送目标动作对应的、指示目标终端重新采集图像的图像采集指令,以使目标终端重新采集目标对象执行目标动作时的动作图像,返回获取目标对象基于目标动作对应的图像采集指令确定的当前动作图像的步骤执行,直至满足结束条件。基于各个目标动作分别对应的动作匹配结果得到目标对象对应的动作检测结果,具体地,当各个动作匹配结果均为匹配成功时,确定目标对象对应的动作检测结果为检测通过,当存在匹配失败的动作匹配结果时,确定目标对象对应的动作检测结果为检测失败。

当动作匹配结果为匹配成功时,计算机设备将下一动作作为目标动作,返回获取目标对象基于目标动作对应的图像采集指令确定的当前动作图像的步骤执行,直至满足结束条件,基于各个动作匹配结果得到目标对象对应的动作检测结果。

步骤S312,当动作检测结果为检测通过时,获取目标对象对应的初始对象图像和标准对象图像,比对初始对象图像和标准对象图像,得到目标对象对应的身份校验结果;初始对象图像为目标终端采集的目标对象的图像。

其中,目标对象对应的初始对象图像是指目标终端在接收到目标动作对应的图像采集指令之前,采集的目标对象的图像。例如,在进行活体检测时,用户终端显示人脸图像采集界面,当目标终端检测到用户人脸进入拍摄区域时,采集用户的人脸图像作为初始对象图像,此后,在接收到指定动作对应的图像采集指令时,目标终端提示用户完成指定动作并采集用户完成动作时的图像作为当前动作图像。目标对象对应的标准对象图像是指数据库系统中存储的目标对象的真实的对象图像。例如,目标对象对应的标准对象图像可以为数据库系统中存储的用户身份证件上的人脸图像。

身份校验结果是指基于目标对象的标准对象图像对初始对象图像进行校验得到的校验结果。

示例性地,当动作检测结果为检测通过时,表明进行检测的目标对象为活体,此时可以进一步验证目标对象的身份信息,计算机设备获取目标终端采集的目标对象对应的初始对象图像,从数据库中获取目标对象对应的标准对象图像,基于初始对象图像和标准对象图像之间的相似度,得到目标对象对应的身份校验结果。

上述实施例中,每采集到目标对象在目标动作下对应的当前动作图像时,就对目标动作对应的当前动作图像进行检测,若当前动作图像与标准动作不匹配,则重新采集目标动作对应的动作图像,若当前动作图像与标准动作匹配,则采集下一个目标动作对应的动作图像。这样,每采集到一个动作图像就检测动作图像是否与标准动作匹配,动作不达标则提示目标对象再次进行图像采集,动作达标才进行下一步动作采集,能够在目标对象的动作不达标时,及时提示目标对象并再次进行图像采集,能够提高目标对象进行身份验证的效率。

在一个实施例中,基于目标动作对应的标准特征图像集,对当前特征图像集进行动作匹配,得到目标动作对应的动作匹配结果,包括:

基于标准特征图像集中标准基础特征图像和当前特征图像集中当前基础特征图像之间的像素值差异,得到当前基础特征图像对应的基础特征差异;基于标准特征图像集中标准方向特征图像和当前特征图像集中当前方向特征图像之间的像素值差异,得到当前方向特征图像对应的方向特征差异;融合基础特征差异和方向特征差异,得到标准特征图像集和当前特征图像集之间的融合像素差异;当融合像素差异大于或等于预设差异值时,确定目标动作对应的动作匹配结果为匹配失败;当融合像素差异小于预设差异值时,确定目标动作对应的动作匹配结果为匹配成功。

其中,像素值差异是指标准方向特征图像中像素点和当前方向特征图像中同一位置的像素点之间的差异,在具体实现中,像素值差异可以是像素点在像素值上的差异,像素值差异也可以是像素点在灰度值上的差异。例如,当标准方向特征图像和当前方向特征图像均为16×16(以像素为单位)大小的图像块时,像素值差异即为标准方向特征图像和当前方向特征图像在同一位置的像素点之间的差异,如标准方向特征图像中位置坐标为(2,3)的像素点对应的像素值和当前方向特征图像中位置坐标为(2,3)的像素点对应的像素值之间的差异。

基础特征差异是指融合标准基础特征图像和当前基础特征图像中各像素点之间的像素值差异得到的差异值,用于表征当前基础特征图像和标准基础特征图像之间的差异。方向特征差异是指融合标准方向特征图像和当前方向特征图像中各像素点之间的像素值差异得到的差异值,用于表征当前方向特征图像和标准方向特征图像之间的差异。融合像素差异是指融合基础特征差异和方向特征差异得到的当前特征图像集和标准特征图像集之间的差异。预设差异值是指预设的差异值,预设差异值可以根据实际需要进行设置。

示例性地,计算机设备融合标准基础特征图像和当前基础特征图像中各像素点之间的像素值差异,得到当前基础特征图像对应的基础特征差异。例如,可以计算标准基础特征图像和当前特征图像中同一位置的像素点之间的灰度值差值的平方,计算各个位置的像素点分别对应的灰度值差值的平方的平均值,将平均值作为基础特征差异。融合标准方向特征图像和当前方向特征图像中各像素点之间的像素值差异,得到当前方向特征图像对应的方向特征差异。融合基础特征差异和方向特征差异,得到标准特征图像集合当前特征图像集之间的融合像素差异。例如,可以将基础特征差异和方向特征差异的平均值作为融合像素差异,也可以根据实际需要为基础特征差异和方向特征差异分别赋予相应的权重,对基础特征差异和方向特征差异求加权平均值,得到融合像素差异,等等。

当融合像素差异大于或等于预设差异值时,说明目标对象在当前动作图像中的动作并未达标,确定目标动作对应的动作匹配结果为匹配失败,当融合像素差异小于预设差异值时,说明目标对象在当前动作图像中的动作符合标准,确定目标动作对应的动作匹配结果为匹配成功。

上述实施例中,获取目标动作对应的标准特征图像集,基于标准特征图像集中的标准基础特征图像对当前动作图像集中的当前基础特征图像进行校验,得到基础特征差异,基于标准特征图像集中的标准方向特征图像对当前动作图像集中的当前方向特征图像进行校验,得到方向特征差异。融合基础特征差异和方向特征差异得到融合像素差异,融合像素差异融合了基础特征和方向特征等方面的差异,基于融合像素差异确定目标动作对应的动作匹配结果,能够提高动作匹配的准确性。

在一个实施例中,初始图像处理模型中的滤波器集中的方向滤波器,是目标动作对应的滤波角度所对应的方向滤波器,目标动作对应的滤波角度是基于目标动作对应的对象运动角度确定的。

其中,滤波角度是指方向滤波器的检测角度,即方向滤波器的卷积核的方向,卷积核通常为二维矩阵,卷积核的大小和方向可以根据实际需要进行调整,卷积核中的每个元素都代表了一个权重值,用于计算图像中每个像素点的梯度值,卷积核的大小和方向决定了滤波器的检测方向和灵敏度。例如,如图4(a)所示,方向滤波器的滤波角度为0°,用于检测图像中水平方向的边缘,如图4(b)所示,方向滤波器的角度为90°,用于检测图像中的垂直方向的边缘。对象运动角度是指完成目标动作时,目标对象需要运动的角度,例如,当目标动作为向左转头时,目标动作对应的对象运动角度即为头部水平向左偏转0°~90°,当目标动作为点头时,目标动作对应的对象运动角度即为头部垂直向下偏转0°~45°。

示例性地,计算机设备基于目标动作对应的对象运动角度,分析目标动作对应的动作图像中图像特征较丰富的方向,例如,图像特征可以为边缘特征、纹理特征、线条特征等。基于图像特征较丰富的方向确定目标动作对应的滤波角度。例如,当目标动作为抬头,抬头对应的动作图像中存在较多的水平方向上的边缘特征信息时,可以确定目标动作对应的滤波角度为0°。将目标动作对应的滤波角度所对应的方向滤波器作为初始图像处理模型中滤波器集中的方向滤波器。

在一个实施例中,目标动作对应的初始图像处理模型中的滤波器集可以包括一个基础滤波器和多个不同方向的方向滤波器,例如,当目标动作为抬头,抬头对应的动作图像中存在较多的水平方向上的边缘特征信息时,可以确定目标动作对应的滤波角度为330°、0°和30°,目标动作对应的初始图像处理模型中滤波器集可以包括一个基础滤波器和滤波角度分别为330°、0°和30°的三个滤波方向的方向滤波器。

上述实施例中,根据目标动作对应的对象运动角度,确定目标动作对应的滤波器集中方向滤波器的滤波角度,这样得到的方向滤波器提取得到的特征图像能够包含丰富的图像特征信息,从而提高图像数据处理的准确性。

在一个实施例中,基于融合特征图像和对应的标准动作图像之间的差异,得到损失值,包括:

基于融合特征图像中各像素点分别对应的像素值,计算融合特征图像对应的融合像素值和融合像素梯度值;基于标准动作图像中各像素点分别对应的像素值,计算标准动作图像对应的标准像素值和标准像素梯度值;基于融合像素值和对应的标准像素值之间的差异,得到像素差异,基于融合像素梯度值和对应的标准像素梯度值之间的差异,得到梯度差异;融合像素差异和梯度差异得到损失值。

其中,融合像素值是指基于融合特征图像中各像素点分别对应的像素值计算得到的,用于表征融合特征图像的像素值信息的数值。融合像素梯度值基于融合特征图像中各像素点分别对应的梯度值计算得到的,用于表征融合特征图像的梯度值信息的数值。标准像素值是指基于标准动作图像中各像素点分别对应的像素值计算得到的,用于表征标准动作图像的像素值信息的数值。标准像素梯度值基于标准动作图像中各像素点分别对应的梯度值计算得到的,用于表征标准动作图像的梯度值信息的数值。

像素差异是指融合像素值和标准像素值之间的差异,用于表征融合特征图像和标准动作图像在像素值信息上的差异。梯度差异是指融合像素梯度值和标准像素梯度值之间的差异,用于表征融合特征图像和标准动作图像在像素梯度值上的差异。

示例性地,计算机设备基于融合特征图像中各个像素点分别对应的像素值,计算融合特征图像对应的融合像素值。例如,可以将各个像素点分别对应的像素值的平均值作为融合像素值。基于融合特征图像中各个像素点分别对应的像素值,计算各个像素点分别对应的像素梯度值。具体地,将每个像素点的灰度值与其周围像素点灰度值之间的变化率作为像素点对应的像素梯度值。基于融合特征图像中各个像素点分别对应的像素梯度值,计算融合特征图像对应的融合像素梯度值。例如,可以将各个像素点分别对应的像素梯度值的平均值作为融合像素梯度值。用相同的方法,基于标准动作图像中各个像素点分别对应的像素值,计算标准图像对应的标准像素值和标准像素梯度值。

基于融合像素值和标准像素值之间的差异得到像素差异,基于融合像素梯度值和标准像素梯度值之间的差异作为梯度差异。例如,可以将融合像素值和标准像素值之间的差值的绝对值作为像素差异,将融合像素梯度值和标准像素梯度值之间的差值的绝对值作为梯度差异。融合标准动作图像集中各个标准动作图像分别对应的像素差异和梯度差异,得到损失值。

在一个实施例中,图像处理模型的收敛条件可以为融合特征图像和标准动作图像之间的像素差异和梯度差异均小于预设值。预设值可以根据实际需要进行设置,例如,预设值可以设置为0.1×10

上述实施例中,初始图像处理模型对应的损失值融合了融合特征图像和标准动作图像之间的像素差异和梯度差异,基于损失值调整初始图像处理模型中的模型参数,能够提高训练得到的目标图像处理模型的图像数据处理准确性。

在一个实施例中,通过初始图像处理模型中的融合层融合同一特征图像集中的基础特征图像和方向特征图像,分别得到各个标准动作图像对应的融合特征图像,包括:

将标准动作图像对应的特征图像集中的基础特征图像输入基础滤波器在融合层中对应的转置基础滤波器,得到基础特征图像对应的转置基础图像;将标准动作图像对应的特征图像集中的方向特征图像输入方向滤波器在融合层中对应的转置方向滤波器,得到方向特征图像对应的转置方向图像;融合转置基础图像和转置方向图像,得到标准动作图像对应的融合特征图像。

其中,转置基础滤波器是指对基础滤波器的卷积核进行转置得到的滤波器,用于对基础特征图像进行反卷积,将基础特征图像还原至对应的标准动作图像的分辨率大小并还原图像细节。转置方向滤波器是指对方向滤波器的卷积核进行转置得到的滤波器,用于对方向特征图像进行反卷积,将方向特征图像还原至对应的标准动作图像的分辨率大小并还原图像细节。

转置基础图像是指通过转置基础滤波器对基础特征图像进行反卷积处理得到的图像,转置基础图像的图像尺寸与标准动作图像相同,并且与基础特征图像相比包含了更多的图像细节信息。转置方向图像是指通过转置方向滤波器对方向特征图像进行反卷积处理得到的图像,转置方向图像的图像尺寸与标准动作图像相同,并且与方向特征图像相比包含了更多的图像细节。由于滤波器对标准特征图像进行特征提取的过程中,存在一定的图像信息损失,因此通过滤波器对应的转置滤波器对特征图像进行反卷积,只能将特征图像还原为标准动作图像的大小,不能将特征图像还原为标准动作图像。

举例说明,当标准动作图像为3×3的图像X,基础滤波器的卷积核W大小为2×2,通过基础滤波器对标准动作图像进行特征提取的过程可以表示为:

y=Cx

其中,y为基础特征图像,是4×1的列向量,可以改写为2×2的矩阵,x为X展开后得到的9×1的列向量,C为卷积核W对应的4×9的稀疏矩阵。

对基础滤波器的卷积核进行转置,得到转置基础滤波器C

x’=C

其中,x’为转置基础图像,是9×1的列向量,可以改写为3×3的矩阵。

经过转置基础滤波器对基础特征图像进行反卷积后得到的转置基础图像x’和标准特征图像x只是在形状上一致,x’中的数值已和x中的数值不同,通过反卷积不能将基础特征图像还原为对应的标准动作图像。

示例性地,计算机设备将标准动作图像对应的特征图像集中的基础特征图像,输入基础滤波器在融合层中对应的转置基础滤波器,通过转置基础滤波器将基础特征图像还原为标准动作图像的分辨率大小,这样得到的转置基础图像相比于基础特征图像,包含了更多的图像细节信息。将标准动作图像对应的特征图像集中的方向特征图像,输入方向滤波器在融合层中对应的转置方向滤波器,通过转置方向滤波器将方向特征图像还原为标准动作图像的分辨率大小,这样得到的转置方向图像相比于方向特征图像,包含了更多的图像细节信息。融合转置基础图像和转置方向图像,得到与标准动作图像相同分辨率大小的融合特征图像。

上述实施例中,通过融合层中的转置基础滤波器和转置方向滤波器分别对基础特征图像和方向特征图像进行反卷积,能够将基础特征图像和方向特征图像还原至标准动作图像的大小,并还原图像中的细节信息。融合转置基础图像和转置方向图像,得到的融合特征图像更加接近标准动作图像,基于融合特征图像和标准动作图像之间的差异得到的损失值,能够更加精确地调整初始图像处理模型中的模型参数,从而提高图像数据处理的准确性。

在一个具体的实施例中,本申请中的图像数据处理方法可以应用于手机银行系统,在客户利用手机银行进行开户等需要身份验证的业务办理过程中进行活体检测。图像数据处理方法包括以下步骤:

1、确定目标动作对应的最优滤波器组合

手机银行系统基于目标动作对应的标准动作图像中的纹理和方向特性,确定动作图像对应的初始滤波器组合,初始滤波器组合包括一个低通滤波器和多个不同方向的方向滤波器,每个滤波器各个位置值随机生成。基于目标动作对应的标准动作图像集训练基于初始滤波器组合和反卷积神经网络构建的初始图像处理模型,直至图像处理模型输出的特征图像和对应的标准动作图像之间的误差小于预设值,得到目标图像处理模型,目标图像处理模型中的滤波器组合即为最优滤波器组合。

2、图像预处理

手机银行系统获取客户终端采集的客户基于目标动作对应的图像采集指令确定的当前动作图像,对当前动作图像进行前景提取、去噪和归一化处理,得到预处理后的当前动作图像。

3、活体检测

手机银行系统将预处理后的当前动作图像输入最优滤波器组合,得到当前动作图像对应的当前特征图像集,融合当前特征图像集中各个特征图像分别和对应的标准特征图像之间的差异,得到当前动作图像和标准动作图像之间的差异值,当差异值小于预设值时,说明动作标准,向客户终端发送下一动作对应的图像采集指令,继续采集下一动作对应的当前动作图像并检测,当差异值大于或等于预设值,说明动作不达标,向客户终端发送动作不合格提示,并重新采集动作图像。直至检测到各个动作均达标,表明动作检测通过,此时获取客户对应的初始人脸图像,即客户进行活体检测时,客户终端检测到客户人脸进行入图像采集轮廓时的采集的人脸图像,将初始人脸图像和客户的身份证信息图像进行比对,识别是否为用户本人。

4、输出检测结果

若客户通过了动作检测和身份验证,手机银行系统输出活体检测通过,若客户未通过动作检测或身份验证,则输出活体检测失败。

上述实施例中,解决了现有活体检测方法高度依赖于电子设备、且检测算法检测准确率低失败率高,容易给客户造成不愉快的体验的问题,以上基于深度学习的活体检测方法,提出按照动作的顺序依次检测,若某一动作不达标则提示客户刚才的动作不达标,客户在看到提示之后调整动作,在客户动作达标后,利用最优滤波器组合对客户动态图像进行检测,保证检测结果正确率高实时性强,保障客户高效办理业务,提升客户体验。同时,最优滤波器组合中包括多个方向的方向滤波器,考虑到了动作图像的纹理即方向特性,能够有效提高图像数据处理的准确性。

应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像数据处理方法的图像数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像数据处理装置实施例中的具体限定可以参见上文中对于图像数据处理方法的限定,在此不再赘述。

在一个实施例中,如图5所示,提供了一种图像数据处理装置,包括:标准动作图像获取模块502、特征图像集生成模块504、融合特征图像生成模块506、损失值确定模块508和目标模型确定模块510,其中:

标准动作图像获取模块502,用于获取目标动作对应的标准动作图像集。

特征图像集生成模块504,用于将标准动作图像集中的各个标准动作图像分别输入目标动作对应的初始图像处理模型中的滤波器集,分别得到各个标准动作图像对应的特征图像集;滤波器集包括基础滤波器和方向滤波器,特征图像集包括基础滤波器输出的基础特征图像和方向滤波器输出的方向特征图像。

融合特征图像生成模块506,用于通过初始图像处理模型中的融合层融合同一特征图像集中的基础特征图像和方向特征图像,分别得到各个标准动作图像对应的融合特征图像。

损失值确定模块508,用于基于融合特征图像和对应的标准动作图像之间的差异,得到损失值。

目标模型确定模块510,用于基于损失值调整初始图像处理模型的模型参数,直至满足收敛条件,得到目标动作对应的目标图像处理模型;目标图像处理模型中的滤波器集用于确定动作图像和目标动作之间的匹配度。

在一个实施例中,初始图像处理模型中的滤波器集中的方向滤波器,是目标动作对应的滤波角度所对应的方向滤波器,目标动作对应的滤波角度是基于目标动作对应的对象运动角度确定的。

在一个实施例中,损失值确定模块508还用于:

基于融合特征图像中各像素点分别对应的像素值,计算融合特征图像对应的融合像素值和融合像素梯度值;基于标准动作图像中各像素点分别对应的像素值,计算标准动作图像对应的标准像素值和标准像素梯度值;基于融合像素值和对应的标准像素值之间的差异,得到像素差异,基于融合像素梯度值和对应的标准像素梯度值之间的差异,得到梯度差异;融合像素差异和梯度差异得到损失值。

在一个实施例中,融合特征图像生成模块506还用于:

将标准动作图像对应的特征图像集中的基础特征图像输入基础滤波器在融合层中对应的转置基础滤波器,得到基础特征图像对应的转置基础图像;将标准动作图像对应的特征图像集中的方向特征图像输入方向滤波器在融合层中对应的转置方向滤波器,得到方向特征图像对应的转置方向图像;融合转置基础图像和转置方向图像,得到标准动作图像对应的融合特征图像。

在一个实施例中,如图6所示,图像数据处理装置还包括:

身份校验模块602,用于获取目标对象基于目标动作对应的图像采集指令确定的当前动作图像;将当前动作图像输入目标动作对应的目标图像处理模型中的滤波器集,得到当前动作图像对应的当前特征图像集;基于目标动作对应的标准特征图像集,对当前特征图像集进行动作匹配,得到目标动作对应的动作匹配结果;标准特征图像集是将目标动作对应的标准动作图像输入目标动作对应的目标图像处理模型中的滤波器集得到的;当动作匹配结果为匹配失败时,向目标对象对应的目标终端发送目标动作对应的、指示重新采集图像的图像采集指令,返回获取目标对象基于目标动作对应的图像采集指令确定的当前动作图像的步骤执行,直至满足结束条件,基于各个动作匹配结果得到目标对象对应的动作检测结果;当动作匹配结果为匹配成功时,将下一动作作为目标动作,返回获取目标对象基于目标动作对应的图像采集指令确定的当前动作图像的步骤执行,直至满足结束条件,基于各个动作匹配结果得到目标对象对应的动作检测结果;当动作检测结果为检测通过时,获取目标对象对应的初始对象图像和标准对象图像,比对初始对象图像和标准对象图像,得到目标对象对应的身份校验结果;初始对象图像为目标终端采集的目标对象的图像。

身份校验模块602还用于基于标准特征图像集中标准基础特征图像和当前特征图像集中当前基础特征图像之间的像素值差异,得到当前基础特征图像对应的基础特征差异;基于标准特征图像集中标准方向特征图像和当前特征图像集中当前方向特征图像之间的像素值差异,得到当前方向特征图像对应的方向特征差异;融合基础特征差异和方向特征差异,得到标准特征图像集和当前特征图像集之间的融合像素差异;当融合像素差异大于或等于预设差异值时,确定目标动作对应的动作匹配结果为匹配失败;当融合像素差异小于预设差异值时,确定目标动作对应的动作匹配结果为匹配成功。

上述图像数据处理装置,基于目标动作对应的标准动作图像集训练目标动作对应的初始图像处理模型得到目标图像处理模型,目标图像处理模型中的滤波器集包括基础滤波器和方向滤波器,基于目标动作对应的滤波器集可以更加准确全面地提取动作图像的特征信息,基于滤波器集能够更加准确地确定动作图像和目标动作之间的匹配度,从而有效提高图像数据处理的准确性。

上述图像数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储标准动作图像集、特征图像集等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像数据处理方法。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像数据处理方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解,图7、8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。

需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

相关技术
  • 数据处理方法、装置、计算机设备及计算机可读存储介质
  • 数据仓库内数据处理方法、装置、计算机设备和存储介质
  • 一种数据处理方法、数据处理装置、计算机设备及可读存储介质
  • 图像处理方法、装置、计算机设备及存储介质
  • 图像处理方法和装置、电子设备、计算机可读存储介质
  • 图像评价模型生成方法、图像数据处理方法、装置、计算机设备和存储介质
  • 图像数据处理方法、图像平台、计算机设备和存储介质
技术分类

06120116487190