掌桥专利:专业的专利平台
掌桥专利
首页

票据图像的处理方法和装置、存储介质及电子设备

文献发布时间:2023-06-19 09:26:02


票据图像的处理方法和装置、存储介质及电子设备

技术领域

本申请涉及图像处理领域,尤其涉及一种票据图像的处理方法和装置、存储介质及电子设备。

背景技术

在理赔受理、银行业务办理等场景中,根据申请人提供的票据材料业务申请受理方首先会进行票据的人工审核,根据票据是否有质量问题判断该当前业务是否进入受理阶段。如有问题,业务申请受理方会将对应票据问题反馈给申请人,申请人根据要求进行回传。上述人工审核的方式存在耗时长、人力资源消耗的问题,用户体验差。

相关技术,也可以对票据图像质量进行自动审核。票据图像质量的自动审核一般采用传统计算机视觉的方法和机器学习模型,来区分票据图像的清晰与模糊。然而,当前对票据图像质量的清晰与模糊没有绝对标准,人工构造的特征具有有限性和局限性,导致图像识别效果具有一定局限性。

因此,相关技术中存在由于对票据图像质量的清晰和模糊的鉴定界限不清楚所导致的图像识别效果具有一定局限性的问题。

发明内容

本申请提供了一种票据图像的处理方法和装置、存储介质及电子设备,以至少解决相关技术中存在由于对票据图像质量的清晰和模糊的鉴定界限不清楚所导致的图像识别效果具有一定局限性的问题。

根据本申请实施例的一个方面,提供了一种票据图像的处理方法,所述方法包括:

获取待审核的目标图像,其中,所述目标图像为申请受理目标业务的票据图像;

将所述目标图像输入到目标分类模型中的目标特征提取网络,得到所述目标特征提取网络输出的所述目标图像的目标模糊特征,其中,所述目标特征提取网络,是使用同一票据图像不同模糊程度的至少两个票据图像进行训练得到的;所述目标分类模型,是使用第一票据图像样本集对包含有所述目标特征提取网络的初始分类模型进行训练微调得到的;

将所述目标模糊特征输入到所述目标分类模型的目标全连接层,得到所述目标全连接层输出的目标模糊概率,其中,所述目标模糊概率为所述目标图像是模糊图像的概率;

根据所述目标模糊概率和预设模糊概率阈值,确定所述目标图像的目标分类结果,其中,所述目标分类结果用于指示所述目标图像是否是模糊图像;

在所述目标分类结果用于指示所述目标图像不是模糊图像的情况下,确定对所述目标图像审核通过。

根据本申请实施例的另一个方面,还提供了一种票据图像的处理装置,该装置包括:

第一获取模块,用于获取待审核的目标图像,其中,所述目标图像为申请受理目标业务的票据图像;

第一输入模块,用于将所述目标图像输入到目标分类模型中的目标特征提取网络,得到所述目标特征提取网络输出的所述目标图像的目标模糊特征,其中,所述目标特征提取网络,是使用同一票据图像不同模糊程度的至少两个票据图像进行训练得到的;所述目标分类模型,是使用第一票据图像样本集对包含有所述目标特征提取网络的初始分类模型进行训练微调得到的;

第二输入模块,用于将所述目标模糊特征输入到所述目标分类模型的目标全连接层,得到所述目标全连接层输出的目标模糊概率,其中,所述目标模糊概率为所述目标图像是模糊图像的概率;

第一确定模块,用于根据所述目标模糊概率和预设模糊概率阈值,确定所述目标图像的目标分类结果,其中,所述目标分类结果用于指示所述目标图像是否是模糊图像;

第二确定模块,用于在所述目标分类结果用于指示所述目标图像不是模糊图像的情况下,确定对所述目标图像审核通过。

可选地,所述装置还包括:

第二获取模块,用于在获取待审核的目标图像之前,获取所述第一票据图像样本集,所述第一票据图像样本集包含所述第一票据图像、以及用于指示所述第一票据图像是否为模糊图像的目标标注信息;

第三确定模块,用于根据所述第一票据图像的模糊特征,确定所述第一票据图像是模糊图像的第一初始概率、以及所述第一票据图像不是模糊图像的第二初始概率;

第四确定模块,用于根据所述第一初始概率和所述第二初始概率,确定所述第一票据图像的所述第一分类结果;

调整模块,用于根据所述第一分类结果和所述目标标注信息调整所述初始分类模型的模型参数,得到所述目标分类模型。

可选地,所述装置还包括:

第三获取模块,用于获取所述第一票据图像样本集之前,获取第二票据图像样本集,其中,所述第二票据图像样本集包含至少两个第二票据图像、以及用于指示所述至少两个第二票据图像的模糊程度的顺序的目标排序结果;

第五确定模块,用于使用所述第二票据图像样本集对初始图像排序模型进行训练,得到目标图像排序模型,其中,所述初始图像排序模型包括与所述目标特征提取网络对应的初始特征提取网络,所述初始图像排序模型用于根据所述至少两个第二票据图像的模糊特征,对所述至少两个第二票据图像的模糊程度进行排序,所述目标图像排序模型包括所述目标特征提取网络。

可选地,所述调整模块包括:

保留单元,用于保留所述目标图像排序模型内的所述目标特征提取网络;

连接单元,用于在所述目标特征提取网络之后连接全局平均池化层和全连接层,得到所述初始分类模型;

微调单元,用于根据输入的所述第一票据图像样本集和所述第一分类结果对所述初始分类模型进行微调,得到所述目标分类模型。

可选地,所述第三获取模块包括以下至少之一:

第一执行单元,用于对第一参考票据图像执行至少两种图像压缩操作,得到至少两个第一子票据图像,其中,所述至少两种图像压缩操作与所述至少两个第一子票据图像一一对应,所述至少两个第二票据图像包括所述至少两个第一子票据图像;

第二执行单元,用于对第二参考票据图像执行至少两种模糊算子操作,得到至少两个第二子票据图像,其中,所述至少两种模糊算子操作与所述至少两个第二子票据图像一一对应,所述至少两个第二票据图像包括所述至少两个第二子票据图像;

第三执行单元,用于对第三参考票据图像执行至少两种仿射变换操作,得到至少两个第三子票据图像,其中,所述至少两种仿射变换操作与所述至少两个第三子票据图像一一对应,所述至少两个第二票据图像包括所述至少两个第三子票据图像;

第四执行单元,用于对第四参考票据图像执行至少两种亮度调节操作,得到至少两个第四子票据图像,其中,所述至少两种亮度调节操作与所述至少两个第四子票据图像一一对应,所述至少两个第二票据图像包括所述至少两个第四子票据图像。

可选地,所述第五确定模块包括:

获取单元,用于从所述至少两个第二票据图像中获取多个票据图像对,其中,所述多个票据图像对中的一个票据图像对包括同一票据图像不同模糊程度的两个票据图像;

训练单元,用于使用所述多个票据图像对和所述目标排序结果对所述初始图像排序模型进行训练,得到所述目标图像排序模型,其中,所述初始图像排序模型为包括两个所述初始特征提取网络的孪生网络模型。

可选地,所述获取单元包括:

获取子单元,用于按照票据图像和模糊操作类型,从所述至少两个第二票据图像中获取多个票据图像对,其中,所述多个票据图像对中的一个票据图像对包括对同一票据图像执行相同类型的模糊操作所得到的、不同模糊程度的两个票据图像。

可选地,所述装置还包括:

第六确定模块,用于在所述确定对所述目标图像审核通过之后,确定受理所述目标业务;

发送模块,用于向申请受理所述目标业务的客户端发送通知消息,其中,所述通知消息用于指示受理所述目标业务。

根据本申请实施例的又一个方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;其中,存储器,用于存储计算机程序;处理器,用于通过运行所述存储器上所存储的所述计算机程序来执行上述任一实施例中的票据图像的处理方法步骤。

根据本申请实施例的又一个方面,还提供了一种计算机可读的存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一实施例中的票据图像的处理方法步骤。

根据本申请实施例的又一个方面,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中;计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述任一实施例中的票据图像的处理方法步骤。

在本申请实施例中,在票据图像的审核任务中引入深度模型,通过使用标注了是否为模糊图像的票据图像训练初始分类模型得到的目标分类模型执行票据图像的审核任务,构造出的目标分类模型可以对申请受理目标业务的票据图像进行清晰或模糊的判别,减少了人工人力消耗,提高了图像质量分类的准确率,提升了票据质量审核的自动化效果,进而解决了相关技术中存在由于对票据图像质量的清晰和模糊的鉴定界限不清楚所导致的图像识别效果具有一定局限性的问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种可选的票据图像的处理方法的硬件环境的示意图;

图2是根据本申请实施例的一种可选的票据图像的处理方法的流程示意图;

图3是根据本申请实施例的一种可选的目标图像排序模型示意图;

图4是根据本申请实施例的一种可选的微调初始分类模型示意图;

图5是根据本申请实施例的一种可选的在线理赔申请的场景示意图;

图6是根据本申请实施例的一种可选的票据图像的处理装置的结构框图;

图7是根据本申请实施例的一种可选的电子设备的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。

需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请实施例的一个方面,提供了一种票据图像的处理方法。可选地,在本申请实施例中,上述票据图像的处理方法可以应用于如图1所示的硬件环境中。如图1所示,终端102中可以包含有存储器104、处理器106和显示器108(可选部件)。终端102可以通过网络110与服务器112进行通信连接,该服务器112可用于为终端或终端上安装的客户端提供服务(如游戏服务、应用服务等),可在服务器112上或独立于服务器112设置数据库114,用于为服务器112提供数据存储服务。此外,服务器112中可以运行有处理引擎116,该处理引擎116可以用于执行由服务器112所执行的步骤。

可选地,终端102可以但不限于为可以计算数据的终端,如移动终端(例如手机、平板电脑)、笔记本电脑、PC(Personal Computer,个人计算机)机等终端上,上述网络可以包括但不限于无线网络或有线网络。其中,该无线网络包括:蓝牙、WIFI(Wireless Fidelity,无线保真)及其他实现无线通信的网络。上述有线网络可以包括但不限于:广域网、城域网、局域网。上述服务器112可以包括但不限于任何可以进行计算的硬件设备。

此外,在本实施例中,上述票据图像的处理方法还可以但不限于应用于处理能力较强大的独立的处理设备中,而无需进行数据交互。例如,该处理设备可以但不限于为处理能力较强大的终端设备,即,上述票据图像的处理方法中的各个操作可以集成在一个独立的处理设备中。上述仅是一种示例,本实施例中对此不作任何限定。

可选地,在本实施例中,上述票据图像的处理方法可以由服务器112来执行,也可以由终端102来执行,还可以是由服务器112和终端102共同执行。其中,终端102执行本申请实施例的票据图像的处理方法也可以是由安装在其上的客户端来执行。

以运行在服务器为例,图2是根据本申请实施例的一种可选的票据图像的处理方法的流程示意图,如图2所示,该方法的流程可以包括以下步骤:

步骤S201,获取待审核的目标图像,其中,目标图像为申请受理目标业务的票据图像。

本申请实施例中的票据图像的处理方法可以应用于申请人申请办理一些对上传的票据图像的清晰度有一定要求的业务场景中,比如申请人办理理赔业务,需要上传票据图像至理赔业务系统,理赔业务系统对当前获取的票据图像的清晰度进行判别,以确定下一步是进入受理阶段还是通知申请人根据系统提示要求重新回传。其中,业务场景也可以是申请人到银行办理个人信息相关的金融业务等,本申请实施例中对此不作限定。

可选地,本申请实施例以理赔业务场景为例对上述票据图像的处理方法进行解释说明。申请人可以将待审核的目标图像上传到理赔业务系统内,其中,目标图像为申请受理目标业务的票据图像,比如,该票据图像是用户的保险账单图像信息。

理赔业务系统的后台服务器可以接收申请人的客户端(即,申请受理目标业务的客户端)上传的目标图像,从而获取到该目标图像。

步骤S202,将目标图像输入到目标分类模型中的目标特征提取网络,得到目标特征提取网络输出的目标图像的目标模糊特征,其中,目标特征提取网络,是使用同一票据图像不同模糊程度的至少两个票据图像进行训练得到的;目标分类模型,是使用第一票据图像样本集对包含有目标特征提取网络的初始分类模型进行训练微调得到的。

可选地,将获取的目标图像输入训练好的目标分类模型中的目标特征提取网络,得到目标特征提取网络输出的目标图像的目标模糊特征。

其中,目标特征提取网络,是使用同一票据图像不同模糊程度的至少两个票据图像进行训练得到的;目标分类模型,是使用第一票据图像样本集对包含有目标特征提取网络的初始分类模型进行训练微调得到的。

步骤S203,将目标模糊特征输入到目标分类模型的目标全连接层,得到目标全连接层输出的目标模糊概率,其中,目标模糊概率为目标图像是模糊图像的概率。

可选地,目标模糊特征输入到目标分类模型的目标全连接层,得到两个小数值,分别是目标模糊概率和目标清晰概率,其中,目标模糊概率为目标图像是模糊图像的概率,目标清晰概率为目标图像是清晰图像的概率。

步骤S204,根据目标模糊概率和预设模糊概率阈值,确定目标图像的目标分类结果,其中,目标分类结果用于指示目标图像是否是模糊图像。

可选地,在本申请实施例中,会预先设置一个模糊概率阈值,然后将得到的目标模糊概率和预设模糊概率阈值进行比较,若大于或等于该预设模糊概率阈值,则得到目标分类结果是模糊图像,若小于该预设模糊概率阈值,则得到目标分类结果是清晰图像。

其中,该目标分类模型是使用第一票据图像样本集对初始分类模型进行训练得到的。

步骤S205,在目标分类结果用于指示目标图像不是模糊图像的情况下,确定对目标图像审核通过。

目标分类结果用于指示目标图像是否是模糊图像,如果目标分类结果用于指示目标图像是模糊图像,则确定对目标图像审核未通过,理赔业务系统的后台服务器可以向申请受理目标业务的客户端提示信息,该提示信息用于提示目标图像审核未通过,还可以提示重新上传清晰图像。

可选地,如果目标分类结果用于指示目标图像不是模糊图像(清晰图像),则说明当前的目标图像是可以满足业务受理的需求的,确定该目标图像审核通过。

通过本实施例,在票据图像的审核任务中引入深度模型,通过使用标注了是否为模糊图像的票据图像训练初始分类模型得到的目标分类模型执行票据图像的审核任务,构造出的目标分类模型可以对申请受理目标业务的票据图像进行清晰或模糊的判别,减少了人工人力消耗,提高了图像质量分类的准确率,提升了票据质量审核的自动化效果,进而解决了相关技术中存在由于对票据图像质量的清晰和模糊的鉴定界限不清楚所导致的图像识别效果具有一定局限性的问题。

作为一种可选的实施例,获取待审核的目标图像之前,该方法还包括:

获取第一票据图像样本集,第一票据图像样本集包含第一票据图像、以及用于指示第一票据图像是否为模糊图像的目标标注信息;

将第一票据图像输入到初始分类模型内的目标特征提取网络,得到第一票据图像的模糊特征;

根据第一票据图像的模糊特征,确定第一票据图像是模糊图像的第一初始概率、以及第一票据图像不是模糊图像的第二初始概率;

根据第一初始概率和第二初始概率,确定第一票据图像的第一分类结果;

根据第一分类结果和目标标注信息调整初始分类模型的模型参数,得到目标分类模型。

在使用目标分类模型之前,可以首先利用第一票据图像样本集对初始分类模型进行训练,得到目标分类模型,训练初始分类模型的设备可以为第一模型训练设备,该第一模型训练设备可以是上述服务器,也可以是与上述服务器不同的其他设备,例如,其他服务器,本实施例中对此不作限定。需要说明的是,这里的第一票据图像样本包含第一票据图像、以及用于指示第一票据图像是否为模糊图像的目标标注信息,根据每次初始分类模型输出的分类结果进行loss计算,完成对初始分类模型参数的调整,直到loss函数(损失函数)满足收敛条件(例如,最大值达到0),训练结束,得到目标分类模型。

示例性地,第一模型训练设备可以首先获取该第一票据图像样本集,其中,该第一票据图像样本集包含第一票据图像、以及用于指示第一票据图像是否为模糊图像的目标标注信息;然后,将该第一票据图像输入到初始分类模型内的目标特征提取网络,提取第一票据图像的模糊特征,在根据模糊特征输出第一票据图像是模糊图像的第一初始概率、以及第一票据图像不是模糊图像的第二初始概率,其中第一初始概率和第二初始概率可以是小数数值,依据当前输出的第一初始概率和第二初始概率,得到对第一票据图像的分类结果。例如,如果第一初始概率大于一个设定的概率阈值(可以是50%,也可以是大于或者小于50%的一个阈值),输出的第一分类结果用于指示第一票据图像是模糊图像,否则,输出的第一分类结果用于指示第一票据图像不是模糊图像。

其中,第一票据图像的数量可以为至少一个,使用至少一个第一票据图像可以对初始分类模型进行多轮迭代,直到满足模型的收敛条件,即,模型对应的损失函数满足收敛条件,从而得到目标分类模型。上述收敛条件可以是分类正确(也就是,模型输出的分类结果与目标标注信息一致)的票据图像的数量(或者比例)大于或者等于设定的数量阈值(或者比例阈值)。

需要说明的是,本申请实施例为了提高训练分类模型时模型收敛的效率、保证模型参数调整的合理性,在对初始分类模型进行不断的训练过程中,可以通过预训练(前置训练)初始特征提取网络的方式得到目标特征提取网络,并将预训练好的目标特征提取网络作为初始分类模型的特征提取网络。该目标特征提取网络用于提取输入图像的模糊特征,模糊特征用于表征输入图像的模糊程度。

在对初始分类模型进行训练时,可以将第一票据图像输入到目标特征提取网络,得到该目标特征提取网络输出的、第一票据图像的模糊特征,第一票据图像的模糊特征可以用于表征第一票据图像的模糊程度。

通过本实施例,初始分类模型内包含预训练得到的目标特征提取网络,该目标特征提取网络可以学习出不同模糊程度之间的差别,得到图像不同模糊程度下的模糊特征,依据该模糊特征输出分类结果,这样的前置训练设计可以加速初始分类模型的收敛。

作为一种可选的实施例,在获取第一票据图像样本集之前,该方法还包括:

获取第二票据图像样本集,其中,第二票据图像样本集包含至少两个第二票据图像、以及用于指示至少两个第二票据图像的模糊程度的顺序的目标排序结果;

使用第二票据图像样本集对初始图像排序模型进行训练,得到目标图像排序模型,其中,初始图像排序模型包括与目标特征提取网络对应的初始特征提取网络,初始图像排序模型用于根据至少两个第二票据图像的模糊特征,对至少两个第二票据图像的模糊程度进行排序,目标图像排序模型包括目标特征提取网络。

可选地,本申请实施例可以利用了孪生网络生成初始图像排序模型,由于孪生网络的作用是提取输入图像的特征,它包含两个网络结构,所以将获取的第二票据图像样本集输入到初始图像排序模型时,该第二票据图像样本集需要包含至少两个第二票据图像、以及用于指示至少两个第二票据图像的模糊程度的顺序的目标排序结果,根据初始图像排序模型输出的对至少两个第二票据图像的排序结果,将该排序结果与该目标排序结果进行比较,经过loss计算调整初始图像排序模型内的参数,确定目标图像排序模型,其中,该初始图像排序模型内包含初始特征提取网络,经过不断调参处理后,由初始特征提取网络变为目标特征提取网络,其中,目标图像排序模型包括该目标特征提取网络。

该目标特征提取网络是孪生网络内主干网络(比如,resnet网络)中的其中一个网络,需要说明的是,孪生网络里的两个网络的结构是相同的,两个网络间的参数是共享的,即参数是一致的,所以选取孪生网络内主干网络中的其中一个网络作为目标特征提取网络即可完成对第一票据图像的模糊特征的提取。其中,模糊特征用于表征输入图像的模糊程度;主干网络可以为resnet网络或DenseNet网络或Mask-RCNN网络。

例如,如图3所示,将同一清晰图的两张不同模糊程度的第二票据图像输入孪生网络,预测各自的模糊分数,之后输出两张模糊图像的模糊程度排名,比如第一张第二票据图像输出的模糊分数是x1:0.5,第一张第二票据图像输出的模糊分数是x2:0.6,那么第一张第二票据图像模糊数值小于第二张第二票据图像模糊数值,则初始图像排序模型输出排序数值-1,反之,输出数值1,然后将-1或1输入loss函数中,根据loss函数得到的数值进行不断地对初始图像排序模型调参,直到loss函数得到的数值为0,停止对初始图像排序模型的训练,得到目标图像排序模型。其中,该loss函数的计算公式:loss=max(0,-y×(x1-x2)+margin),margin是偏移量,可以设置为0,y取值为初始图像排序模型输出的排序数值,即1或-1。

在对初始图像排序模型不断训练的过程中,会一直调整初始特征提取网络内的参数,直到停止训练初始图像排序模型,得到目标图像排序模型,此时孪生网络内的初始特征提取网络也变为目标特征提取网络。

作为一种可选的实施例,根据第一分类结果和目标标注信息调整初始分类模型的模型参数,得到目标分类模型包括:

保留目标图像排序模型内的目标特征提取网络;

在目标特征提取网络之后连接全局平均池化层和全连接层,得到初始分类模型;

根据输入的第一票据图像样本集和第一分类结果对初始分类模型进行微调,得到目标分类模型。

可选地,参照图3,将目标图像排序模型内的最后一层所有参数去掉,也即是去掉图3中的模糊分数(x1),模糊分数(x2)和MarginRankingLoss函数,只保留目标特征提取网络(即两个resnet网络中的其中一个网络)内的所有参数,将目标特征提取网络放入初始分类模型内,并在目标特征提取网络之后连接全局平均池化层和全连接层作为初始分类模型,参见图4,初始分类模型用于做票据图像清晰或模糊的分类任务。这样,初始分类模型在做图像分类任务时,由于目标特征提取网络是提前训练好的,且该目标特征提取网络主要用于提取输入的不同模糊程度的票据图像的模糊特征的,所以在初始分类模型执行任务时只需对模型里的参数进行微调即可达到快速判别票据图像是否模糊的目的。

通过本实施例,在初始分类模型中保留训练好的目标特征提取网络,可以加快模型对票据图像模糊或清晰的判别速度,同时增高准确性,加快了模型的收敛。

作为一种可选的实施例,获取第二票据图像样本集包括以下至少之一:

对第一参考票据图像执行至少两种图像压缩操作,得到至少两个第一子票据图像,其中,至少两种图像压缩操作与至少两个第一子票据图像一一对应,至少两个第二票据图像包括至少两个第一子票据图像;

对第二参考票据图像执行至少两种模糊算子操作,得到至少两个第二子票据图像,其中,至少两种模糊算子操作与至少两个第二子票据图像一一对应,至少两个第二票据图像包括至少两个第二子票据图像;

对第三参考票据图像执行至少两种仿射变换操作,得到至少两个第三子票据图像,其中,至少两种仿射变换操作与至少两个第三子票据图像一一对应,至少两个第二票据图像包括至少两个第三子票据图像;

对第四参考票据图像执行至少两种亮度调节操作,得到至少两个第四子票据图像,其中,至少两种亮度调节操作与至少两个第四子票据图像一一对应,至少两个第二票据图像包括至少两个第四子票据图像。

可选地,在本申请实施例中,可以对一第一参考票据图像执行至少两种程度的图像压缩操作,该图像压缩操作可以是对当前第一参考票据图像压缩至原图像大小的50%,也可以是对当前第一参考票据图像压缩至原图像大小的30%等,该图像压缩操作可以是将当前第一参考票据图像的分辨率至原图像大小的五分之三或五分之二等,进而可以得到至少两个不同模糊程度的票据图像(即,第一子票据图像),其中,至少两种图像压缩操作与至少两个第一子票据图像一一对应。

同理,在票据图像场景中,对焦模糊也会造成票据图像的模糊,比如票据图像内一般会出现边缘不清晰的情况,基于此本申请实施例可以对一第二参考票据图像执行至少两种程度的模糊算子操作,比如,sobel算子、canny算子等,通过上述各模糊算子操作可以得到至少两个不同模糊程度的票据图像(即,第二子票据图像),其中,至少两种模糊算子操作与至少两个第二子票据图像一一对应。

同理,在票据图像场景中,可以利用倾斜拍照的方式采集模糊的票据图像,比如倾斜45°拍照或倾斜30°拍照等。基于此,本申请实施例可以对一第三参考票据图像执行至少两种程度的仿射变换操作,该仿射变换操作可以得到至少两个不同模糊程度的票据图像(即第三子票据图像),其中,至少两种仿射变换操作与至少两个第三子票据图像一一对应。

同理,在票据图像场景中,光照强度过明或过暗也会直接影响票据上的文字能否被看清楚,因此票据图像的亮度特征也可以用做票据图像清晰与模糊的一个影响特征。基于此,本申请实施例可以对一第四参考票据图像执行至少两种程度的亮度调节操作,比如,基于图像HSV颜色通道或者HSL颜色通道中的亮度或明度通道,取该颜色通道的某种或多种数学统计值作为特征,例如均值、方差、偏度、峰度等亮度调节操作,得到至少两个不同模糊程度的票据图像(即第四子票据图像),其中,至少两种亮度调节操作与至少两个第四子票据图像一一对应。

需要说明的是,本申请实施例中的第一参考票据图像、第二参考票据图像、第三参考票据图像和第四参考票据图像均是一张清晰的图像。其中,上述四个参考票据图像可以是同一张票据图像,也可以是不同的四张票据图像。本申请实施例中不对参考票据图像的个数以及模糊操作方式做具体限定。

通过本实施例,使用不同的计算机视觉方法对同一清晰票据图像或各个清晰票据图像进行不同程度的变换,来模拟生产过程中的多个模糊图像,增强数据间的对比性。

作为一种可选的实施例,使用第二票据图像样本集对初始图像排序模型进行训练,得到目标图像排序模型包括:

从至少两个第二票据图像中获取多个票据图像对,其中,多个票据图像对中的一个票据图像对包括同一票据图像不同模糊程度的两个票据图像;

使用多个票据图像对和目标排序结果对初始图像排序模型进行训练,得到目标图像排序模型,其中,初始图像排序模型为包括两个初始特征提取网络的孪生网络模型。

可选地,在获取的至少两个第二票据图像中可以确定出多个(至少一个)票据图像对,可以选取多个票据图像对中的一个票据图像对(例如,如图3所示的生成一个票据图像对),其中,每一个票据图像对可以是包括同一票据图像不同模糊程度的两个票据图像。

然后,根据多个上述票据图像对和多个上述票据图像的目标排序结果,对初始图像排序模型进行训练,得到目标图像排序模型。需要说明的是,该初始图像排序模型为包括两个初始特征提取网络的孪生网络模型。

示例性地,按照如下方式对初始图形排序模型进行多轮训练:

在对初始图像排序模型进行本轮训练的过程中,从多个票据图像对中选取出当前票据图像对;

将当前票据图像对输入到目标图像排序模型,得到当前票据图像对的模型排序结果;

在模型排序结果与目标排序结果所指示的当前票据图像对的参考排序结果不一致的情况下,调整目标图像排序模型的模型参数,得到调整后的目标图像排序模型,其中,调整后的目标图像排序模型输出的当前票据图像对的排序结果与参考排序结果一致,即得到目标图像排序模型。

通过本实施例,通过选取一个票据图像对输入初始图像排序模型进行训练,这样既能够满足孪生网络对输入的图像需要是成对的要求,也使得孪生网络在特征提取时能够集中在两图像之间的差异部分,即模糊部分,而减少关注清晰图像原始的组成内容。

作为一种可选的实施例,从至少两个第二票据图像中获取多个票据图像对包括:

按照票据图像和模糊操作类型,从至少两个第二票据图像中获取多个票据图像对,其中,多个票据图像对中的一个票据图像对包括对同一票据图像执行相同类型的模糊操作所得到的、不同模糊程度的两个票据图像。

可选地,本申请实施例获取的多个票据图像对中的一个票据图像对包括对同一票据图像执行相同类型的模糊操作所得到的、不同模糊程度的两个票据图像,即,在本申请实施例中,一票据图像对内的两个票据图像可以是对同一票据图像执行相同类型的模糊操作所得到的,且是不同模糊程度的两个票据图像,用于对造成不同模糊程度的模糊特征的提取。

通过本实施例,获取同一模糊类型下的不同模糊程度的票数图像对,可以更好地提取造成票据图像不同模糊程度的模糊特征,这样获取到的模糊特征更有参考意义。

作为一种可选的实施例,在确定对目标图像审核通过之后,该方法还包括:

确定受理目标业务;

向申请受理目标业务的客户端发送通知消息,其中,通知消息用于指示受理目标业务。

可选地,在得到目标图像审核通过的消息后,理赔业务系统会再根据客户上传的其他附加信息,如:理赔金额、客户签名、客户身份证证件号等进行审核,在上述信息全部审核通过后,再向申请受理目标业务的客户端发送通知消息,通知客户办理的目标业务进入受理阶段。

示例性地,如图5,图5是根据本申请实施例的一种可选的在线理赔申请的场景示意图。在客户进行在线理赔业务申请时,理赔业务系统会提示客户填写申请资料,比如:家庭住址、身份证证件号、理赔项目、理赔金额、业务服务人员等信息,在申请资料信息填写完整且无误后,提示客户上传理赔材料(以上传.jpg格式的图像为主),该理赔材料包括票据图像、身份证证件照片(包括正反面)、门诊病历本图像、出院记录单照片、出院证明单照片等,在对上述理赔材料进行图像审核通过后,提示客户签名确认,在理赔业务系统确认客户签名无误后,跳转至当前理赔业务进入受理阶段。

通过本实施例,在得到目标图像审核通过之后,再结合客户上传的其他附加信息是否符合业务系统的要求,进而得出当前业务节点是进入受理阶段还是提示客户按照提示回传,这样更能提高业务办理的准确度,降低安全风险。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM(Read-Only Memory,只读存储器)/RAM(Random Access Memory,随机存取存储器)、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例票据图像的处理方法。

根据本申请实施例的另一个方面,还提供了一种用于实施上述票据图像的处理方法的票据图像的处理装置。图6是根据本申请实施例的一种可选的票据图像的处理装置的示意图,如图6所示,该装置可以包括:

第一获取模块601,用于获取待审核的目标图像,其中,目标图像为申请受理目标业务的票据图像;

第一输入模块602,与第一获取模块601相连,用于将目标图像输入到目标分类模型中的目标特征提取网络,得到目标特征提取网络输出的目标图像的目标模糊特征,其中,目标特征提取网络,是使用同一票据图像不同模糊程度的至少两个票据图像进行训练得到的;目标分类模型,是使用第一票据图像样本集对包含有目标特征提取网络的初始分类模型进行训练微调得到的;

第二输入模块603,与第一输入模块602相连,用于将目标模糊特征输入到目标分类模型的目标全连接层,得到目标全连接层输出的目标模糊概率,其中,目标模糊概率为目标图像是模糊图像的概率;

第一确定模块604,与第二输入模块603相连,用于根据目标模糊概率和预设模糊概率阈值,确定目标图像的目标分类结果,其中,目标分类结果用于指示目标图像是否是模糊图像;

第二确定模块605,与第二输入模块604相连,用于在目标分类结果用于指示目标图像不是模糊图像的情况下,确定对目标图像审核通过。

需要说明的是,该实施例中的第一获取模块601可以用于执行上述步骤S201,该实施例中的第一输入模块602可以用于执行上述步骤S202,该实施例中的第二输入模块603可以用于执行上述步骤S203,该实施例中的第一确定模块604可以用于执行上述步骤S204,该实施例中的第二确定模块605可以用于执行上述步骤S205。

通过上述模块,在票据图像的审核任务中引入深度模型,通过使用标注了是否为模糊图像的票据图像训练初始分类模型得到的目标分类模型执行票据图像的审核任务,构造出的目标分类模型可以对申请受理目标业务的票据图像进行清晰或模糊的判别,减少了人工人力消耗,提高了图像质量分类的准确率,提升了票据质量审核的自动化效果,进而解决了相关技术中存在由于对票据图像质量的清晰和模糊的鉴定界限不清楚所导致的图像识别效果具有一定局限性的问题。

作为一种可选的实施例,该装置还包括:

第二获取模块,用于在获取待审核的目标图像之前,获取第一票据图像样本集,第一票据图像样本集包含第一票据图像、以及用于指示第一票据图像是否为模糊图像的目标标注信息;

第三确定模块,用于根据第一票据图像的模糊特征,确定第一票据图像是模糊图像的第一初始概率、以及第一票据图像不是模糊图像的第二初始概率;

第四确定模块,用于根据第一初始概率和第二初始概率,确定第一票据图像的第一分类结果;

调整模块,用于根据第一分类结果和目标标注信息调整初始分类模型的模型参数,得到目标分类模型。

作为一种可选的实施例,该装置还包括:

第三获取模块,用于获取第一票据图像样本集之前,获取第二票据图像样本集,其中,第二票据图像样本集包含至少两个第二票据图像、以及用于指示至少两个第二票据图像的模糊程度的顺序的目标排序结果;

第五确定模块,用于使用第二票据图像样本集对初始图像排序模型进行训练,得到目标图像排序模型,其中,初始图像排序模型包括与目标特征提取网络对应的初始特征提取网络,初始图像排序模型用于根据至少两个第二票据图像的模糊特征,对至少两个第二票据图像的模糊程度进行排序,目标图像排序模型包括目标特征提取网络。

作为一种可选的实施例,调整模块包括:

保留单元,用于保留目标图像排序模型内的目标特征提取网络;

连接单元,用于在目标特征提取网络之后连接全局平均池化层和全连接层,得到初始分类模型;

微调单元,用于根据输入的第一票据图像样本集和第一分类结果对初始分类模型进行微调,得到目标分类模型。

作为一种可选的实施例,第三获取模块包括以下至少之一:

第一执行单元,用于对第一参考票据图像执行至少两种图像压缩操作,得到至少两个第一子票据图像,其中,至少两种图像压缩操作与至少两个第一子票据图像一一对应,至少两个第二票据图像包括至少两个第一子票据图像;

第二执行单元,用于对第二参考票据图像执行至少两种模糊算子操作,得到至少两个第二子票据图像,其中,至少两种模糊算子操作与至少两个第二子票据图像一一对应,至少两个第二票据图像包括至少两个第二子票据图像;

第三执行单元,用于对第三参考票据图像执行至少两种仿射变换操作,得到至少两个第三子票据图像,其中,至少两种仿射变换操作与至少两个第三子票据图像一一对应,至少两个第二票据图像包括至少两个第三子票据图像;

第四执行单元,用于对第四参考票据图像执行至少两种亮度调节操作,得到至少两个第四子票据图像,其中,至少两种亮度调节操作与至少两个第四子票据图像一一对应,至少两个第二票据图像包括至少两个第四子票据图像。

作为一种可选的实施例,第五确定模块包括:

获取单元,用于从至少两个第二票据图像中获取多个票据图像对,其中,多个票据图像对中的一个票据图像对包括同一票据图像不同模糊程度的两个票据图像;

训练单元,用于使用多个票据图像对和目标排序结果对初始图像排序模型进行训练,得到目标图像排序模型,其中,初始图像排序模型为包括两个初始特征提取网络的孪生网络模型。

作为一种可选的实施例,获取单元包括:

获取子单元,用于按照票据图像和模糊操作类型,从至少两个第二票据图像中获取多个票据图像对,其中,多个票据图像对中的一个票据图像对包括对同一票据图像执行相同类型的模糊操作所得到的、不同模糊程度的两个票据图像。

作为一种可选的实施例,该装置还包括:

第六确定模块,用于在确定对目标图像审核通过之后,确定受理目标业务;

发送模块,用于向申请受理目标业务的客户端发送通知消息,其中,通知消息用于指示受理目标业务。

此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现,其中,硬件环境包括网络环境。

根据本申请实施例的又一个方面,还提供了一种用于实施上述票据图像处理方法的电子设备,该电子设备可以是服务器、终端、或者其组合。

图7是根据本申请实施例的一种可选的电子设备的结构框图,如图7所示,包括处理器701、通信接口702、存储器703和通信总线704,其中,处理器701、通信接口702和存储器703通过通信总线704完成相互间的通信,其中,

存储器703,用于存储计算机程序;

处理器701,用于执行存储器703上所存放的计算机程序时,实现如下步骤:

S1,获取待审核的目标图像,其中,目标图像为申请受理目标业务的票据图像;

S2,将目标图像输入到目标分类模型中的目标特征提取网络,得到目标特征提取网络输出的目标图像的目标模糊特征,其中,目标特征提取网络,是使用同一票据图像不同模糊程度的至少两个票据图像进行训练得到的;目标分类模型,是使用第一票据图像样本集对包含有目标特征提取网络的初始分类模型进行训练微调得到的;

S3,将目标模糊特征输入到目标分类模型的目标全连接层,得到目标全连接层输出的目标模糊概率,其中,目标模糊概率为目标图像是模糊图像的概率;

S4,根据目标模糊概率和预设模糊概率阈值,确定目标图像的目标分类结果,其中,目标分类结果用于指示目标图像是否是模糊图像;

S5,在目标分类结果用于指示目标图像不是模糊图像的情况下,确定对目标图像审核通过。

可选地,在本实施例中,上述的通信总线可以是PCI(Peripheral ComponentInterconnect,外设部件互连标准)总线、或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括RAM,也可以包括非易失性存储器(non-volatile memory),例如,至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。

作为一种示例,如图7所示,上述存储器702中可以但不限于包括上述票据图像的处理装置中的第一获取模块601、第一输入模块602、第二输入模块603、第一确定模块604以及第二确定模块605。此外,还可以包括但不限于上述票据图像的处理装置中的其他模块单元,本示例中不再赘述。

上述处理器可以是通用处理器,可以包含但不限于:CPU(Central ProcessingUnit,中央处理器)、NP(Network Processor,网络处理器)等;还可以是DSP(DigitalSignal Processing,数字信号处理器)、ASIC(Application Specific IntegratedCircuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

此外,上述电子装置还包括:显示器,用于显示票据图像审核结果。

可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。

本领域普通技术人员可以理解,图7所示的结构仅为示意,实施上述票据图像处理方法的设备可以是终端设备,该终端设备可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图7其并不对上述电子装置的结构造成限定。例如,终端设备还可包括比图7中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图7所示的不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、ROM、RAM、磁盘或光盘等。

根据本申请实施例的又一个方面,还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于执行票据图像的处理方法的程序代码。

可选地,在本实施例中,上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。

可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:

S1,获取待审核的目标图像,其中,目标图像为申请受理目标业务的票据图像;

S2,将目标图像输入到目标分类模型中的目标特征提取网络,得到目标特征提取网络输出的目标图像的目标模糊特征,其中,目标特征提取网络,是使用同一票据图像不同模糊程度的至少两个票据图像进行训练得到的;目标分类模型,是使用第一票据图像样本集对包含有目标特征提取网络的初始分类模型进行训练微调得到的;

S3,将目标模糊特征输入到目标分类模型的目标全连接层,得到目标全连接层输出的目标模糊概率,其中,目标模糊概率为目标图像是模糊图像的概率;

S4,根据目标模糊概率和预设模糊概率阈值,确定目标图像的目标分类结果,其中,目标分类结果用于指示目标图像是否是模糊图像;

S5,在目标分类结果用于指示目标图像不是模糊图像的情况下,确定对目标图像审核通过。

可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例中对此不再赘述。

可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

根据本申请实施例的又一个方面,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中;计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述任一个实施例中的票据图像的处理方法步骤。

上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例票据图像的处理方法的全部或部分步骤。

在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

相关技术
  • 票据图像的处理方法和装置、存储介质及电子设备
  • 票据图像处理方法、装置、存储介质及电子设备
技术分类

06120112165364