财务票据OCR识别及影像处理方法、系统及可读存储介质

技术领域

本发明涉及票据的自动识别技术领域，尤其涉及一种财务票据OCR识别及影像处理方法、系统及可读存储介质。

背景技术

现代工业、商业、日常经济活动的繁荣，促使人们频繁适用发票等财务票据，而常规手动管理财务票据费时费力。在现实财务处理发票数据工作中，越来越多的发票需要整理，越来越多的时间耗费在发票上，手动录入和人工检索，不仅浪费时间，且容易出错。随着信息技术的发展，这项工作大多交由计算机完成，因此借助信息化手段，提高财务票据信息处理能力、处理效率、准确率，实现财务票据自动识别是解决问题的有效途径。

传统的OCR光学字符识别技术主要是为提高人机在处理信息时，人类效率明显落后于机器的矛盾，使人机之间的信息交流高速且有效。OCR技术出现后，随着技术的不断更新与发展，OCR技术在人类经济活动与日常生活中的各个领域开始崭露头角发挥作用，目前也已经有了较成熟的技术方案。OCR字符识别属于模式识别，在字符定位、字符切分以及提取方面都有了较深入的研究。现如今，单个字符的识别精确度已经很高。但是对于字符比划简单的阿拉伯数字，由于字符差异小、字符形状相似而识别精度较差。财务票据中多包涵汉语、数字多种形式结合的文本，传统OCR对于此类文本的识别繁琐且精准度较差，效果有待提高。且效果对于财务票据本身的影像要求比较严格，无法适用于业务经营活动中各种场景下的财务票据识别。

发明内容

本发明所要解决的技术问题在于，提供一种财务票据OCR识别及影像处理方法、系统及可读存储介质，可以实施自动、高效且准确地实现对账务票据进行识别，并进行相应的影像处理。

为解决上述技术问题，本发明的一方面，提供一种财务票据OCR识别及影像处理方法系统，其包括：

步骤S10，获取用户上传的票据影像；

步骤S11，基于预先训练的票据类型识别模型，识别并获取所述票据影像的票据类型；

步骤S12，根据所述票据的票据类型，基于预先训练的相应票据类型所对应的信息区域识别模型，识别并获取所述票据的多个待识别信息区域；

步骤S13，基于所述多个待识别信息区域以及预先训练的字符识别模型，识别并获取其中的全部字符信息，从而确定所述票据上记载的信息；

步骤S14，基于票据上记载的信息，基于预先设置的查验规则进行票据查重及真伪校验；

步骤S15，基于票据上记载的信息以及预先训练的税费计算模型进行相应的票据税费计算，并根据预先训练的报销模型自动生成报销票据；

步骤S16，基于所述信息区间与识别内容的匹配结果，进行审核。

优选地，所述方法进一步包括：

基于票据上记载的信息核查发票是否重复出现；

基于票据上记载的信息，对运输服务票据自动计算报账金额和进项税额；

基于票据上记载的信息，对福利事项取得专票自动进行进项税转出；

基于票据上记载的信息，辅助财务人员进行结算支付工作。

优选地，所述字符识别模型、信息区域识别模型、票据类型识别模型、税费计算模型、报销模型均为基于神经网络的模型。

优选地，该方法还包括基于所述票据上记载的信息以及票据检验模型进行票据真实性和有效性校验。

优选地，在所述票据类型识别步骤前还包括对所述票据进行校正处理的步骤，具体地，在获取用户上传的票据影像后，识别票据边缘，然后进行校正处理。

根据本公开的第二方面，提供了一种影像应用的计算机系统，包括：

一个或多个处理器；以及

一个或多个存储器，被配置为存储一系列计算机可执行的指令，

其中，当所述一系列计算机可执行的指令被所述一个或多个处理器执行时，使得所述一个或多个处理器：获取用户上传的票据影像；基于预先训练的票据类型识别模型，识别并获取所述票据影像的票据类型；根据所述票据的票据类型，基于预先训练的相应票据类型所对应的信息区域识别模型，识别并获取所述票据的多个待识别信息区域；基于所述多个待识别信息区域以及预先训练的字符识别模型，识别并获取其中的全部字符信息，从而确定所述票据上记载的信息；基于票据上记载的信息查验票据真实性、有效性并进行判断或预警；基于票据上记载的信息核查发票是否重复出现；基于票据上记载的信息，自动生成报销单据；基于票据上记载的信息，对运输服务票据自动计算报账金额和进项税额；基于票据上记载的信息，对福利事项取得专票自动进行进项税转出；基于票据上记载的信息，辅助财务人员进行结算支付工作。

根据本公开的第三方面，提供了一种非临时性计算机可读存储介质，所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列计算机可执行的指令被一个或多个计算装置执行时，使得所述一个或多个计算装置：获取用户上传的票据影像；基于预先训练的票据类型识别模型，识别并获取所述票据影像的票据类型；根据所述票据的票据类型，基于预先训练的相应票据类型所对应的信息区域识别模型，识别并获取所述票据的多个待识别信息区域；基于所述多个待识别信息区域以及预先训练的字符识别模型，识别并获取其中的全部字符信息，从而确定所述票据上记载的信息；基于票据上记载的信息查验票据真实性、有效性并进行判断或预警；基于票据上记载的信息，自动生成报销单据；基于所述票据上记载的信息以及预选训练的税费计算模型进行相应的票据税费计算；基于所述票据上记载的信息进行票据重复性校验；基于票据上记载的信息，辅助财务人员进行结算支付工作。

实施本发明，具有如下的有益效果：

本发明提供一种财务票据OCR识别及影像处理方法、系统及可读存储介质。通过利用OCR图像识别技术在财务票据领域的应用，提供了新型的财务票据、表单等快速、精准识别的技术方法。使用图像识别与应用技术实现票据验真验重，自动生成报销票据，自动财务审核，辅助财务人员进行结算支付工作，提高财务人员的工作效率，帮助财务部门构建自动化的财务审核业务系统。通过各类财务票据的OCR进行识别，将识别的文字进行语句生成，输出财务票据内容。通过人工智能的方法，对财务票据有效准确的自动识别，极大地改善了人工录入数据效率低、易出错等问题，且更有利于对企业的财务票据进行真实的管理监管，保障了数据信息的真实性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明提供的一种财务票据OCR识别及影像处理方法的一个实施例的主流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

为使本领域的普通技术人员更加清楚地理解发明的目的、技术方案和优点，以下结合附图和实施例对发明做进一步的阐述。

请参考图1，示出了本发明提供的一种财务票据OCR识别及影像应用的一个实施例的主流程图。在本实施例中，所述方法包括如下步骤：

步骤S10，获取用户上传的票据影像；

步骤S11，基于预先训练的票据类型识别模型，识别并获取所述票据影像的票据类型；

步骤S12，根据所述票据的票据类型，基于预先训练的相应票据类型所对应的信息区域识别模型，识别并获取所述票据的多个待识别信息区域；

步骤S13，基于所述多个待识别信息区域以及预先训练的字符识别模型，识别并获取其中的全部字符信息，从而确定所述票据上记载的信息；

步骤S14，基于票据上记载的信息，基于预先设置的查验规则进行票据查重及真伪校验；

步骤S15，基于票据上记载的信息以及预先训练的税费计算模型进行相应的票据税费计算，并根据预先训练的报销模型自动生成报销票据；

步骤S16，基于所述信息区间与识别内容的匹配结果，进行审核。

其中，所述方法进一步包括：

基于票据上记载的信息核查发票是否重复出现；

基于票据上记载的信息，对运输服务票据自动计算报账金额和进项税额；

基于票据上记载的信息，对福利事项取得专票自动进行进项税转出；

基于票据上记载的信息，辅助财务人员进行结算支付工作。

其中，所述字符识别模型、信息区域识别模型、票据类型识别模型、税费计算模型、报销模型均为基于神经网络的模型。

其中，该方法还包括基于所述票据上记载的信息以及票据检验模型进行票据真实性和有效性校验。

应当理解，本公开所称的“票据”是指在其上记载有信息的实体，这些信息以一些模式被布置在票据上，并由中文字、外文字、数字、符号、图形等中的一种或多种形式来承载。本公开所称的“票据”的一些具体示例可以是，发票、账单、税单、收据、购物清单、餐饮小票、保险单、报销单、存款流水单、信用卡对账单、快递单、行程单、车票、登机牌、专利公开文本的信息页、选票、调查问卷、评价表、签到表、申请表等各种由人工和/或机器填写的票据。其中，报销单可以视为包含有多张发票并粘帖在一张纸张上的票据形式。本领域技术人员可以理解，本公开所称的“票据”不限于本文所列出的这些具体示例，而且不限于与金融或商业有关的票据，也不限于其上带有公章的票据，可以是带有打印字体的票据也可以是带有手写字体的票据，可以是具有规定和/或通用格式的票据也可以不是具有规定和/或通用格式的票据。非常规财务票据包括：财务收据、合同关键页、保函、缴款通知书、预算文件、验收证明、签到表、签收表、完工证明等，具有类别多和结构不一的特征。

本公开的目标是通过人工智能领域中深度学习的算法，去除传统OCR中字符分解和字符分类等繁琐步骤，将字符的特征提取，字符分类统一交给深度学习算法处理，进一步提高字符识别的速度和准确度。分析已有的字符图像定位、预处理等方法，对财务票据进行背景去除、定位财务票据区域，实现财务票据数据的分块提取，形成单行文本数据。基于特定模型进行财务票据内容识别，针对网络结构进行优化调整，提高识别字符的正确率。本公开主要对财务票据内容识别系统进行需求分析、系统设计和实现，财务票据内容识别系统的设计及实现。根据企业对财务票据内容识别的实际需求，将内容识别系统按照功能模块进行划分，并对各个功能模块进行设计，最后进行编码实现。

财务票据自动识别系统是财务软件的子模块，为软件提供财务票据识别及管理的服务，主要完成对财务票据的识别，并将识别数据进行入库管理，提供信息查询统计修改等功能。将纸质财务票据进行拍照或者扫描形成的图片文件，财务票据自动识别系统将图片加载、优化，并根据票据种类进行针对性识别并入库。同时，提供识别接口，方面财务程序其他模块调用。

识别出票据上的一个或多个待识别信息区域中的每个区域中的字符，就可以根据这些字符所承载的信息来确定票据上记载的信息。例如，每个待识别信息区域至少包括该区域中所包含的字符的最小边界框所包围的区域。在一些实施例中，输入到预先训练的字符识别模型的是所述一个或多个待识别信息区域中的每个区域的影像以及其在整张票据中的位置，从而通过字符识别模型来识别出一个或多个待识别信息区域中的每个区域中的字符。

票据的影像是指以可视化方式呈现的票据，例如票据的影像、视频等。对票据上的一个或多个区域中的每个区域进行识别包括识别出区域的边界。例如，在区域的边界以平行于水平线的矩形来界定的情况下，可以通过确定该矩形的至少两个顶点来确定该区域。在区域的边界以相对于水平线有倾斜的矩形来界定的情况下，可以通过确定该矩形的至少三个顶点来确定该区域。可以使用基于R-CNN的对象检测方法、基于YOLO的对象检测方法、基于原始检测目标的文本检测(例如基于字符、基于单词、基于文本行等)、基于目标边界框的形状的文本检测(水平或接近水平的文本检测、多导向的文本检测等)。

财务票据自动识别系统主要对发票、收据、银行汇票等种类票据进行识别，虽种类众多，但一段时间内格式较为固定，为了保证系统的可靠性，针对每种类型票据的精定位和保存都是采用硬编码的方式固化在软件里，不提供用户自定义接口。同时识别内容保存到对应字段，可能会因为识别内容和保存字段不匹配等因素造成系统中断抛出异常。故系统在持久化过程中对内容进行验证，确保预保存内容与数据库字段格式一致。同时系统设计完成后采用自测试和第三方测试的方式，及时发现问题解决问题，以提高系统可靠性。

在完成读取图片的操作后，需要对图片影像进行灰度、降噪、二值化、倾斜矫正、分割精准化定位等影像处理操作，通过上述操作，将影像处理为较清晰、易于识别的图片，之后传输至财务票据识别模型进行内容识别，识别后的内容显示到用户界面，用户进行校正后保存至数据库，完成票据信息识别入库。若读取文件为其他非图片格式文件，则结束操作，若识别错误，则结束操作。

在一些实施例中，由于财务票据的影像质量较低，需要将噪声去除以提高影像的清晰度。在影像降噪过程中使用的滤波器有：中值滤波器、均值滤波器、高斯滤波器、维纳滤波器等不同方法。中值滤波器的原理是首先对影像像素进行掩膜处理，在对掩膜内的像素点重新进行大小排序后，把当前像素点替换为中间值大小的像素点。比中值滤波器性能更加优化的自适应中值滤波器，其可以根据噪声点的干扰程度，自适应的调整掩膜窗口的大小。同时还能再很大程度上保留影像的边缘信息。

在一些实施例中，拍照或扫描得到的财务票据影像，一般含有多余的色彩和亮度信息，增加了多余的数据，严重干扰影像的后续处理。因此需要对影像进行二值化处理。影像二值化的目的是将复原后的财务票据影像变换为只含有黑(0)和白(255)两种亮度的影像。二值化有两种方式：全局二值化法和局部二值化法。全局二值化是将一个阈值作用于整个图像中；局部二值化是各自阈值只作用于相应的局部小区域，这个小区域是人为将整个影像划分的小影像。全局二值化的阈值设定是统计整个影像的灰度，额可以通过灰度直方图来做参考。灰度直方图里有影像的灰度值与灰度值出现的概率，因此可以通过灰度直方图的各自参数来设定最合理的阈值。调用OpenCV库函数实现财务票据二值化操作。

在一些实施例中，需要对采集到的票据影像进行倾斜校正。影像倾斜校正需要通过以下两步完成：首先，计算出影像与水平方向的倾斜角度。再一定角度范围内，对财务票据影像进行Radon变换获得该图的Radon矩阵，统计该矩阵中每一个列向量中相邻元素的绝对偏差之和，变化量最大的一列所对应的角度极为影像的倾斜角。Radon变换时影像再一定角度上的映射变换的方法，一份影像的Radon变换，就是其中每一个像素Radon变换的集合。其次，根据倾斜角度，再通过反向旋转影像抵消掉倾斜的角度，完成对财务票据进行倾斜矫正的处理。

在一些情况下，需要对财务票据识别模型进行拓展。票据识别模型具有一定的拓展性，模型可以较准确的识别处影像中单行文本，将票据进行精定位划分生成单行文本进行逐条识别，因此可以将财务票据拓展到多种的票据模型。只需将财务票据中各内容区域的坐标进行确定，即识别对象精定位，从而拓展到所有财务票据的识别。

在一些情况下，需要对财务票据进行税费计算，即对收取的财务票据进行价税分离。通过OCR识别提取票据上记载的信息，确认发票类型。然后使用预选训练的税费计算模型进行相应的票据税费计算。

根据本发明较佳实施例，所述票据类型识别模型是基于神经网络的模型，所述信息区域识别模型是基于神经网络的模型，所述字符识别模型是基于神经网络的模型。

本公开利用基于神经网络的模型，先识别出待识别的票据的影像中一个或多个票据区域，接着识别出每个票据影像中的一个或多个区域，再识别出每个区域中的字符，从而来识别每个票据上记载的信息，如此，能够高效并准确地识别出各种票据上记载的信息。例如，对于分辨率不高的、歪斜的、字迹模糊的、有污损的、纸张褶皱的、填写(由人工和/或机器)位置不规范等的票据的影像，利用本公开的方法和系统均可以进行识别。

所述票据类型识别模型通过如下过程得到：对第一票据影像样本训练集中的每个票据的影像样本进行标注处理，以标注出每个票据影像样本的票据类型；以及通过经过所述标注处理的所述第一票据影像样本训练集，对第一神经网络进行训练，以得到所述票据类型识别模型。所述第一神经网络是基于目标检测算法(Detection)的神经网络建立的，在一些实施例中，所述第一神经网络是基于卷积神经网络(CNN)、RCNN、或Mask-RCNN等模型建立的。

信息区域识别模型可以通过如下过程得到：对第二票据影像样本训练集中的每个票据影像样本进行标注处理，以标注出每个票据影像样本中的一个或多个待识别信息区域中的每个区域，一个或多个待识别信息区域中的每个区域与票据影像样本中的全部或部分信息相关联；以及通过经过标注处理的第二票据影像样本训练集，对第一神经网络进行训练，以得到信息区域识别模型。对第二神经网络进行训练还可以包括：基于第二票据影像样本测试集，对经过训练的第二神经网络的输出准确率进行测试；若输出准确率小于预定的第一阈值，则增加第二票据影像样本训练集中的票据影像样本的数量，所增加的票据影像样本中的每个票据影像样本均经过标注处理；以及通过增加了票据影像样本的数量之后的第二票据影像样本训练集，重新对第二神经网络进行训练。然后基于第二票据影像样本测试集对重新训练过的第二神经网络的输出准确率再次进行测试，直到第二神经网络的输出准确率满足要求即不小于预定的第一阈值为止。如此，输出准确率满足要求的第二神经网络可以用作上述识别过程中的经过训练的信息区域识别模型。

所述票据类型识别模型和信息区域识别模型采用相同的训练和测试流程，并且可以合并在一次训练或者测试流程中完成。

字符识别模型可以通过如下过程得到：对第三票据影像样本训练集中的每个票据影像样本进行标注处理，以标注出每个票据影像样本中的一个或多个待识别信息区域中的每个区域以及每个区域中的字符，一个或多个待识别信息区域中的每个区域与票据影像样本中的全部或部分信息相关联；以及通过经过标注处理的第三票据影像样本训练集，对第三神经网络进行训练，以得到字符识别模型。在一些实施例中，基于第三票据影像样本训练集中的票据的影像以及票据上的一个或多个区域中的每个区域的位置，对第三神经网络进行训练以得到字符识别模型。在一些实施例中，基于第三票据影像样本训练集中的票据上的一个或多个区域中的每个区域的影像，对第二神经网络进行训练以得到字符识别模型。在这些实施例的一些情况下，例如，在区域的边界以相对于水平线有倾斜的矩形来界定的情况下，输入到第三神经网络以进行训练的区域的影像为经过倾斜校正后的影像。例如，可以通过确定用来界定区域的边界的相对于水平线有倾斜的矩形相对于水平线的所倾斜的角度，然后将该区域的影像旋转该角度，以使得用来界定区域的边界的矩形平行于水平线，从而进行倾斜校正。所述倾斜角度可以根据界定区域边界的矩形顶点坐标计算得到。在一些实施例中，第三神经网络是基于递归神经网络(RNN)建立的。

对第三神经网络进行训练还可以包括：基于第三票据影像样本测试集，对经过训练的第三神经网络的输出准确率进行测试；若输出准确率小于预定的阈值，则增加第三票据影像样本训练集中的票据影像样本的数量，所增加的票据影像样本中的每个票据影像样本均经过标注处理；以及通过增加了票据影像样本的数量之后的第三票据影像样本训练集，重新对第三神经网络进行训练。然后基于第三票据影像样本测试集对重新训练过的第三神经网络的输出准确率再次进行测试，直到第三神经网络的输出准确率满足要求即不小于预定的阈值为止。如此，输出准确率满足要求的第三神经网络可以用作上述识别过程中的经过训练的字符识别模型。

与每个区域相关联的信息的信息类型可以是一种或多种类型。例如，当票据为某种申请表时，在一种情况下，与票据中的一个区域相关联的信息的信息类型可以是申请人姓名，与票据中的另一个区域相关联的信息的信息类型可以是身份证号码；在另一种情况下，与票据中的某个区域相关联的信息的信息类型可以是申请人姓名和身份证号码。例如，当票据为某种发票时，在一种情况下，与票据中的一个区域相关联的信息的信息类型可以是发票代号，与票据中的另一个区域相关联的信息的信息类型可以是税前金额；在另一种情况下，与票据中的某个区域相关联的信息的信息类型可以是发票代号和税前金额。与一个或多个区域中的不同区域相关联的信息的信息类型可以相同也可以不同。例如，当票据为购物清单时，在一种情况下，与多个不同的区域先关联的信息的信息类型都可以是所购买的商品。

在这些实施例中，所述票据类型识别模型通过如下过程得到：对第一票据影像样本训练集中的每个票据的影像样本进行标注处理，以标注出每个票据影像样本中的票据类型；以及通过经过所述标注处理的所述第一票据影像样本训练集，对第一神经网络进行训练，以得到所述票据类型识别模型。信息区域识别模型可以通过如下过程得到：对第二票据影像样本训练集中的每个票据影像样本进行标注处理，以标注出每个票据影像样本中的一个或多个区域中的每个待识别信息区域以及与每个区域相关联的信息的信息类型，一个或多个待识别信息区域中的每个区域与票据影像样本中的全部或部分信息相关联；以及通过经过标注处理的第二票据影像样本训练集，对第二神经网络进行训练，以得到信息区域识别模型。还可以基于第二票据影像样本测试集对训练过的第二神经网络的输出准确率进行测试，如果准确率不满足要求，即小于预定的第一阈值，则增加第二票据影像样本训练集中票据影像样本的数量之后重新对第二神经网络进行训练，直到第二神经网络的输出准确率满足要求即不小于预定的第一阈值为止。如此，输出准确率满足要求的第二神经网络可以用作上述识别过程中的经过训练的信息区域识别模型。

该方法还包括基于所述票据上记载的信息以及票据检验模型进行票据真实性和有效性识别。票据检验模型可以根据所述票据上记载的信息进行联网查询验证，其同时还可以研究检查发票是否重复出现，完成验重处理。

该方法还包括基于所述票据上记载的信息以及预选训练的税费计算模型进行相应的票据税费计算。税费计算模型可以根据不同的票据类型进行税费计算，例如运输服务票据自动计算报账金额和进项税额，福利事项取得专票自动进行进项税转出等。

在所述票据类型识别步骤前还包括对所述票据进行校正处理。可以在获取用户上传的票据影像后，识别票据边缘，然后进行校正处理。

根据本公开的第二方面，提供了一种票据智能识别检验的计算机系统，包括：一个或多个处理器；以及一个或多个存储器，被配置为存储一系列计算机可执行的指令，其中，当所述一系列计算机可执行的指令被所述一个或多个处理器执行时，使得所述一个或多个处理器进行如图1所述的方法。

根据本公开的第三方面，提供了一种非临时性计算机可读存储介质，所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列计算机可执行的指令被一个或多个计算装置执行时，使得所述一个或多个计算装置进行如图1所述的方法。

实施本发明，具有如下的有益效果：

本发明提供一种财务票据OCR识别及影像处理方法、系统及可读存储介质。通过利用OCR图像识别技术在财务票据领域的应用，提供了新型的财务票据、表单等快速、精准识别的技术方法。使用图像识别与应用技术实现票据验真验重，自动生成报销票据，自动财务审核，辅助财务人员进行结算支付工作，提高财务人员的工作效率，帮助财务部门构建自动化的财务审核业务系统。通过各类财务票据的OCR进行识别，将识别的文字进行语句生成，输出财务票据内容。通过人工智能的方法，对财务票据有效准确的自动识别，极大地改善了人工录入数据效率低、易出错等问题，且更有利于对企业的财务票据进行真实的管理监管，保障了数据信息的真实性。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。