一种单据识别方法以及识别系统

技术领域

本发明实施例涉及图像识别领域，具体涉及一种单据识别方法以及识别系统。

背景技术

目前光学字符识别（Optical Character Recognition，简称OCR）算法已经逐渐达到成熟阶段，OCR识别技术也逐渐在各大场景中落地，比如身份证识别、银行卡识别、驾驶证识别等。而对单据识别的需求也逐渐在市场中显现出来，利用自动化识别单据的方法来取代人工输入的方式，也越来越成为未来的趋势。

目前已经有一些单据识别的解决方案，但这些方法在使用中暴露出了一些弊端，一部分现有方案使用的是传统的文本检测识别等方法，但是传统方法对于光照甚至图片质量泛化能力较差，一些曝光场景或者图片质量较差时，效果都没有深度学习方法好。一部分现有方案使用了深度学习方法识别字段，但后处理时使用的是位置区域查找。此举使多样的单据版式受到很大的影响。在新增的一些版式情况下，就会失效；另外基本上所有的现有方案都没有对单据本身的质量有要求，如果单据本身质量不行，识别出来的效果会大打折扣。

因此，需要一种单据识别方法以及识别系统，以提高单据识别效率以及录入效率，降低录入成本，此已成为业界亟待解决的技术问题。

发明内容

为了解决现有技术存在的问题，本发明的至少一个实施例提供了一种单据识别方法以及识别系统。

第一方面，本发明实施例提出一种单据识别方法，包括：

步骤一、对单据图片进行图像增强处理；

步骤二、采用孪生神经网络，对增强的单据图片进行质量评分，并将质量评分不低于预定阈值的单据图片认定为待识别单据图片；

步骤三、使用第一卷积神经网络CNN定位所述待识别单据图片的四个角点，沿着四个角点抠取待识别区域；

步骤四、采用特征金字塔网络FPN，对所述待识别区域进行文本框检测而获得多个文本框；

步骤五、使用卷积递归神经网络CRNN以及时序分类网络CTC对检测获得的所述多个文本框进行文本识别，得到每个文本框对应的字符段；以及

步骤六、使用文本卷积神经网络TextCNN对识别得到的字符段进行识别，得到各个字符段对应的字符识别结果。

在一些实施例中，所述步骤一中的所述图像增强处理包括对待识别单据图片进行亮度调节、明暗度调节、饱和度调节、裁剪、拉伸、旋转、仿射变换、透视变换中的至少一种处理。

在一些实施例中，步骤二中对由于抖动、机械运行、光照因素造成所述质量评分低于所述预定阈值的单据图片停止识别。

在一些实施例中，步骤二中的所述孪生神经网络包括主干网络、以及与所述主干网络串联且相互并联的第一卷积层及RELU层以及第二卷积层及RELU层，在训练时所述第一卷积层及RELU层以及第二卷积层及RELU层每次各被输入第一图片以及第二图片，所述主干网络输出的维度为一的质量得分，质量得分与第一图片以及第二图片的熵函数之间的差值为最终的传播损失，所述第一图片的质量分数大于所述预定阈值，所述第二图片的质量分数小于所述预定阈值。

在一些实施例中，步骤二中将单据图片与其质量评分高于所述预定阈值的底库图片成对送入训练好的孪生神经网络中，所述孪生神经网络对应输出质量得分，在质量得分不低于所述预定阈值时，所述单据图片被认定为待识别单据图片。

在一些实施例中，步骤四中使用渐进式规模扩展网络PSEnet对所述待识别区域进行文本框检测获得多个文本框，所述PSEnet通过Resnet50残差网络提取所述待识别区域的特征，并利用FPN融合深层及底层的特征，得到特征图p2、p3、p4以及p5，再通过对应函数得到最终预测的融合特征F；所述PSEnet基于分割的方式，生成不同核尺寸的分割实例S1、S2、…、Sn，对文本框不同核大小做预测，采用渐进式扩展算法扩展最小尺度核S1到最大尺度核Sn，从而获得最终的检测结果R。

在一些实施例中，步骤五中所述CRNN包括卷积层、LSTM层以及转录层，所述卷积层自动从所述多个文本框中提取图像卷积特征，然后所述LSTM层进一步提取图像卷积特征中的序列特征，所述转录层进行每帧预测并将得到的特征序列输入到时序分类网络CTC由其对所述特征序列进行预测而获得对应的字符段。

第二方面，本发明实施例还提供一种单据识别系统，包括：

单据增强处理模块，其用于对单据图片进行图像增强处理；

单据质量分析模块，其采用孪生神经网络，对增强的单据图片进行质量评分，并将其质量评分不低于预定阈值的单据图片认定为待识别单据图片；

单据定位模块，其使用第一卷积神经网络CNN定位待识别单据图片的四个角点，沿着四个角点抠取待识别区域；

文本检测模块，其采用特征金字塔网络FPN，对所述待识别区域进行文本框检测而获得多个文本框；

文本识别模块，其使用卷积递归神经网络CRNN以及时序分类网络CTC对检测获得的所述多个文本框进行文本识别，得到每个文本框对应的字符段；以及

NLP语义分类模块，其使用文本卷积神经网络TextCNN对识别得到的字符段进行识别，得到各个字符段对应的字符段识别结果。

在一些实施例中，所述单据图片处理模块的所述图像增强处理包括对待识别单据图片进行亮度调节、明暗度调节、饱和度调节、裁剪、拉伸、旋转、仿射变换、透视变换中的至少一种处理。

在一些实施例中，所述单据识别系统对由于抖动、机械运行、光照因素造成所述质量评分低于所述预定阈值的单据图片停止识别。

在一些实施例中，所述孪生神经网络包括主干网络、以及与所述主干网络串联且相互并联的第一卷积层及RELU层以及第二卷积层及RELU层，在训练时所述第一卷积层及RELU层以及第二卷积层及RELU层每次各被输入第一图片以及第二图片，所述主干网络输出的维度为一的质量得分，质量得分与第一图片以及第二图片的熵函数之间的差值为最终的传播损失，所述第一图片的质量分数大于所述预定阈值，所述第二图片的质量分数小于所述预定阈值。

在一些实施例中，所述训练好的孪生神经网络接收成对送入其中的单据图片以及质量评分高于所述预定阈值的底库图片，孪生神经网络对应输出质量得分，在质量得分不低于所述预定阈值时，所述单据图片被认定为待识别单据图片。

在一些实施例中，所述单据定位模块的第一CNN包括输入层、第一瓶颈层以及第二瓶颈层，单据图片经所述输入层输入并经所述第一瓶颈层以及第二瓶颈层处理后输出四个角点位置；所述第一瓶颈层或第二瓶颈层包括直连部分、以及与所述直连部分并联且相互串接的sigmoid函数以及全连接层，所述直连部分包括相互串接的第一3×3卷积层、1×1卷积层以及第二3×3卷积层。

在一些实施例中，所述文本检测模块为渐进式规模扩展网络PSEnet，所述PSEnet通过Resnet50残差网络提取所述待识别区域的特征，并利用FPN融合深层及底层的特征，得到特征图p2、p3、p4以及p5，再通过对应函数得到最终预测的融合特征F；PSEnet基于分割的方式，生成不同核尺寸的分割实例S1、S2、…、Sn，对文本框不同核大小做预测，采用渐进式扩展算法扩展最小尺度核S1到最大尺度核Sn，从而获得最终的检测结果R。

在一些实施例中，所述CRNN包括卷积层、LSTM层以及转录层，所述卷积层自动从所述多个文本框中提取图像卷积特征，然后所述LSTM层进一步提取图像卷积特征中的序列特征，所述转录层进行每帧预测并将得到的特征序列输入到时序分类网络CTC由其对所述特征序列进行预测而获得对应的字符段。

与现有技术中人工录入单据耗时耗力或传统的文本检测识别方法泛化能力较差相比，本发明实施例的单据识别方法首先对单据图片进行图像增强处理；然后采用孪生神经网络，对增强的单据图片进行质量评分，并将质量评分不低于预定阈值的单据图片认定为待识别单据图片；接着使用第一卷积神经网络CNN定位所述待识别单据图片的四个角点，沿着四个角点抠取待识别区域；之后采用特征金字塔网络FPN，对所述待识别区域进行文本框检测而获得多个文本框；接着使用卷积递归神经网络CRNN以及时序分类网络CTC对检测获得的所述多个文本框进行文本识别，得到每个文本框对应的字符段；最后使用文本卷积神经网络TextCNN对识别得到的字符段进行识别，得到各个字符段对应的字符识别结果。

本发明实施例解决了传统用位置选定对应字段无法满足所有场景的问题和字段打印区域错位的问题；本发明实施例利用深度学习自动识别单据信息并录入其相关信息，极大的提高了单据识别以及录入效率，降低了录入成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种单据识别系统的组成结构示意图；

图2为图1中的孪生神经网络在训练时的连接架构示意图；

图3为图1中的孪生神经网络在使用时的连接架构示意图；

图4为图1中的单据定位模块12的第一CNN 120的组成结构示意图；

图5为第一CNN 120中的第一瓶颈层120B或第二瓶颈层120C的组成结构示意图；

图6为文本检测模块13的FPN 130的组成结构示意图；

图7为文本识别模块14的CRNN 140的组成结构示意图；

图8为NLP语义分类模块15的TextCNN 150的组成结构示意图；图9为文本识别模块14训练准备的文本框识别样本示意图；

图10为文本识别模块14训练准备的文本格式示意图；

图11为本发明单据图片实施例的示意图；以及

图12为本发明实施例提供的一种单据识别方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

参见图1，其显示了本发明实施例中的一种单据识别系统1的组成结构。如图1所示，单据识别系统1包括单据增强处理模块10、单据质量分析模块11、单据定位模块12、文本检测模块13、文本识别模块14以及NLP（Natural Language Processing）语义分类模块15。以下对单据识别系统1的各构件进行详细说明。

单据增强处理模块10用于对单据图片进行图像增强处理，所述图像增强处理包括对待识别单据图片进行亮度调节、明暗度调节、饱和度调节、裁剪、拉伸、旋转、仿射变换、透视变换中的至少一种处理。单据增强处理模块10可增加单据识别系统1的泛化能力，可增加单据质量分析模块11、单据定位模块12、文本检测模块13、文本识别模块14的准确性，这些用于训练单据增强处理模块10的图片都是使用边训练边生成的方式，可以大大提升系统识别的准确性。

单据质量分析模块11可过滤掉由于抖动、机械运行、光照等因素造成的质量差的单据图片。单据质量分析模块11包括孪生神经网络110，并采用孪生神经网络110对增强的单据图片进行质量评分，将其质量评分不低于（即大于等于）预定阈值112的单据图片认定为待识别单据图片。如图2及图3所示，所述孪生神经网络110包括第一卷积层及RELU层110A、第二卷积层及RELU层110B以及主干网络(Backbone)110C，第一卷积层及RELU层110A、第二卷积层110B相互并联之后与所述主干网络110C串联。

如图2所示，孪生神经网络110在训练时，将第一图片PT1以及第二图片PT2分别输入所述第一卷积层及RELU层110A以及第二卷积层及RELU层110B，所述主干网络110C输出的维度为一的质量得分112，传播损失计算模块114用于计算质量得分112与第一图片PT1以及第二图片PT2的熵函数S（PT1，PT2）对应的熵值之间的差值，并将所述差值确定为最终的传播损失L，即L=S(A,B)-质量得分。所述第一图片PT1的质量分数大于预定阈值112，第二图片PT2的质量分数小于预定阈值112。第一图片PT1的质量相对较好，第二图片PT2的质量相对较差。

如图3所示，训练好的孪生神经网络110在正常使用时，将单据图片PT与质量评分高于所述预定阈值112的底库图片PT3成对送入训练好的孪生神经网络110中，即将底库图片PT3送入所述第一卷积层及RELU层110A，将单据图片PT送入第二卷积层及RELU层110B，底库图片PT3为5-10张左右质量相对较好的图片，孪生神经网络110对应输出质量得分114，在质量得分114大于等于所述预定阈值112时，判断模块116将所述单据图片PT认定为待识别单据图片。

所述单据识别系统1对由于抖动、机械运行、光照因素造成所述质量评分低于所述预定阈值112的单据图片停止识别，即单据定位模块12、文本检测模块13、文本识别模块14以及NLP语义分类模块15均对此等低质量单据图片不再进行处理。

单据定位模块12使用第一卷积神经网络CNN 120定位待识别单据图片的四个角点，沿着四个角点抠取待识别区域，使用仿射变换，对齐单据。单据定位模块12用于将整个识别的区域限定在单据上，避免扫描到其它无关区域而为后处理带来困难。第一CNN 120设计成：输入图片为1080p的图像，选择resnet50作为主干网络。

如图4所示，第一CNN 120包括输入层（Input）120A、第一瓶颈层（bottleneck_s）120B、第二瓶颈层（bottleneck_s）120C，单据图片PT经输入层120A输入并经第一瓶颈层120B、第二瓶颈层120C处理后输出四个角点位置。第一瓶颈层120B或第二瓶颈层120C为了更有效提取特征并且可更加快速地进行推理，在“直连”或“捷径”(shortcut)部分增加了sigmoid函数，获取到最大响应的特征图，删掉那些权重过小的层，有效提升推理速度。

如图5所示，图5显示了第一瓶颈层120B或第二瓶颈层120C的具体结构，其直连部分包括相互串接的第一3×3卷积层（conv33）1200、1×1卷积层（conv11）1202以及第二3×3卷积层（conv33）1204，sigmoid函数1206与全连接层1208串接后与直连部分并联。

参见图1及图6，文本检测模块13采用特征金字塔网络FPN 130对所述待识别区域进行文本框检测获得多个文本框；文本检测模块130为渐进式规模扩展网络PSEnet，所述PSEnet通过Resnet50残差网络提取所述待识别区域的特征，并利用FPN融合深层及底层的特征，得到特征图p2、p3、p4以及p5，再通过对应函数得到最终预测的融合特征F；PSEnet基于分割的方式，生成不同核尺寸的分割实例S1、S2、…、Sn，对文本框不同核大小做预测，采用渐进式扩展算法扩展最小尺度核S1到最大尺度核Sn，从而获得最终的检测结果R。

文本识别模块14使用卷积递归神经网络CRNN 140以及时序分类网络CTC 142对检测获得的所述多个文本框进行文本识别，得到每个文本框对应的字符段。如图7所示，所述CRNN 140包括卷积层140A、LSTM层（或循环层）140B以及转录层140C，所述卷积层140A自动从所述多个文本框中提取图像卷积特征，然后所述LSTM层140B进一步提取图像卷积特征中的序列特征，转录层140C进行每帧预测并将得到的特征序列（或预测序列）输入到时序分类网络CTC 142由其对所述特征序列进行预测而获得对应的字符段。

NLP语义分类模块15使用文本卷积神经网络TextCNN 150对识别得到的字符段进行识别，得到各个字符段对应的字符段识别结果。TextCNN 150是将不同长度的短文或字符段作为矩阵输入，使用多个不同尺寸的卷积核（filter）去提取句子中的关键信息，并用于最终的分类。

如图8所示，TextCNN 150包括文本矩阵150A、卷积层150B、随时间的最大池化层（Max-over-time pooling）150C以及全连接层150D。文本矩阵150A为n×k的矩阵，其为利用静态词向量通道以及非静态词向量通道对句子的表示（n×k representation ofsentence with static and non-static channels）。对于文本中的词语可先构建大的词库集，用word2vec进行训练，获取得到每个词语的词向量，所有词向量拼接能够得到对应的文本矩阵。

在本实施例中，将每一行数据使用分词技术将其分词，例如将“河南易奇生物科技有限公司”分词为“河南 易奇 生物 科技 有限 公司”；再将分词后的数据通过词向量技术（例如 word2ve工具）映射成对应的词向量；通用分词技术例如JieBa分词。

卷积层150B具有多个卷积核宽度以及特征图（convolutional layer withmultiple filter widths and feature map），卷积层150B使用不同的卷积核，卷积核的宽度和词向量的长度一致，每个卷积核获得一列特征图。在网络结构中，卷积层中卷积核只做一维滑动，宽度与词向量长度相等，高度一般取2-8的值。

每个特征图通过随时间的最大池化层150C都会得到一个特征值，这个操作也使得TextCNN能处理不同长度的文本。

全连接层150D具有dropout以及softmax输出（fully connected layer withdropout and softmax output），全连接层150D输入为池化操作后形成的一维向量，经过softmax函数输出，再加上Dropout层防止过拟合。Softmax将全连接层150D的输出使用softmax函数，获取文本分到不同类别的概率。

对本发明实施例中的单据识别系统1可按照如下步骤进行训练：

第一，为文本检测模块13准备单据的数据样本，并标注数据，处理文本框为如下格式：x1,y1,x2,y2,x3,y3,x4,y4,text；x1,y1,x2,y2,x3,y3,x4,y4,text。

将准备好的图片和文本框输入到FPN 130中进行训练。最终得到训练好的文本检测模块13。

第二，为文本识别模块14准备如图9所示的文本框识别样本，对应的文本格式如图10所示，将样本输入到CRNN+CTC网络中进行训练，得到训练好的文本识别模块14。因为densenet网络层数较深，识别效果更好，所以CRNN的主干网络（backbone）选择densenet。

第三，为NLP语义分类模块15训练准备如图11所示的数据， 具体可准备如下所示的字符段：

河南××××科技有限公司，名称

其他有限责任公司，类型

郑州高新技术产业开发区西四环××号××号楼×层××号，地址 ××，姓名陆佰万圆整，金额

2010年09月02日，日期

2010年09月02日至2020年09月01日，期限

...

将上述数据通过JieBa分词技术进行分词操作，再通过 word2vec词向量技术将数据转化为词向量，从而得到文本矩阵并输 入到TextCNN 150中，得到softmax输出结果，与one-hot后的字 符段求其损失，利用损失反向传播利用梯度下降的方式进行训练。 最终得到训练好的TextCNN 150。

在使用本发明实施例中的单据识别系统1对例如图10所示的标单据图片进行识别时，首先将单据图片输入到单据增强处理模块10由其进行图像增强处理，然后增强后的单据图片由单据质量分析模块11认定为待识别单据图片，待识别单据图片经单据定位模块12沿着四个角点抠取待识别区域，文本检测模块13对所述待识别区域进行文本框检测获得多个文本框，文本框然后被依次输入到文本识别模块14中，得到每个文本框对应的字符段。最后将每个字符段输入到NLP语义分类模块15中，得到公司名称、地址、联系方式等对应的字段识别结果。

图12为本发明实施例提供的一种单据识别方法的流程示意图。参见图12，结合参见图1至图11，单据识别方法20首先进行步骤S200，对单据图片进行图像增强处理。在步骤S200中，所述图像增强处理包括对待识别单据图片进行亮度调节、明暗度调节、饱和度调节、裁剪、拉伸、旋转、仿射变换、透视变换中的至少一种处理。

单据识别方法20接着继续步骤S210，采用孪生神经网络110，对增强的单据图片进行质量评分。步骤S210中的所述孪生神经网络110如图2或3所示的包括主干网络110C、以及与所述主干网络110C串联且相互并联的第一卷积层及RELU层110A以及第二卷积层及RELU层110B，在训练时每次向所述第一卷积层及RELU层110A以及第二卷积层及RELU层110B各输入第一图片PT1以及第二图片PT2，所述主干网络110C输出的维度为一的质量得分112，质量得分112与第一图片PT1以及第二图片PT2的熵函数S（PT1，PT2）之间的差值为最终的传播损失，所述第一图片的质量分数大于所述预定阈值，所述第二图片的质量分数小于所述预定阈值。

步骤S210中将其质量评分高于所述预定阈值的底库图片PT3与单据图片PT成对送入训练好的孪生神经网络110中，所述孪生神经网络110对应输出质量得分114。

单据识别方法20接着继续步骤S220，判断所述质量评分是否低于预定阈值112，若是则结束识别（步骤S230），若否则继续步骤S240。步骤S230中对由于抖动、机械运行、光照因素造成所述质量评分低于所述预定阈值的单据图片停止识别。

在步骤S240中，将质量评分不低于预定阈值的单据图片认定为待识别单据图片。

单据识别方法20接着继续步骤S250，使用第一卷积神经网络CNN 120定位所述待识别单据图片的四个角点，沿着四个角点抠取待识别区域。如图4及图5所示，步骤S250中的第一CNN包括输入层120A、第一瓶颈层120B以及第二瓶颈层120C，单据图片经所述输入层120A输入并经所述第一瓶颈层120B、第二瓶颈层120C处理后输出四个角点位置；所述第一瓶颈层120B以及第二瓶颈层120C各自包括直连部分以及与所述直连部分并联且相互串接的sigmoid函数1206以及全连接层1208，所述直连部分包括相互串接的第一3×3卷积层1200、1×1卷积层1202以及第二3×3卷积层1204。

单据识别方法20接着继续步骤S260，采用特征金字塔网络FPN，对所述待识别区域进行文本框检测而获得多个文本框。如图6所示的，步骤S260中使用渐进式规模扩展网络PSEnet对所述待识别区域进行文本框检测获得多个文本框，所述PSEnet通过Resnet50残差网络提取所述待识别区域的特征，并利用FPN融合深层及底层的特征，得到特征图p2、p3、p4以及p5，再通过对应函数得到最终预测的融合特征F；PSEnet基于分割的方式，生成不同核尺寸的分割实例S1、S2、…、Sn，对文本框不同核大小做预测，采用渐进式扩展算法扩展最小尺度核S1到最大尺度核Sn，从而获得最终的检测结果R。

单据识别方法20接着继续步骤S270，使用卷积递归神经网络CRNN 140以及时序分类网络CTC对检测获得的所述多个文本框进行文本识别，得到每个文本框对应的字符段。如图7所示，步骤S270中的所述CRNN 140包括卷积层140A、LSTM层140B以及转录层140C，所述卷积层140A自动从所述多个文本框中提取图像卷积特征，然后所述LSTM层140B进一步提取图像卷积特征中的序列特征，转录层140进行每帧预测并将得到的特征序列（或预测序列）输入到时序分类网络CTC 142由其对所述特征序列进行预测而获得对应的字符段。

单据识别方法20接着继续步骤S280，使用文本卷积神经网络TextCNN对识别得到的字符段进行识别，得到各个字符段对应的字符识别结果。步骤S280中所使用的TextCNN是NLP文本分类的通用方法, TextCNN首先将每一行数据使用分词方法（例如JieBa分词）将其分词，例如将“河南易奇生物科技有限公司”分词为“河南 易奇 生物 科技 有限 公司”；再将分词后的数据通过词向量技术（例如word2ve工具）映射成对应的词向量；卷积层中卷积核只做一维滑动，宽度与词向量长度相等，高度一般取2-8的值，最终全连接和softmax做最后的分类。

本发明实施例的单据识别方法首先对单据图片进行图像增强处理；然后采用孪生神经网络，对增强的单据图片进行质量评分，并将质量评分不低于预定阈值的单据图片认定为待识别单据图片；接着使用第一卷积神经网络CNN定位所述待识别单据图片的四个角点，沿着四个角点抠取待识别区域；之后采用特征金字塔网络FPN，对所述待识别区域进行文本框检测而获得多个文本框；接着使用卷积递归神经网络CRNN以及时序分类网络CTC对检测获得的所述多个文本框进行文本识别，得到每个文本框对应的字符段；最后使用文本卷积神经网络TextCNN对识别得到的字符段进行识别，得到各个字符段对应的字符识别结果。

本发明实施例利用孪生网络，大大提升单据质量的判断准确性。本发明实施例使用NLP语义分类来解决对应字段的识别选取，解决了传统用位置选定对应字段无法满足所有场景的问题和字段打印区域错位的问题。本发明实施例利用深度学习自动识别单据，可提高单据识别及录入效率，降低录入成本。

对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，方法实施例的步骤之间除非存在明确的先后顺序，否则执行顺序可任意调整。所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者 网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。