判题方法、装置、设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种判题方法、装置、设备及存储介质。

背景技术

拍照判题是人工智能技术在教育领域的一项重要应用。通常情况下拍照判题的流程可包括：用手机或平板电脑等终端设备对待批改图像拍照，然后将待批改图像上传至拍照判题的应用程序。应用程序对待批改图像进行文本检测和内容识别等多个环节的处理，然后将判题结果输出。

但是，现有的拍照判题的方法只能处理一些常规计算题型，无法处理常见的带有语义信息的题型，比如填空题、选择题等。现有方法无法解决全部题型的批改问题，只能满足用户的部分需求，极大地影响用户的使用体验。

发明内容

本申请实施例提供一种判题方法、装置、电子设备及存储介质，以解决相关技术存在的问题，技术方案如下：

第一方面，本申请实施例提供了一种判题方法，包括：

利用检测模型对待批改图像进行检测，得到至少一个第一题干区域和至少一个第一作答区域；

在题库中搜索与待批改图像对应的判题对照图像，判题对照图像中包括至少一个第二题干区域和至少一个第二作答区域；

根据第一题干区域、第一作答区域、第二题干区域和第二作答区域，利用交并比确定与第一作答区域对应的第二作答区域；

将第一作答区域的作答内容与对应的第二作答区域的作答内容进行比对，得到针对待批改图像的判题结果。

在一种实施方式中，上述方法还包括：

利用检测模型对待批改图像进行检测，得到至少一个第一题目区域；利用检测模型对判题对照图像进行检测，得到至少一个第二题目区域；将第一题目区域作为第一图像区域，将第二题目区域作为第二图像区域，将第一图像区域与各个第二图像区域进行字符串交并比计算，根据计算结果确定与第一题目区域对应的第二题目区域；

将第一作答区域的作答内容与对应的第二作答区域的作答内容进行比对，得到针对待批改图像的判题结果，包括：将第一题目区域中的第一作答区域的作答内容与对应的第二作答区域的作答内容进行比对，得到针对第一题目区域对应的题目的判题结果。

在一种实施方式中，根据第一题干区域、第一作答区域、第二题干区域和第二作答区域，利用交并比确定与第一作答区域对应的第二作答区域，包括：

将第一题目区域中的第一作答区域作为第三图像区域，将第一题目区域中的第一题干区域作为第四图像区域，将第三图像区域与各个第四图像区域进行图像交并比计算，根据计算结果将第一作答区域和对应的第一题干区域建立第一对应关系；

将对应的第二题目区域中的第二作答区域作为第三图像区域，将对应的第二题目区域中的第二题干区域作为第四图像区域，将第三图像区域与各个第四图像区域进行图像交并比计算，根据计算结果将第二作答区域和对应的第二题干区域建立第二对应关系；

将第一题目区域中的第一题干区域作为第一图像区域，将对应的第二题目区域中的第二题干区域作为第二图像区域，将第一图像区域与各个第二图像区域进行字符串交并比计算，根据计算结果将第一题干区域和对应的第二题干区域建立第三对应关系；

根据第一对应关系、第二对应关系和第三对应关系，确定与第一作答区域对应的第二作答区域。

在一种实施方式中，利用以下方式中的至少之一将第三图像区域与各个第四图像区域进行图像交并比计算：

计算第三图像区域与第四图像区域的第一交集的面积与第三图像区域的面积的比值；

计算第一交集在竖直方向的投影的第一长度与第三图像区域在竖直方向的投影的第二长度的比值；

分别对第三图像区域和第四图像区域按预定规则截取，得到第三截取区域和第四截取区域；计算第三截取区域与第四截取区域的第二交集的面积与第三截取区域的面积的比值；

计算第二交集在竖直方向的投影的第三长度与第三截取区域在竖直方向的投影的第四长度的比值；

计算与第三图像区域距离最近的第四图像区域。

在一种实施方式中，将第一图像区域与各个第二图像区域进行字符串交并比计算，包括：

分别计算第一图像区域中的字符串和各个第二图像区域中的字符串的第三交集；

计算第三交集的长度与第一图像区域中的字符串的长度的比值。

在一种实施方式中，上述方法还包括：

利用检测模型对判题对照图像进行检测，得到至少一个第二题干区域和至少一个第二作答区域；

根据判题对照图像、第二题干区域、第二作答区域和第二作答区域的作答内容构建题库。

在一种实施方式中，将第一作答区域的作答内容与对应的第二作答区域的作答内容进行比对，得到针对待批改图像的判题结果，包括：

利用识别模型对第一作答区域进行识别，得到第一作答区域的作答内容；

从题库中获取对应的第二作答区域的作答内容；

在第一题目区域中的第一作答区域的作答内容与对应的第二作答区域的作答内容一致的情况下，判定第一题目区域对应的题目的判题结果为作答正确。

第二方面，本申请实施例提供了一种判题装置，包括：

检测单元，用于利用检测模型对待批改图像进行检测，得到至少一个第一题干区域和至少一个第一作答区域；

搜索单元，用于在题库中搜索与待批改图像对应的判题对照图像，判题对照图像中包括至少一个第二题干区域和至少一个第二作答区域；

第一确定单元，用于根据第一题干区域、第一作答区域、第二题干区域和第二作答区域，利用交并比确定与第一作答区域对应的第二作答区域；

判题单元，用于将第一作答区域的作答内容与对应的第二作答区域的作答内容进行比对，得到针对待批改图像的判题结果。

在一种实施方式中，检测单元还用于：利用检测模型对待批改图像进行检测，得到至少一个第一题目区域；利用检测模型对判题对照图像进行检测，得到至少一个第二题目区域；

上述装置还包括第二确定单元，用于将第一题目区域作为第一图像区域，将第二题目区域作为第二图像区域，将第一图像区域与各个第二图像区域进行字符串交并比计算，根据计算结果确定与第一题目区域对应的第二题目区域；

判题单元用于：将第一题目区域中的第一作答区域的作答内容与对应的第二作答区域的作答内容进行比对，得到针对第一题目区域对应的题目的判题结果。

在一种实施方式中，第一确定单元用于：

将第一题目区域中的第一作答区域作为第三图像区域，将第一题目区域中的第一题干区域作为第四图像区域，将第三图像区域与各个第四图像区域进行图像交并比计算，根据计算结果将第一作答区域和对应的第一题干区域建立第一对应关系；

将对应的第二题目区域中的第二作答区域作为第三图像区域，将对应的第二题目区域中的第二题干区域作为第四图像区域，将第三图像区域与各个第四图像区域进行图像交并比计算，根据计算结果将第二作答区域和对应的第二题干区域建立第二对应关系；

将第一题目区域中的第一题干区域作为第一图像区域，将对应的第二题目区域中的第二题干区域作为第二图像区域，将第一图像区域与各个第二图像区域进行字符串交并比计算，根据计算结果将第一题干区域和对应的第二题干区域建立第三对应关系；

根据第一对应关系、第二对应关系和第三对应关系，确定与第一作答区域对应的第二作答区域。

在一种实施方式中，第一确定单元用于利用以下方式中的至少之一将第三图像区域与各个第四图像区域进行图像交并比计算：

计算第三图像区域与第四图像区域的第一交集的面积与第三图像区域的面积的比值；

计算第一交集在竖直方向的投影的第一长度与第三图像区域在竖直方向的投影的第二长度的比值；

分别对所述第三图像区域和所述第四图像区域按预定规则截取，得到第三截取区域和第四截取区域；计算所述第三截取区域与所述第四截取区域的第二交集的面积与所述第三截取区域的面积的比值；

计算所述第二交集在竖直方向的投影的第三长度与所述第三截取区域在竖直方向的投影的第四长度的比值

计算与第三图像区域距离最近的第四图像区域。

在一种实施方式中，第一确定单元和第二确定单元分别用于利用以下方式将第一图像区域与各个第二图像区域进行字符串交并比计算：

分别计算第一图像区域中的字符串和各个第二图像区域中的字符串的第三交集；

计算第三交集的长度与第一图像区域中的字符串的长度的比值。

在一种实施方式中，上述装置还包括题库构建单元，用于：

利用检测模型对判题对照图像进行检测，得到至少一个第二题干区域和至少一个第二作答区域；

根据判题对照图像、第二题干区域、第二作答区域和第二作答区域的作答内容构建题库。

在一种实施方式中，判题单元用于：

利用识别模型对第一作答区域进行识别，得到第一作答区域的作答内容；

从题库中获取对应的第二作答区域的作答内容；

在第一题目区域中的第一作答区域的作答内容与对应的第二作答区域的作答内容一致的情况下，判定第一题目区域对应的题目的判题结果为作答正确。

第三方面，本申请实施例提供了一种电子设备，该设备包括：存储器和处理器。其中，该存储器和该处理器通过内部连接通路互相通信，该存储器用于存储指令，该处理器用于执行该存储器存储的指令，并且当该处理器执行该存储器存储的指令时，使得该处理器执行上述各方面任一种实施方式中的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储计算机程序，当计算机程序在计算机上运行时，上述各方面任一种实施方式中的方法被执行。

上述技术方案中的优点或有益效果至少包括：可针对带有语义信息的题型进行处理，比如填空题、选择题等，有效提升判题结果的准确率，提升用户体验。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。

图1为根据本申请实施例的判题方法的流程图；

图2为相关技术中版面分析检测结果的示意图；

图3为根据本申请另一实施例的判题方法的待批改图像的示例图；

图4为根据本申请另一实施例的判题方法的待批改图像的检测结果示意图；

图5为根据本申请另一实施例的判题方法的题库示例图；

图6为根据本申请另一实施例的判题方法的判题对照图像的示例图；

图7为根据本申请另一实施例的判题方法的待批改图像的示例图；

图8为根据本申请另一实施例的判题方法的流程图；

图9为根据本申请另一实施例的判题方法的确定作答区域对应关系的流程图；

图10为根据本申请另一实施例的判题方法的构建题库的流程图；

图11为根据本申请另一实施例的判题方法的流程图；

图12为根据本申请另一实施例的判题方法的流程图；

图13为根据另一本申请实施例的判题装置的结构示意图；

图14为根据另一本申请实施例的判题装置的结构示意图；

图15为根据另一本申请实施例的判题装置的结构示意图；

图16为用来实现本申请实施例的电子设备的框图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

图1为根据本申请实施例的判题方法的流程图。如图1所示，该判题方法可以包括：

步骤S110，利用检测模型对待批改图像进行检测，得到至少一个第一题干区域和至少一个第一作答区域；

步骤S120，在题库中搜索与待批改图像对应的判题对照图像，判题对照图像中包括至少一个第二题干区域和至少一个第二作答区域；

步骤S130，根据第一题干区域、第一作答区域、第二题干区域和第二作答区域，利用交并比确定与第一作答区域对应的第二作答区域；

步骤S140，将第一作答区域的作答内容与对应的第二作答区域的作答内容进行比对，得到针对待批改图像的判题结果。

在相关技术的拍照判题方法中，将待批改图像上传至拍照判题的应用程序，应用程序分别利用版面分析模型和文本行检测模型对待批改图像进行处理，得到版面分析检测结果和文本行检测结果。根据版面分析检测结果和文本行检测结果进行版面分析，将版面分析检测结果及其对应的文本行检测结果中的文本框进行合并。然后根据版面分析检测结果中的每种题型的特点，分析得到每个题目是由那些文本框组成的。再根据每种题型的文本框组成特点以及组成题目的文本框的坐标在待批改图像上进行裁剪，在后续步骤中将上述裁剪得到的图像输入识别模型，识别出每个题目的文本内容，然后根据题目内容进行判题，最后将判断结果进行输出。

其中，版面分析模型是一种文本检测模型，也称为题型判断模型。将待批改图像输入版面分析模型，得到版面分析检测结果。版面分析检测结果可包括待批改图像中各个题的题型和文本区域坐标。其中，题型它可包括横式、竖式和脱式。图2为相关技术中版面分析检测结果的示意图。图2中题号为1）的题目对应的题型为横式，题号为2）的题目对应题型为竖式，题号为3）的题目对应题型为脱式。

文本行检测模型用于检测待批改图像中包括的文本行。将待批改图像输入文本行检测模型，得到文本行检测结果。文本行检测结果可包括待批改图像中包括的各个文本行的文本区域坐标。由于试卷或者作业中的题目和答案的文本在多数情况下是横向文本行，文本行检测模型可以只检测横向文本行。

上述相关技术的方案可处理一些逻辑可批改的常规计算题型，如横式、竖式和脱式。对于一些常规计算题型，比如小学数学计算题，通常是对数字进行加减乘除等运算。这类计算题型的文本内容中一般不带有语义信息，因此识别出每个题目的文本内容之后，在拍照判题的应用程序中根据题目内容通过数学运算即可进行判题。但是上述方案无法处理常见的带有语义信息的题型，比如选择题、填空题、判断题等。例如以下填空题为：“最大的三位数据除以最大的一位数，商是（）”。该题目的文本内容中带有语义信息，即使识别出题目的文本内容，也无法像计算题型那样通过数学运算的方式得到判题结果。另外，对于上述带有语义信息的题型而言，自然语言理解等技术目前尚不成熟，利用自然语言理解等技术的综合应用尚不能实现模拟人解决此类问题的过程进行解题。相关技术的拍照判题方法无法解决全部题型的批改问题，只能满足用户的部分需求，极大地影响用户的使用体验。

本申请提出一种基于已有题库批改选择题、填空题和判断题等题型的判题方法，以此扩展拍照判题的应用程序能处理的题目的样式，从而实现更加全面的拍照判题操作，同时对于选择题、填空题和判断题而言可具有更高的批改精度。

图3为根据本申请另一实施例的判题方法的待批改图像的示例图。在一个示例中，待批改图像可以是学生作业、试卷、练习本、草稿纸上的题目或作答记录等。在步骤S110中，利用检测模型对待批改图像进行检测。图4为根据本申请另一实施例的判题方法的待批改图像的检测结果示意图。如图4所示，可利用检测模型对待批改图像中的文本框进行检测。文本框可包括打印体行和手写体行。其中，打印体行属于题干区域，手写体行属于作答区域。本申请实施例中，将待批改图像中的题干区域称为第一题干区域，将待批改图像中的作答区域称为第一作答区域。利用检测模型对待批改图像识别得到的检测结果包括至少一个第一题干区域和至少一个第一作答区域。图4中的实线表示第一题干区域，图4中的虚线表示第一作答区域。

在一个示例中，可利用CenterNet模型作为检测模型对待批改图像进行检测，得到待批改图像中包括的至少一个第一题干区域和至少一个第一作答区域的文本区域坐标。CenterNet也称为Objects as Points（目标即点），其采用一种通用目标检测方法。在该目标检测方法中，首先设定要预测的物体的总体的类别N，最后输出通道数量为N+2+2。其中包括预测物体的中心点，为每种类别输出一张得分图，因此会有N张得分图。对应于每个像素点的预测值在0到1之间，表示这个点是某类物体中心的概率。在预测的过程中，并不能保证预测到的中心点就是真实的中心点，实际情况中预测值往往会发生偏移，因此还会用两个通道来预测中心点的偏移量。偏移量中一个是x轴偏移量，另一个是y轴偏移量。除此之外，剩下的两个通道用来预测中心点距离矩形框左边框和上边框的距离。在利用上述模型进行预测之后，再通过设定阈值在得分图找到物体的可能中心点，根据中心点对应的x轴偏移量和y轴偏移量对中心点进行校正，然后通过中心点并结合预测到的矩形框的宽高得到最后的目标检测结果。

在一个示例中，利用CenterNet模型对待批改图像进行检测，可以适当增加检测分支，以达到理想的检测效果。例如，可利用一个分支检测打印体行和手写体行，利用另一个分支检测将整个题目框在其中的题目区域。通过以上分支可获取准确全面的图像信息，将以上分支的检测结果进行融合，使得检测结果更加准确。

图5为根据本申请另一实施例的判题方法的题库示例图。本申请实施例中，题库可以是预先构建的。例如，题库中可包括学生练习册、试卷、参考书中的题目。如图5所示，可对练习册、试卷、参考书中的每一页进行拍照，拍照得到判题对照图像。利用检测模型对判题对照图像中的打印体行和手写体行进行识别。其中，打印体行属于题干区域，手写体行属于作答区域。将判题对照图像中的题干区域称为第二题干区域，判题对照图像中的作答区域称为第二作答区域。判题对照图像中包括至少一个第二题干区域和至少一个第二作答区域。可利用CenterNet模型作为检测模型对判题对照图像进行检测，得到判题对照图像中包括的至少一个第二题干区域和至少一个第二作答区域的文本区域坐标。

图6为根据本申请另一实施例的判题方法的判题对照图像的示例图。图6中的实线表示第二题干区域，图6中的虚线表示第二作答区域。在步骤S120中，在题库中搜索与待批改图像对应的判题对照图像。可根据整页字符串内容或者整页图像在题库中搜索与待批改图像对应的判题对照图像。例如，拍照判题的应用程序对图3所示的待批改图像进行判题，在题库中搜索与图3对应的判题对照图像，搜索结果可得到图6所示的判题对照图像。

在步骤S130中，可首先利用交并比确定与第一作答区域对应的第一题干区域，以及利用交并比确定与第二作答区域对应的第二题干区域。然后再利用交并比确定第一题干区域与第二题干区域的对应关系。最后根据上述几种对应关系确定与第一作答区域对应的第二作答区域。

图7为根据本申请另一实施例的判题方法的待批改图像的示例图。图7所示的待批改图像与图6所示的判题对照图像两者的拍摄角度差距较大。如果待批改图像和判题对照图像的大小尺寸和拍照角度完全一致，这种情况下可以通过直接计算第一作答区域和对应的第二作答区域的交并比，来确定第一作答区域与第二作答区域的对应关系。但是在图7的示例中，由于待批改图像和判题对照图像两者的大小尺寸不同或者拍照角度不同等原因，尽管两者的题干区域和作答区域是对应的，直接计算第一作答区域和对应的第二作答区域的交并比，可能无法准确判断对应关系。

在图7的示例中，分别对于待批改图像和判题对照图像本身而言，因为图像的坐标系基准是一致的，对于待批改图像上的文本框相互求交并比，或者，对于判题对照图像上的文本框相互求交并比，这种计算方式的结果是比较准确的。本申请实施例中，首先对于待批改图像上的文本框相互求交并比，确定与第一作答区域对应的第一题干区域；以及对于判题对照图像上的文本框相互求交并比，确定与第二作答区域对应的第二题干区域。然后再利用第一题干区域与第二题干区域的对应关系，最后确定与第一作答区域对应的第二作答区域。上述方法避免了因待批改图像和判题对照图像的大小尺寸或拍照角度不同而产生的判断误差，提高了待批改图像和判题对照图像对比结果的准确率，进而有效提升了判题结果的准确率。

在步骤S140中，对第一作答区域进行识别得到第一作答区域的作答内容；并获取预先在题库中预存的第二作答区域的作答内容。将第一作答区域的作答内容与对应的第二作答区域的作答内容进行比对，得到针对待批改图像的判题结果。在第一作答区域的作答内容与对应的第二作答区域的作答内容一致的情况下，判定该作答区域的判题结果为作答正确。在第一作答区域的作答内容与对应的第二作答区域的作答内容不一致的情况下，判定该作答区域的判题结果为作答错误。

综上，本申请实施例可针对带有语义信息的题型进行处理，比如填空题、选择题等，有效提升判题结果的准确率，提升用户体验。

图8为根据本申请另一实施例的判题方法的流程图。如图8所示，在一种实施方式中，上述方法还包括：

步骤S810，利用检测模型对待批改图像进行检测，得到至少一个第一题目区域；

步骤S820，利用检测模型对判题对照图像进行检测，得到至少一个第二题目区域；

步骤S830，将第一题目区域作为第一图像区域，将第二题目区域作为第二图像区域，将第一图像区域与各个第二图像区域进行字符串交并比计算，根据计算结果确定与第一题目区域对应的第二题目区域。

图1中的步骤S140，将第一作答区域的作答内容与对应的第二作答区域的作答内容进行比对，得到针对待批改图像的判题结果，具体可包括步骤S840：将第一题目区域中的第一作答区域的作答内容与对应的第二作答区域的作答内容进行比对，得到针对第一题目区域对应的题目的判题结果。

在一个示例中，在步骤S810和步骤S820中，利用CenterNet模型分别对待批改图像和判题对照图像进行检测，利用CenterNet模型的一个分支输出将整个题目框在其中的题目区域。待批改图像中的题目区域称为第一题目区域；判题对照图像中的题目区域称为第二题目区域。在步骤S830中，将第一题目区域与各个第二题目区域进行字符串交并比计算，根据计算结果确定与第一题目区域对应的第二题目区域。例如，可将上述计算结果中交并比最大的第二题目区域确定为与第一题目区域对应的第二题目区域。通过以上方法将待批改图像中的每道题目和判题对照图像中的每道题目建立了一一对应的关系。

在步骤S840中，分别针对待批改图像中的每一道题目，将第一作答区域的作答内容与对应的第二作答区域的作答内容进行比对，得到该题目的判题结果。最后将每道题目的判题结果进行汇总，得到针对待批改图像的判题结果。

在一种实施方式中，将第一图像区域与各个第二图像区域进行字符串交并比计算，包括：

分别计算第一图像区域中的字符串和各个第二图像区域中的字符串的第三交集；

计算第三交集的长度与第一图像区域中的字符串的长度的比值。

参见图5至图7所示，由于待批改图像在拍照上传时的角度与判题对照图像不同，以及存在检测识别误差等问题，使得待批改图像可能与判题对照图像的坐标无法一一对应。即使待批改图像与判题对照图像两者的内容和结构是一样的，可能也无法将待批改图像与判题对照图像中的每道题目建立对应关系。

例如在相关技术中，有利用编辑距离、最长公共子序列、最长公共子串等方式判断两个字符串是否一致。但是由于待批改图像拍摄与判题对照图像不同，导致待批改图像与判题对照图像中的相同内容的文本框的位置和坐标值不一定是一一对应的。例如在图7中，由于拍摄位置倾斜，对于属于同一行的文本，其检测到的结果可能坐标值有较大的差异。因此属于同一行的文本在检测结果中可能被拆分成两个文本行，从而导致后续识别到的题目内容中的字符串的顺序也发生了改变。可见，相关技术中利用编辑距离、最长公共子序列、最长公共子串等方式判断两个字符串是否一致，其效果并不理想。

在这种情况下，可根据字符串为每个待判题目在判题对照图像中找到对应的题目。本发明实施例中，利用字符串交并比判断两个字符串是否一致。具体地，将待批改图像中的第一题目区域中的字符串和判题对照图像中的各个第二题目区域中的字符串作交集运算。将上述交集运算的结果称为第三交集。在判断两个题目是否对应的计算过程中，第三交集中包括第一题目区域和第二题目区域中共同包含的字符串。然后将上述第三交集的长度与待批改图像中的第一题目区域中的字符串的长度之比值作为两个题目的相似度，根据相似度判断两个题目是否对应。可见，本发明实施例中使用字符串交并比的计算方式可摆脱对字符串顺序的依赖，可准确为每个第一题目区域找到对应的第二题目区域。即使如图7所示待批改图像在拍照上传时的角度与判题对照图像不同，也可以得到准确的判断结果。上述方法避免了因待批改图像和判题对照图像的拍照角度不同而产生的判断误差，提高了待批改图像和判题对照图像对比结果的准确率，进而有效提升了判题结果的准确率。

在一个示例中，在步骤S120中，也可以利用字符串交并比，根据整页字符串内容在题库中搜索与待批改图像对应的判题对照图像。具体地，将待批改图像中的整页字符串和判题对照图像中的整页字符串作交集运算。上述交集中包括待批改图像和判题对照图像中共同包含的字符串。然后将上述交集的长度与待批改图像中的整页字符串的长度之比值作为两个图像的相似度，根据相似度判断两个图像是否对应。

图9为根据本申请另一实施例的判题方法的确定作答区域对应关系的流程图。如图9所示，在一种实施方式中，图1中的步骤S130，根据第一题干区域、第一作答区域、第二题干区域和第二作答区域，利用交并比确定与第一作答区域对应的第二作答区域，具体可包括：

步骤S910，将第一题目区域中的第一作答区域作为第三图像区域，将第一题目区域中的第一题干区域作为第四图像区域，将第三图像区域与各个第四图像区域进行图像交并比计算，根据计算结果将第一作答区域和对应的第一题干区域建立第一对应关系；

步骤S920，将对应的第二题目区域中的第二作答区域作为第三图像区域，将对应的第二题目区域中的第二题干区域作为第四图像区域，将第三图像区域与各个第四图像区域进行图像交并比计算，根据计算结果将第二作答区域和对应的第二题干区域建立第二对应关系；

步骤S930，将第一题目区域中的第一题干区域作为第一图像区域，将对应的第二题目区域中的第二题干区域作为第二图像区域，将第一图像区域与各个第二图像区域进行字符串交并比计算，根据计算结果将第一题干区域和对应的第二题干区域建立第三对应关系；

步骤S940，根据第一对应关系、第二对应关系和第三对应关系，确定与第一作答区域对应的第二作答区域。

参见图4、图6和图9，在待批改图像和判题对照图像中，通过对作答区域和各个题干区域进行图像交并比计算，可将某一个作答区域与其相邻的题干区域建立对应关系。参见图4，在步骤S910中，第一作答区域42可以和第一题干区域41建立对应关系；第一作答区域44可以和第一题干区域43建立对应关系。参见图6，在步骤S920中，第二作答区域62可以和第二题干区域61建立对应关系；第二作答区域64可以和第二题干区域63建立对应关系。

在步骤S930中，再对第一题干区域和各个第二题干区域进行字符串交并比计算，利用字符串交并比确定第一题干区域与第二题干区域的对应关系。具体地，将待批改图像中的第一题干区域中的字符串和判题对照图像中的各个第二题干区域中的字符串作交集运算。将上述交集运算的结果称为第三交集。在判断两个题干是否对应的计算过程中，第三交集中包括第一题干区域和第二题干区域中共同包含的字符串。然后将上述第三交集的长度与待批改图像中的第一题干区域中的字符串的长度之比值作为两个题干的相似度，根据相似度判断两个题干是否对应。参见图4和图6，图4中的第一题干区域41对应于图6中的第二题干区域61；图4中的第一题干区域43对应于图6中的第二题干区域63。

参见图4、图6和图9，在步骤S910中建立了第一作答区域和第一题干区域的第一对应关系，也就是在待批改图像中将打印体行和手写体行建立了第一对应关系。在步骤S920中建立了第二作答区域和第二题干区域的第二对应关系，也就是在判题对照图像中将打印体行和手写体行建立了第二对应关系。在步骤S930中建立了第一题干区域和对应的第二题干区域的第三对应关系，也就是将待批改图像中的打印体行和判题对照图像中的打印体行建立了第三对应关系。因此，上述两个打印体行所对应的手写体行也是一一对应的关系。则在步骤S940中，根据第一对应关系、第二对应关系和第三对应关系，可确定待批改图像中的第一作答区域与判题对照图像中的第二作答区域的对应关系。

例如，在图4所示的待批改图像中，利用图像交并比计算确定第一作答区域42对应于第一题干区域41。在图6所示的判题对照图像中，利用图像交并比计算确定第二作答区域62对应于第二题干区域61。然后再将第一题干区域41与判题对照图像中的各个打印体行进行字符串并比计算，确定第一题干区域41对应于第二题干区域61。则第一题干区域41和第二题干区域61分别对应的第一作答区域42和第二作答区域62也存在对应关系。

在一种实施方式中，利用以下方式中的至少之一将第三图像区域与各个第四图像区域进行图像交并比计算：

计算第三图像区域与第四图像区域的第一交集的面积与第三图像区域的面积的比值；

计算第一交集在竖直方向的投影的第一长度与第三图像区域在竖直方向的投影的第二长度的比值；

分别对第三图像区域和第四图像区域按预定规则截取，得到第三截取区域和第四截取区域；计算第三截取区域与第四截取区域的第二交集的面积与第三截取区域的面积的比值；

计算第二交集在竖直方向的投影的第三长度与第三截取区域在竖直方向的投影的第四长度的比值；

计算与第三图像区域距离最近的第四图像区域。

在步骤S910中，将第一题目区域中的第一作答区域（手写体行）作为第三图像区域，将第一题目区域中的第一题干区域（打印体行）作为第四图像区域。在步骤S920中，将对应的第二题目区域中的第二作答区域（手写体行）作为第三图像区域，将对应的第二题目区域中的第二题干区域（打印体行）作为第四图像区域。在以上两个步骤中，将第三图像区域与各个第四图像区域进行图像交并比计算，也就是分别将待批改图像中的手写体行与判题对照图像中的各个打印体行进行图像交并比计算。可将第一作答区域和第二作答区域统称为作答区域，将第一题干区域和第二题干区域统称为题干区域。在一种实施方式中，可利用以下方式中的至少之一进行图像交并比计算：

方式1）：计算作答区域与各个题干区域的第一交集的面积与作答区域的面积的比值。从计算得到的各个比值中选取最大值，将该最大值称为第一交并比。可将第一交并比对应的题干区域与作答区域建立对应关系。

方式2）：计算各个上述第一交集在竖直方向的投影的第一长度与作答区域在竖直方向的投影的第二长度的比值。从计算得到的各个比值中选取最大值，将该最大值称为第二交并比。第二交并比也可称为竖直方向的交并比。也就是题干区域的竖直方向长度与作答区域竖直方向长度的相交长度与作答区域竖直方向的长度的比值。可将第二交并比对应的题干区域与作答区域建立对应关系。

在一个示例中，打印体行和手写体行可能并不相邻。例如，可能因为排版操作导致打印体行和手写体行的中间有一段空白。在这种情况下第一并交比的计算结果可能为零，也就是不存在第一并交比。因此不存在第一并交比的情况下，可计算第二交并比，将第二交并比对应的题干区域与作答区域建立对应关系。

方式3）：分别对作答区域和题干区域按预定规则截取，得到第三截取区域和第四截取区域。计算截取后的作答区域与截取后的各个题干区域的第二交集的面积与作答区域的面积的比值。从计算得到的各个比值中选取最大值，将该最大值称为第三交并比。可将第三交并比对应的题干区域与作答区域建立对应关系。

为了得到准确的检测结果，检测模型检测到的可能是一个四边形框。因此可将四边形框截取为一个规则矩形，然后再求各个上述第二交集的面积与作答区域的比值。截取的方式可以是截取四边形的最大内切矩形或最小外接矩形。

方式4）：计算各个上述第二交集在竖直方向的投影的第三长度与按预定规则截取后的作答区域在竖直方向的投影的第四长度的比值。从计算得到的各个比值中选取最大值，将该最大值称为第四交并比。可将第四交并比对应的题干区域与作答区域建立对应关系。

方式5）：计算与作答区域距离最近的题干区域。在一个示例中，可计算两个作答区域和题干区域中心点的竖直距离，从计算得到的各个距离中选取最小值，将该最小值称为第五交并比。可将第五交并比对应的题干区域与作答区域建立对应关系。

在待批改图像和判题对照图像中，手写体行和打印体行的位置关系可能有下列各种不同的情况：可能手写体行的位置和对应的打印体行在同一个文本行上；也可能手写体行的位置在对应的打印体行的下一行，还可能手写体行的位置位于某个文本行的开头且该文本行只有一个手写体行。利用上述几种方式之一，或者结合上述几种方式，可以实现在各种不同的情况下都能够为作答区域找到对应的题干区域，从而建立作答区域和题干区域的对应关系。

在一个示例中，如果第一交并比存在，则根据第一交并比建立作答区域和题干区域的对应关系。否则，如果第二交并比存在，则根据第二交并比建立作答区域和题干区域的对应关系；如果第二交并比不存在，则根据第三交并比建立作答区域和题干区域的对应关系。依次类推，……如果第四交并比存在，则根据第四交并比建立作答区域和题干区域的对应关系。否则，根据第五交并比建立作答区域和题干区域的对应关系。一个作答区域只对应一个题干区域。反之，一个题干区域可对应一个作答区域或者多个作答区域。

参见图4和图6，在一个示例中，可在检测模型的训练样本的标注信息中，将打印体行和手写体行的文本框的尺寸标注适当加大，使得相邻的作答区域和题干区域有交集面积。例如，可在标注信息中将文本框在水平方向和/或竖直方向的尺寸适当加大，使得作答区域和题干区域存在交并比，从而利用交并比建立二者的对应关系。

图10为根据本申请另一实施例的判题方法的构建题库的流程图。如图10所示，在一种实施方式中，上述方法还包括：

步骤S1010，利用检测模型对判题对照图像进行检测，得到至少一个第二题干区域和至少一个第二作答区域；

步骤S1020，根据判题对照图像、第二题干区域、第二作答区域和第二作答区域的作答内容构建题库。

本申请实施例中，题库的建立可以与判题流程有类似的步骤。在判题流程中，首先利用检测模型对待批改图像进行检测，得到至少一个第一题干区域和至少一个第一作答区域。在建立题库的过程中，在步骤S1010中，首先利用检测模型对判题对照图像进行检测，得到至少一个第二题干区域和至少一个第二作答区域。如图5所示，可对练习册、试卷、参考书中的每一页进行拍照，拍照得到判题对照图像。利用检测模型对判题对照图像进行检测，根据检测结果可得到题库的“页-题-行”的三级结构，即每一页包括多个题，每一题包括多个文本行，其中文本行分为打印体行（认为是题干区域）和手写体行（认为是作答区域）。

在构建题库之前，需要训练检测模型和识别模型。检测模型用于检测判题对照图像中的第二题干区域和第二作答区域。识别模型用于识别第二题干区域的文本内容。

构建题库的流程与判题流程的不同之处在于：判题流程的处理对象是待批改图像；判题流程中利用检测模型检测第一题干区域和第一作答区域，之后利用识别模型识别第一作答区域的内容。而题库基于空白未作答的试题页建立；构建题库的流程中，利用检测模型检测第二题干区域和第二作答区域；第二作答区域的对应作答内容是由人工根据参考答案进行标注，或者利用数据导入程序自动将第二作答区域的作答内容导入到题库中。构建好的题库可包括判题对照图像、第二题干区域、第二作答区域和第二作答区域的作答内容。

本申请实施例中，可首先训练检测模型和识别模型。然后利用训练好的模型进行建立题库。在一种实施方式中，也可以利用训练好的模型辅助人工进行建立题库。在判题流程中，首先利用检测模型和识别模型对待批改图像进行检测和识别，得到“页-题-行”三级结构。然后可根据整页字符串内容或者整页图像在题库中搜索与待批改图像对应的判题对照图像，搜索到的判题对照图像是与待批改图像内容一致的页-题-行结构。最后将待批改图像与判题对照图像对比得到判题结果。

图11为根据本申请另一实施例的判题方法的流程图。如图11所示，在一种实施方式中，图1中的步骤S140，将第一作答区域的作答内容与对应的第二作答区域的作答内容进行比对，得到针对待批改图像的判题结果，具体可包括：

步骤S1110，利用识别模型对第一作答区域进行识别，得到第一作答区域的作答内容；

步骤S1120，从题库中获取对应的第二作答区域的作答内容；

步骤S1130，在第一题目区域中的第一作答区域的作答内容与对应的第二作答区域的作答内容一致的情况下，判定第一题目区域对应的题目的判题结果为作答正确。

在一个示例中，可利用CRNN（Convolutional Recurrent Neural Network，卷积递归神经网络）模型作为识别模型对待批改图像进行识别。CRNN的网络结构按照从下至上的顺序，由卷积神经网络、循环神经网络和翻译层三部分组成。卷积神经网络负责从带文字的图片中提取特征。循环神经网络负责用卷积神经网络提取的特征进行序列预测。翻译层将循环神经网络得到的序列翻译为字母序列。模型训练过程中，目标函数可选择“联结时序分类”（CTC，Connectionist Temporal Classification）损失函数。尽管CRNN包含不同类型的网络结构，但是仍然能够被端到端地训练。在各种数据集上，CRNN可表现出优越的性能。本申请实施例利用CRNN作为识别模型可准确识别图像中的文本内容，从而得到准确的判题结果。

本申请实施例中，利用识别模型得到待批改图像中第一作答区域的作答内容，从题库的判题对照图像中获取对应的第二作答区域的作答内容。前者是学生作答的待批改作答内容，后者是题目的标准答案。将两者进行比对，若待批改作答内容与标准答案一致，则判题结果为作答正确；若待批改作答内容与标准答案不一致，则判题结果为作答错误。

图12为根据本申请另一实施例的判题方法的流程图。如图12所示，一个示例性的判题方法的流程如下：

步骤1：根据需要训练检测模型和识别模型。例如可以使用CenterNet和CRNN模型，得到一个能够检测题目和文本行的检测模型和一个能够将输入文本行图像转成字符串的识别模型。

步骤2：根据步骤1，用训练好的模型辅助人工进行建立题库。题库的建立与正常的批改流程一致，即建立页-题-行的三级结构。每一页包括多个题，每一题包括多个行。其中，行分为打印体行（认为是题干）和手写体行（认为是作答）。

步骤3：根据步骤1，在正常的批改流程中，首先对待批改页的待批改图像进行检测和识别。

步骤4：根据步骤3，根据构建整页的策略，得到待批改图像的页-题-行这样的三级结构。

步骤5：根据步骤4，根据整页字符串内容或者整页图像可以在图库中搜索答案页（判题对照图像），搜索到的答案页是与待批改图像内容一致的页-题-行结构。其中，搜索方式具体根据搜索策略而定。

步骤6：根据步骤5，根据字符串为每个待判题找到对应的答案题。可使用待判题字符串交并比方法，为待批改图像中每个待判题在判题对照图像中找到对应的答案题。也就是确定与第一题目区域对应的第二题目区域。

步骤7：根据步骤6，对于只有一个作答区域的题目，可以直接比较待批改图像和判题对照图像中的答案是否一致，得出判题结果。

步骤8：根据步骤6，对于有多个作答区域的题目，这时需要为待判题的每个作答区域在答案题的答案中找到一个对应的作答区域。

步骤9：依次求取第一交并比、第二交并比、第三交并比、第四交并比和/或第五交并比。

步骤10：根据步骤9，为每个作答区域关联到一个打印体文本行。一个作答区域只对应一个打印体文本行；反之，一个打印体文本行对应一个或者多个作答区域。

步骤11：同理，对于答案页中每个题的每个作答区域也找到一个对应的打印体文本行。

步骤12：根据步骤10和步骤11，对于每个待判题和其对应的答案题，根据字符串交并比，为每个待判题的打印体文本行在答案题中找到一个对应的打印体文本行。然后这两个打印体文本行分别对应的作答区域也应该是一一对应的关系。按照从左往右的顺序，可能一个打印体文本行对应多个作答区域。然后根据两个作答区域的内容是否相同，得出每个作答区域的判题结果。

步骤13：最后汇总待批改图像中各个题的各个作答区域的判题结果，得出整页的批改结果。

图13为根据另一本申请实施例的判题装置的结构示意图。如图13所示，该装置可以包括：

检测单元100，用于利用检测模型对待批改图像进行检测，得到至少一个第一题干区域和至少一个第一作答区域；

搜索单元200，用于在题库中搜索与待批改图像对应的判题对照图像，判题对照图像中包括至少一个第二题干区域和至少一个第二作答区域；

第一确定单元300，用于根据第一题干区域、第一作答区域、第二题干区域和第二作答区域，利用交并比确定与第一作答区域对应的第二作答区域；

判题单元400，用于将第一作答区域的作答内容与对应的第二作答区域的作答内容进行比对，得到针对待批改图像的判题结果。

图14为根据另一本申请实施例的判题装置的结构示意图。如图14所示，在一种实施方式中，检测单元100还用于：利用检测模型对待批改图像进行检测，得到至少一个第一题目区域；利用检测模型对判题对照图像进行检测，得到至少一个第二题目区域；

上述装置还包括第二确定单元500，用于将第一题目区域作为第一图像区域，将第二题目区域作为第二图像区域，将第一图像区域与各个第二图像区域进行字符串交并比计算，根据计算结果确定与第一题目区域对应的第二题目区域；

判题单元400用于：将第一题目区域中的第一作答区域的作答内容与对应的第二作答区域的作答内容进行比对，得到针对第一题目区域对应的题目的判题结果。

在一种实施方式中，第一确定单元300用于：

将第一题目区域中的第一作答区域作为第三图像区域，将第一题目区域中的第一题干区域作为第四图像区域，将第三图像区域与各个第四图像区域进行图像交并比计算，根据计算结果将第一作答区域和对应的第一题干区域建立第一对应关系；

将对应的第二题目区域中的第二作答区域作为第三图像区域，将对应的第二题目区域中的第二题干区域作为第四图像区域，将第三图像区域与各个第四图像区域进行图像交并比计算，根据计算结果将第二作答区域和对应的第二题干区域建立第二对应关系；

将第一题目区域中的第一题干区域作为第一图像区域，将对应的第二题目区域中的第二题干区域作为第二图像区域，将第一图像区域与各个第二图像区域进行字符串交并比计算，根据计算结果将第一题干区域和对应的第二题干区域建立第三对应关系；

根据第一对应关系、第二对应关系和第三对应关系，确定与第一作答区域对应的第二作答区域。

在一种实施方式中，第一确定单元300用于利用以下方式中的至少之一将第三图像区域与各个第四图像区域进行图像交并比计算：

计算第三图像区域与第四图像区域的第一交集的面积与第三图像区域的面积的比值；

计算第一交集在竖直方向的投影的第一长度与第三图像区域在竖直方向的投影的第二长度的比值；

分别对第三图像区域和第四图像区域按预定规则截取，得到第三截取区域和第四截取区域；计算第三截取区域与第四截取区域的第二交集的面积与第三截取区域的面积的比值；

计算第二交集在竖直方向的投影的第三长度与第三截取区域在竖直方向的投影的第四长度的比值；

计算与第三图像区域距离最近的第四图像区域。

在一种实施方式中，第一确定单元300和第二确定单元500分别用于利用以下方式将第一图像区域与各个第二图像区域进行字符串交并比计算：

分别计算第一图像区域中的字符串和各个第二图像区域中的字符串的第三交集；

计算第三交集的长度与第一图像区域中的字符串的长度的比值。

图15为根据另一本申请实施例的判题装置的结构示意图。如图15所示，在一种实施方式中，上述装置还包括题库构建单元105，用于：

利用检测模型对判题对照图像进行检测，得到至少一个第二题干区域和至少一个第二作答区域；

根据判题对照图像、第二题干区域、第二作答区域和第二作答区域的作答内容构建题库。

在一种实施方式中，判题单元400用于：

利用识别模型对第一作答区域进行识别，得到第一作答区域的作答内容；

从题库中获取对应的第二作答区域的作答内容；

在第一题目区域中的第一作答区域的作答内容与对应的第二作答区域的作答内容一致的情况下，判定第一题目区域对应的题目的判题结果为作答正确。

本申请实施例各装置中的各模块、单元、子单元的功能可以参见上述方法中的对应描述，在此不再赘述。

图16为用来实现本申请实施例的电子设备的框图。如图16所示，该电子设备包括：存储器910和处理器920，存储器910内存储有可在处理器920上运行的计算机程序。处理器920执行该计算机程序时实现上述实施例中的判题和判题方法。存储器910和处理器920的数量可以为一个或多个。

该电子设备还包括：

通信接口930，用于与外界设备进行通信，进行数据交互传输。

如果存储器910、处理器920和通信接口930独立实现，则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构（Industry Standard Architecture，ISA）总线、外部设备互连（PeripheralComponentInterconnect，PCI）总线或扩展工业标准体系结构（Extended IndustryStandard Architecture，EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图16中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器910、处理器920及通信接口930集成在一块芯片上，则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。

本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现本申请实施例中提供的方法。

本申请实施例还提供了一种芯片，该芯片包括，包括处理器，用于从存储器中调用并运行存储器中存储的指令，使得安装有芯片的通信设备执行本申请实施例提供的方法。

本申请实施例还提供了一种芯片，包括：输入接口、输出接口、处理器和存储器，输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连，处理器用于执行存储器中的代码，当代码被执行时，处理器用于执行申请实施例提供的方法。

应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(fieldprogrammablegate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(advanced RISC machines，ARM)架构的处理器。

进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic random access memory ，DRAM) 、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。

应理解的是，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。