一种基于人机对话考试的评分系统及方法

技术领域

本发明涉及人机对话考试技术领域，尤其涉及一种基于人机对话考试的评分系统及方法。

背景技术

当前全国多个省份和地市开始将英语听说考试纳入到高考和中考中，英语听说考试成绩计入高考和中考总分，英语听说能力的培养渐渐被凸显，学校也开始越来越重视在教学和考试中纳入英语听说。英语听说考试属于人机对话形式，传统的纸质试卷的评分方式不适用于以语音为答卷的人机对话考试，以人工方式完成英语听说评分的工作效率低下，且成绩校验和核对成本极高。

所以，如何帮助教育管理人员和评分人员进行高效、安全地组织英语听说考试评分工作是当下急需解决的问题。

发明内容

针对现有技术中的技术问题，本发明提供一种基于人机对话考试的评分系统及方法。

一种基于人机对话考试的评分系统，系统包括答卷分发模块、评卷人员分配模块、试题评分模块、问题卷核对模块、仲裁卷校验模块以及任务统计模块，其中：

答卷分发模块，与评卷人员分配模块相连接；答卷分发模块用于按照预设的答卷分发策略在所有的考试答卷中选出待评分答卷，并生成评卷任务；

评卷人员分配模块，与答卷分发模块、试题评分模块相连接；评卷人员分配模块用于按照预设的教师信息存储策略分类并存储有若干个教师的教师信息，以及按照预设的评卷人员分配策略和接收的教师选择指令在教师信息中为评卷任务选定科组长和评卷员；

试题评分模块，与评卷人员分配模块、问题卷核对模块、仲裁卷校验模块以及任务统计模块相连接；试题评分模块用于向评卷员分配对应评卷任务；以及在评卷任务的每个试题下，按照评卷员的播放指令对该试题考生应答音频进行播放，并收取评卷员对该试题的评分选择指令，为该试题生成评分；以及，若接收到评卷员的问题卷标记指令，则按照预设的问题卷生成策略将对应试题归至问题卷；以及，根据试题的评分以及预设的评分生成策略确定试题的最终得分，或根据预设的仲裁策略、试题评分个数以及试题评分差值将对应试题归至仲裁卷；

问题卷核对模块，与试题评分模块、任务统计模块相连接；问题卷核对模块用于向科组长分配对应问题卷；在问题卷的每个试题下，根据科组长的处理指令，将该试题发回重审，或标记为异常；

仲裁卷校验模块，与试题评分模块、任务统计模块相连接；仲裁卷校验模块用于向仲裁人员分配对应仲裁卷；以及，在仲裁卷的每个试题下，根据仲裁人员的评分选择指令，为该试题生成评分；仲裁人员为科组长或评卷员，且仲裁人员与对应试题已进行评分的评卷员不为同一个人；

任务统计模块，与试题评分模块、问题卷核对模块以及仲裁卷校验模块相连接；任务统计模块用于统计科组长和/或评卷员的评卷任务数量，评卷任务数量包括计划任务量、已完成量、问题卷数量、仲裁数量以及待处理数量。

进一步的，答卷分发模块中，答卷分发策略包括在所有考试答卷中选出同一考题名称的所有答卷，或者，在所有的考试答卷中选出同一试题类型的所有答卷。

进一步的，在答卷分发模块中，答卷分发策略包括在所有考试答卷中选出某一考题的所有答卷时，试题评分模块还用于显示评卷员对同类考题的平均评分，以及显示所有评卷员对该考题的平均评分。

进一步的，教师信息包括教师账号、教师姓名、执教年级。

进一步的，评卷人员分配策略包括单评模式、双评模式以及多评模式；单评模式为在教师信息中为评卷任务选定一个评卷员；双评模式为在教师信息中为评卷任务选定一个科组长和两个评卷员；三评模式为在教师信息中为评卷任务选定三个评卷员。

进一步的，根据试题的评分以及预设的评分生成策略确定试题的最终得分，或根据预设的仲裁策略、试题评分个数以及试题评分差值将对应试题归至仲裁卷，包括：

若试题仅对应有一个评卷员，则评卷员的试题评分为该试题的最终得分；

若试题对应两个评卷员以及一个科组长，则计算两个评卷员的试题评分差值，将试题评分差值与预设的仲裁分进行对比，若试题评分差值小于等于仲裁分，则计算两个评卷员的试题评分的平均值作为该试题的最终得分；若试题评分差值大于仲裁分，则将该试题归至仲裁卷；以及获取仲裁卷校验模块中仲裁人员对该试题的试题评分，作为该试题的最终得分；

若试题对应三个评卷员，则计算其中两个评卷员的试题评分差值，将试题评分差值与预设的仲裁分进行对比，若试题评分差值小于等于仲裁分，则计算这两个评卷员的试题评分的平均值作为该试题的最终得分；若试题评分差值大于仲裁分，则以第三个评卷员的试题评分作为该试题的最终得分。

进一步的，评卷人员分配策略包括：

根据评卷任务中待评分答卷的个数以及预设的评卷员任务量对应选定评卷员，使得每个被选定的评卷员所对应的试题个数相同；

或，根据评卷任务中待评分答卷的个数以及预选定的评卷员个数，为每个预选定的评卷员平均分配试题；

或，根据评卷员的工作效率对应分配评卷任务。

进一步的，还包括评分步骤设置模块，其中：

评分步骤设置模块，与试题评分模块相连接，评分步骤设置模块用于根据评卷任务中的试题类型设定每个试题的评分方向，以及每个评分方向下的总分与步长。

进一步的，试题的评分方向至少包括内容完整度、回答流利度以及发音准确度。

本发明还包括一种基于人机对话考试的评分方法，包括：

按照预设的答卷分发策略在所有的考试答卷中选出待评分答卷，并生成评卷任务；

按照预设的评卷人员分配策略和接收的教师选择指令在存储的教师信息中为评卷任务选定科组长和评卷员；

向评卷员分配对应评卷任务；

在评卷任务的每个试题下，按照评卷员的播放指令对该试题考生应答音频进行播放，并收取评卷员对该试题的评分选择指令，为该试题生成评分；

接收评卷员的问题卷标记指令，按照预设的问题卷生成策略将对应试题归至问题卷；

根据预设的仲裁策略、试题评分个数以及试题评分差值将对应试题归至仲裁卷；

向仲裁人员分配对应仲裁卷，在仲裁卷的每个试题下，根据仲裁人员的评分选择指令，为该试题生成评分；

向科组长分配对应问题卷，在问题卷的每个试题下，根据科组长的处理指令，将该试题发回重审，或标记为异常；

根据试题的评分以及预设的评分生成策略确定试题的最终得分。

本发明基于人机对话考试的评分系统及方法，实现了英语听说考试的评卷组织与评分工作，是针对人机对话以及语音答卷的特点，创造的既符合传统考务组织规则的线上评卷管理，同时也为英语答卷评分提供的专有的评分方案，填补当前英语听说考试专业评分工具的缺失，相较于传统纸质试卷的评分方式，给英语听说考试的评卷工作带来了明显的改善，极大地提升了评卷工作效率，降低了评卷工作的校验与核对成本，保障了评卷任务的有序进行。

附图说明

为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明实施例的一种基于人机对话考试的评分系统的结构组成图；

图2为本发明实施例的一种基于人机对话考试的评分系统的另一结构组成意图；

图3为本发明实施例的一种基于人机对话考试的评分方法的步骤流程图。

具体实施方式

下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通的技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明的保护范围。

本发明提供一种实施例为一种基于人机对话考试的评分系统，如图1所示，系统包括答卷分发模块10、评卷人员分配模块20、试题评分模块30、问题卷核对模块40、仲裁卷校验模块50以及任务统计模块60，其中：

答卷分发模块10，与评卷人员分配模块20相连接；答卷分发模块10用于按照预设的答卷分发策略在所有的考试答卷中选出待评分答卷，并生成评卷任务。

在答卷分发模块10中，答卷分发策略包括在所有考试答卷中选出同一考题名称的所有答卷，或者，在所有的考试答卷中选出同一试题类型的所有答卷。

本发明实施例中所有的考试答卷可划根据考题名称和试题类型进行划分，例如考题名称为“(A套)Part A Reading Aloud 2020年XX省高三英语听说模考”、“(A套)Part BRole Play 2020年XX省高三英语听说模考”、(A套)Part C Retelling 2020年XX省高三英语听说模考”、“(B套)Part A Reading Aloud 2020年XX省高三英语听说模考”、“(B套)PartB Role Play 2020年XX省高三英语听说模考”、(B套)Part C Retelling 2020年XX省高三英语听说模考”等；而试题类型可包括有短文朗诵、情景对话、故事复述等。所以本发明实施例的答卷分发模块10根据考题名称或试题类型在所有的考试答卷中选出待评分答卷，并生成评卷任务，优选的，本发明实施例的答卷分发模块10可先根据考题名称选出第一部分待评分答卷，再根据试题类型从第一部分待评分答卷中选出第二部分待评分答卷，再根据第二待评分答卷生成评卷任务，如此，生成的评卷任务中每个试题的题干部分都是相同的，能够进一步提高后期评分的效率。

评卷人员分配模块20，与答卷分发模块10、试题评分模块30相连接；评卷人员分配模块20用于按照预设的教师信息存储策略分类并存储有若干个教师的教师信息，以及按照预设的评卷人员分配策略和接收的教师选择指令在教师信息中为评卷任务选定科组长和评卷员。

本实施例中，评卷人员分配模块20分类存储的教师信息包括有教师账号、教师姓名、执教年级等，教师信息的排列可依据教师账号，也可按照教师姓名，最优选的，按照执教年级进行排名并分类，例如一年级教师、二年级教师、九年级教师、高三教室等，便于操作人员按照考试答卷的内容难易快速选择合适的教师作为科组长或者评卷员。本实施例中的评卷人员分配策略可包括有单评模式、双评模式以及多评模式，其中，单评模式为在教师信息中为评卷任务选定一个评卷员；双评模式为在教师信息中为评卷任务选定一个科组长和两个评卷员；三评模式为在教师信息中为评卷任务选定三个评卷员。科组长的职权较评卷员的职权更高，用于对非常规类问题的进一步解决，具体对于科组长以及评卷员职权的划分，可参考本发明实施例后续内容。

试题评分模块30，与评卷人员分配模块20、问题卷核对模块40、仲裁卷校验模块50以及任务统计模块60相连接；试题评分模块30用于向评卷员分配对应评卷任务；以及在评卷任务的每个试题下，按照评卷员的播放指令对该试题考生应答音频进行播放，并收取评卷员对该试题的评分选择指令，为该试题生成评分；以及，若接收到评卷员的问题卷标记指令，则按照预设的问题卷生成策略将对应试题归至问题卷；以及，根据试题的评分以及预设的评分生成策略确定试题的最终得分，或根据预设的仲裁策略、试题评分个数以及试题评分差值将对应试题归至仲裁卷。

当评卷人员分配模块20为评卷任务选定科组长和评卷员后，试题评分模块30根据评卷任务所对应的评卷员，将对应的评卷任务分配给对应的评卷员进行评分。具体评分时，针对每一个试题，首先播放该试题的考生应答音频，评卷员依据此音频的内容质量为该考生对此考题的应答做出评分，评分通过收取评卷员对该试题的评分选择指令来实现，例如，设定多个不同分值的分数项，评卷员选择哪一个分数项，则该试题的评分为该分数。本实施例在播放考生应答音频时，可进行暂停、播放操作，以及进度拖动操作，以及倍速调节操作等。

如果考生应答音频出现因噪音而无法听清内容或无声音收录等异常情况，则对应生成问题卷标记指令，将该试题归至问题卷，并选定其问题类型，例如空白卷、噪音严重。

本实施例中，试题评分模块30根据试题的评分以及预设的评分生成策略确定试题的最终得分，或根据预设的仲裁策略、试题评分个数以及试题评分差值将对应试题归至仲裁卷，具体包括：

若试题仅对应有一个评卷员(此试题为单评模式)，则评卷员的试题评分为该试题的最终得分。

若试题对应两个评卷员以及一个科组长(此试题为双评模式)，则计算两个评卷员的试题评分差值，将试题评分差值与预设的仲裁分进行对比，若试题评分差值小于等于仲裁分，则计算两个评卷员的试题评分的平均值作为该试题的最终得分；若试题评分差值大于仲裁分，则将该试题归至仲裁卷；以及获取仲裁卷校验模块50中仲裁人员对该试题的试题评分，作为该试题的最终得分。例如，试题的满分为20分，预设的仲裁分为5分，如果两个评卷员的评分分别为18分与16分，则试题评分差值为2，小于仲裁分，则计算两个评卷员的试题评分的平均值(18+16)/2＝17分，作为该试题的最终得分；如果两个评卷员的评分分别为18分与10分，则试题评分差值为8，大于仲裁分，则将该试题归至仲裁卷，由仲裁人员进行进一步处理，如果仲裁卷校验模块50中仲裁人员对该试题的试题评分为15分，则以15分作为该试题的最终得分。

若试题对应三个评卷员(此试题为三评模式)，则计算其中两个评卷员的试题评分差值，将试题评分差值与预设的仲裁分进行对比，若试题评分差值小于等于仲裁分，则计算这两个评卷员的试题评分的平均值作为该试题的最终得分；若试题评分差值大于仲裁分，则以第三个评卷员的试题评分作为该试题的最终得分。本实施例的三个评卷员分别称为第一评卷员、第二评卷员和第三评卷员，如果第一评卷员和第二评卷员的试题评分差值小于等于仲裁分，则计算这第一评卷员和第二评卷员的试题评分的平均值作为该试题的最终得分，如果第一评卷员和第二评卷员的试题评分差值大于仲裁分，则由第三评卷员对该试题进行评分，此试题评分作为该试题的最终得分。

问题卷核对模块40，与试题评分模块30、任务统计模块60相连接；问题卷核对模块40用于向科组长分配对应问题卷；在问题卷的每个试题下，根据科组长的处理指令，将该试题发回重审，或标记为异常。

仲裁卷校验模块50，与试题评分模块30、任务统计模块60相连接；仲裁卷校验模块50用于向仲裁人员分配对应仲裁卷；以及，在仲裁卷的每个试题下，根据仲裁人员的评分选择指令，为该试题生成评分；仲裁人员为科组长或评卷员，且仲裁人员与对应试题已进行评分的评卷员不为同一个人。需要说明的是，任意试题的评卷员以及科组长均为不同人，不能出现一个试题中某个教师既担任评卷员又担任科组长。

任务统计模块60，与试题评分模块30、问题卷核对模块40以及仲裁卷校验模块50相连接；任务统计模块60用于统计科组长和/或评卷员的评卷任务数量，评卷任务数量包括计划任务量、已完成量、问题卷数量、仲裁数量以及待处理数量。本发明实施例在实现过程中，对系统的管理员以及科组长设定相对大的权限，从而可以看到任务统计模块60对所有评卷员以及科组长的统计数量，管理员也便于根据任务统计模块60的统计结果通过评卷人员分配模块20来为新的评卷任务选定科组长和评卷员。

具体的，本发明的答卷分发模块10中，答卷分发策略包括在所有考试答卷中选出某一考题的所有答卷时，试题评分模块还用于显示评卷员对同类考题的平均评分，以及显示所有评卷员对该考题的平均评分，用于评卷员进一步把握对该试题的打分。

具体的，本发明实施例中的评卷人员分配策略包括：

根据评卷任务中待评分答卷的个数以及预设的评卷员任务量对应选定评卷员，使得每个被选定的评卷员所对应的试题个数相同。例如待评分答卷的个数为2000个，预设的评卷员任务量为200，则对应选定10个评卷员，每人分配200个试题，此方式属于定量分配。

或者，根据评卷任务中待评分答卷的个数以及预选定的评卷员个数，为每个预选定的评卷员平均分配试题。例如待评分答卷的个数为2000个，预选定的评卷员个数为5个，则需每人分配400个试题，如果预选定的评卷员个数为20个，则需每人分配100个试题，此方式属于平均分配。

或者，根据评卷员的工作效率对应分配评卷任务。有的评卷员评分效率高，所以可多分配一些评卷任务，而针对效率低的评卷员，可适当少分配评卷任务，此方式以效率优先，不限定评卷员的任务上限，从而把握所有评卷任务能尽快结束。

需要说明的是，本发明实施例的评卷人员分配策略，分配对象应当为单评模式下的评卷员、双评模式下的两个评卷员以及三评模式下的前两个评卷员。双评模式下的科组长以及三评模式下的第三个评卷员主要用于处理试题评分差值大于仲裁分的一些情况。

如图2所示，本发明实施例的评分系统还包括评分步骤设置模块70，其中：

评分步骤设置模块70，与试题评分模块30相连接，评分步骤设置模块70用于根据评卷任务中的试题类型设定每个试题的评分方向，以及每个评分方向下的总分与步长。

本实施例的评分步骤设置模块70是以评卷任务不同试题类型进行一一设定，例如短文朗诵这一试题类型，可设定内容完整度、回答流利度以及发音准确度等多项试题的评分方向，在内容完整度这一评分方向下，设定该评分方向的总分为4分，步长为2分，则可选分值为0分、2分、4分，若设定步长为1分，则可选分值为0分、1分、2分、3分、4分，评卷员直接选择对应的分值即可完成打分。

本发明还提供一种计算机，其存储有计算机程序，计算机程序被执行时实现上述系统中的功能。在整个评分的过程中，计算机对相关信息进行显示以及对考生应答音频进行播放，评卷员或科组长通过鼠标以及键盘的输入生成相关的指令，从而实现上述实施例评分系统的全部功能。本发明实施例对相关信息的显示并不做具体的限定，例如显示界面的中间部分用于显示试题，且一个界面仅显示一个试题，评分完成后通过点击操作或自动进入下一页面，进而显示下一试题。对于试题的显示，可包括该题的一评得分、二评得分、评分差值、我的平均分、该题平均分，以及考生应答音频进度条、音频时长、评分选项、合计分值、快捷评分(满分/零分)等，若点击播放音频，则可通过弹窗方式进行播放。显示界面的上方可设计为菜单栏，对应试题的考题名称、试题类型，例如“(A套)Part B Role Play 2020年广东省高三英语听说模考(情景对话)”，以及该试题所属于问题卷或仲裁卷等。在对试题进行评分之前或之后，可显示教师账号下所有的评卷任务列表，如果已完成评分，则显示评分时间、所得分数、学生编号等。

如图3所示，本发明还包括实施例为一种基于人机对话考试的评分方法，包括以下步骤：

步骤S1：按照预设的答卷分发策略在所有的考试答卷中选出待评分答卷，并生成评卷任务；

步骤S2：按照预设的评卷人员分配策略和接收的教师选择指令在存储的教师信息中为评卷任务选定科组长和评卷员；

步骤S3：向评卷员分配对应评卷任务；

步骤S4：在评卷任务的每个试题下，按照评卷员的播放指令对该试题考生应答音频进行播放，并收取评卷员对该试题的评分选择指令，为该试题生成评分；

步骤S5：接收评卷员的问题卷标记指令，按照预设的问题卷生成策略将对应试题归至问题卷；

步骤S6：根据预设的仲裁策略、试题评分个数以及试题评分差值将对应试题归至仲裁卷；

步骤S7：向仲裁人员分配对应仲裁卷，在仲裁卷的每个试题下，根据仲裁人员的评分选择指令，为该试题生成评分；

步骤S8：向科组长分配对应问题卷，在问题卷的每个试题下，根据科组长的处理指令，将该试题发回重审，或标记为异常；

步骤S9：根据试题的评分以及预设的评分生成策略确定试题的最终得分。

本发明实施例的步骤是为了实现评分方法的全部步骤，但并不应当理解为以上步骤的执行局限于以上所标序号，例如在执行步骤S4为试题生成评分时，也可同步执行步骤S2为其他的评卷任务选定科组长以及评卷员。

本发明实施例的评分方法，可参考本发明评分系统的实施例说明，此处不再赘述。

本发明实施例的基于人机对话考试的评分系统及方法，实现了英语听说考试的评卷组织与评分工作，是针对人机对话以及语音答卷的特点，创造的既符合传统考务组织规则的线上评卷管理，同时也为英语答卷评分提供的专有的评分方案，填补当前英语听说考试专业评分工具的缺失，相较于传统纸质试卷的评分方式，给英语听说考试的评卷工作带来了明显的改善，极大地提升了评卷工作效率，降低了评卷工作的校验与核对成本，保障了评卷任务的有序进行。

以上借助具体实施例对本发明做了进一步描述，但是应该理解的是，这里具体的描述，不应理解为对本发明的实质和范围的限定，本领域内的普通技术人员在阅读本说明书后对上述实施例做出的各种修改，都属于本发明所保护的范围。