一种基于多特征融合的短答案自动评分方法

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于多特征融合的短答案自动评分方法。

背景技术

短答案自动评分(Automatic Short Answer Grading,ASAG)是当前计算机辅助教学领域比较热门的研究方向。提高学生答案和参考答案之间相似度计算结果的准确率是实现短答案自动评分问题的关键。实现对短答案的自动评分，不但可以把教师从繁琐枯燥的手工阅卷工作中解放出来并确保学生成绩更加客观公正，而且可以提供快速的反馈，提高学生的学习能力。

现有的短答案自动评分方法及其存在的问题如下：

(1)基于规则的短答案自动评分方法。该方法根据参考答案建立正则表达式规则，每条规则与一个得分点相关联，当学生答案与规则相匹配就获得对应的分数。由于规则获取精度与表达能力有限，因此该方法泛化能力较差。

(2)基于特征工程的短答案自动评分方法。该方法不能有效地对文本序列进行编码，无法从语义层次上理解学生答案。其次，基于特征工程的方法也无法避免特征构建过程中耗时耗力，特征冗余等问题。

(3)基于深度学习的短答案自动评分方法。该方法利用神经网络从转换为词嵌入向量的答案文本中自动提取局部和全局的信息，从而实现以端到端的方式对学生答案自动评分。然而，基于深度学习的方法仍面临一系列问题。首先，学生在答题时使用不同的自由文本来回答同一个问题，不同的学生答案在句法结构上可能存在显著差异，从而极大地影响了所构建的词向量模型的有效性。其次，各个学科都涉及不同的领域知识，学生可能使用不同的专业术语或表达来回答同一问题，如何衡量学生答案的准确性也是一个巨大的挑战。

发明内容

本发明的目的在于提供一种基于多特征融合的短答案自动评分方法。

本发明采用的技术方案是：

一种基于多特征融合的短答案自动评分方法，其其包括以下步骤：

步骤1，收集学科领域内的文本并利用词向量模型得到学科领域词向量模型；

步骤2，录入短答案试题信息，短答案试题信息包括题目、参考答案和分数；

步骤3，获取考生所作答的答案文本，将短答案试题信息中的参考答案和考生答案文本一并输入BERT模型进行编码，并提取答案文本的语义特征；

步骤4，对参考答案文本与学生答案文本进行句法解析，获取文本中的句法依赖图；

步骤5，对参考答案文本与学生答案文本中的名词进行相似度计算，获取文本中的实体图；

步骤6，使用步骤3中提取的语义特征补充句法依赖图和实体图中缺乏的语义信息，进而分别得到扩展的句法依赖图和扩展的实体图；

步骤7，将扩展的句法依赖图和扩展的实体图动态融合得到整体特征融合图；

步骤8，将整体特征融合图作为一个整体输入到图卷积神经网络，通过图卷积捕获答案文本之间的全局单词共现和全局交互；

步骤9，将图卷积神经网络输出结果中分别表示参考答案和学生答案的两组向量表示为R

步骤10，将全局信息和局部信息结合作为答案文本的最终表示，利用余弦相似度公式计算参考答案和学生答案二者的相似度进而得出学生答案的分数。

进一步地，步骤1通过网络数据爬取、维基百科方式收集学科领域内的文本，利用词向量模型Word2Vec得到领域词向量模型。

进一步地，步骤3中通过在线答题系统直接获取考生所提交的答案，或者通过数据导入的方式读取来自其它系统或数据库等多种来源中的考生已提交的答案。

进一步地，步骤4中采用句法解析器提取单词之间的句法依赖关系。

进一步地，步骤5的具体步骤如下：

步骤5-1，从答案文本中抽取出所有的名词得到名词集合M；

步骤5-2，利用构建的领域词向量模型计算名词集合M中不同名词之间的相似度；

将名词集合M中的各个名词作为节点，计算名词与名词之间边的相似度，名词与名词之间边的相似度的计算公式如下：

其中，E(n

步骤5-3，将名词与名词之间边的相似度作为节点之间边的权重，以构建出答案文本的实体图。

进一步地，步骤6中扩展的句法依赖图的表达公式如下：

其中，C(w

扩展的实体图的表达公式如下：

其中，

进一步地，步骤7的融合公式如下：

其中，α为

进一步地，步骤8中图卷积神经网络的卷积操作如下：

其中，θ是卷积核，*

在卷积操作的基础上引入神经网络激活层并通过堆叠图卷积神经网络构建多层模型，具体公式如下：

其中H

进一步地，步骤9中注意力机制获取的R

其中，V

进一步地，步骤10的具体步骤如下：

步骤10-1，利用余弦相似度公式计算参考答案和学生答案二者的相似度，余弦相似度计算公式如如下：

其中，A

步骤10-2，将余弦相似度从0到5标准化；

步骤10-3，将标准化后的数值作为学生答案的最终得分。

本发明采用以上技术方案，将领域知识引入到短答案自动评分过程中，通过构建句法依赖图的方式将句法依赖特征引入到短答案自动评分过程中，利用图卷积神经网络对整体特征融合图编码进而有效地提取答案文本的全局信息。注意力机制计算单词的注意概率从而获得答案文本的局部信息。

本发明相较于现有技术具有以下优点：(1)针对学生在答题时使用不同的自由文本来回答同一个问题，本发明通过构建句法依赖图的方式将句法依赖特征引入到短答案自动评分过程中，解决了不同的学生答案在句法结构上存在显著差异的问题。(2)结合领域学科特点，本发明将领域知识引入到短答案自动评分过程中，解决了特定领域专业术语的语义理解不充分的问题。(3)发挥图卷积神经网络提取文本全局信息的优势，本发明利用图卷积神经网络对整体特征融合图编码进而有效地提取答案文本的全局信息。(4)本发明通过注意力机制计算单词的注意概率从而获得答案文本的局部信息，解决了图卷积神经网络提取局部信息能力不足的问题。(5)本发明有效地将语义特征、句法依赖特征、领域知识特征引入到短答案自动评分方法中，可适用于计算机专业领域的试卷评分。

附图说明

以下结合附图和具体实施方式对本发明做进一步详细说明；

图1为本发明一种基于多特征融合的短答案自动评分方法的流程示意图；

图2为本发明提取答案文本的语义特征过程示意图；

图3为答案文本句法依赖关系示意图；

图4为参考答案文本句法依赖图示意图；

图5为学生答案文本句法依赖图示意图；

图6为答案文本实体图示意图；

图7为扩展的句法依赖图和扩展的实体图获得过程示意图；

图8为整体特征融合图融合过程示意图；

图9为利用整体特征融合图的评分过程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述。

适应性测试和评估是智能辅导系统(Intelligent Tutoring Systems,ITSs)的关键组成部分，它可以捕捉学生当前的认知水平，为系统制定个性化的学习路线提供依据。出于实施的简单性，标准化问题(选择题或判断题)被广泛用于自适应评估中。然而，标准化问题有以下两个明显的缺点。(1)标准化问题通常只提供几个备选项目，不能列出所有可能的学生回答；(2)学生可能不假思索地从列出的项目中随机选择答案，因此不能准确地捕捉到学生的认知水平。与标准化问题相比，短答案问题要求学生使用文本回答问题，以此可以激活更复杂的重构认知过程，进一步促进学生的学习。

如图1至9之一所示，本发明公开了一种基于多特征融合的短答案自动评分方法，包括以下步骤：

步骤1，构建领域词向量模型；

通过网络数据爬取、维基百科等方式收集学科领域内的文本，以此基础上利用词向量模型(例如Word2Vec等)得到领域词向量模型。

例如，通过维基百科中的计算机科学相关词条(如Computer science-Wikipedia)获取计算机领域的不同术语及其描述文本，并将收集到的文本做为Word2Vec的输入，构建出计算机领域的词向量模型。

步骤2，录入短答案试题信息，其中主要包括题目、参考答案和分数；

教师录入短答案试题信息，其中主要包括题目、参考答案和分数。题目是计算机领域中的一个简答题的描述，例如“What is a variable？”(什么是变量？)。参考答案是教师针对每道考题预先设定好的答案。分数是考生正确解题后能够得到的分数，通常是一个0至5之间的数字。

例如，可设定题目如下：

题目：What is a variable？

参考答案：A location in memory that can store a value.

分数：5

步骤3，获取考生所作答的答案文本，将两者一并输入BERT模型后编码进而提取答案文本的语义特征；

可通过在线答题系统直接获取考生所提交的答案，也可以通过数据导入的方式读取来自其它系统或数据库等多种来源中的考生已提交的答案。假设在此阶段得到某个学生提交的答案为：It is a location in memory where value can be stored。

合并参考答案文本和学生答案文本，在此过程中，[CLS]标志放在第一个句子的首位，经过BERT得到的表征向量可以用于后续的任务。[SEP]标志用于分开两个输入句子，例如输入句子A和B，要在句子A，B后面增加[SEP]标志。因此，参考答案文本和学生答案文本合并形式如下所示：

[CLS]A location in memory that can store a value[SEP]It is a locationin memory where value can be stored[SEP]

将上述形式的答案文本输入到BERT模型，通过获取语义向量的方式提取答案文本的语义特征，如图2所示。

步骤4，对参考答案文本与学生答案文本进行句法解析，获取文本中的句法依赖图；

对于参考答案文本和学生答案文本的句法结构，本发明利用句法解析器(例如Stanford CoreNLP)来提取单词之间的句法依赖关系，如图3所示。

将单词作为图的节点，并定义了如公式(1)所示的两种类型有向边，以此构建出答案文本的句法依赖图，并通过公式(1)获取答案文本中各单词的依赖关系。在公式(1)中，C(w

实施例的参考答案文本句法依赖图如图4所示，实施例的学生答案文本句法依赖图如图5所示。

步骤5，对参考答案文本与学生答案文本中的名词进行相似度计算，获取文本中的实体图；

从答案文本中抽取出所有的名词得到名词集合M，利用步骤1所构建的领域词向量模型计算M中不同名词之间的相似度。将M中的各个名词作为节点，利用公式(2)计算名词与名词之间边的相似度，并以此作为节点之间边的权重，进而构建出答案文本的实体图。

具体地，在公式(2)中，E(n

对于参考答案“A location in memory that can store a value”，可得到名词集合为M＝{location,memory,value}。通过领域词向量模型可得value、memory与location对应的词向量分别为[0.08465,0.07275,-0.25968,…,-0.14847]，[0.58646,0.16764,-0.07353,…,0.58633],[0.21454,-0.21605,0.26466,…,0.15583]。如图6所示，可通过公式(2)可计算得到M中各名词之间的相似度。

相似地，对于学生答案“It is a location in memory where value can bestored”可得名词集合[location,memory,value]，可通过公式(2)可计算得到名词集合中各名词之间的相似度。

步骤6，获取扩展的句法依赖图和扩展的实体图；

本发明使用步骤3中提取的语义特征补充了句法依赖图和实体图中缺乏的语义信息，进而分别得到扩展的句法依赖图和扩展的实体图。公式(3)和公式(4)表示了基于门结构的语义特征。公式(5)和公式(6)表示分别得到扩展的句法依赖图和扩展的实体图的过程。其中，σ是sigmoid函数，

扩展的句法依赖图和扩展的实体图获得过程如图7所示。

具体地，实施例参考答案在扩展的句法依赖图中的向量化表示是[[0.8498,0.6071,0.7295,…,0.2767],…,[0.3786,0.7983,0.4689,…,0.3401]]，实施例学生答案在扩展的句法依赖图中的向量化表示是[[0.3426,0.5361,0.3518,...,0.3252],…,[0.5058,0.2544,0.3952,…,0.3537]]。实施例参考答案在扩展的实体图中的向量化表示是[[0.7068,0.4743,0.3974,…,0.3534],…,[0.5058,0.2544,0.3952,…,0.3537]]，实施例学生答案在扩展的实体图中的向量化表示是[[0.1790,0.9323,0.4456,…,0.8262],…,[0.2986,0.5756,0.7106,…,0.1963]]。

步骤7，获取整体特征融合图；

为实现扩展的句法依赖图和扩展的实体图有效地动态融合得到整体特征融合图，本发明设计了自适应融合公式(7)-公式(9)。其中，W

整体特征融合图融合过程如图8所示。具体地，参考答案在整体特征融合图中的向量化表示是[[0.1589,0.3737,0.5399,…,0.1409],…,[0.1180,0.5574,0.5531,…,0.9772]]，学生答案在整体特征融合图中的向量化表示是[[0.4783,0.6546,0.5468,…,0.3943],…,[0.4472,0.7668,0.1310,…,0.4340]]。

步骤8，获得答案文本的全局信息；

本发明将整体特征融合图作为一个整体输入到图卷积神经网络，通过图卷积捕获答案文本之间的全局单词共现和全局交互。其卷积操作如式(10)所示：

其中θ是卷积核，*

其中H

具体地，通过使用图卷积神经网络提取参考答案文本全局信息的向量表示为[[0.8046,0.5662,0.1287,…,0.1020],…,[0.8018,0.8518,0.4473,…,0.5164]]。学生答案文本全局信息的向量表示为[[0.8916,0.8860,0.8693,…,0.3955],…,[0.8257,0.7642,0.8021,…,0.3478]]。

步骤9，引入注意力机制，通过对单词的注意力概率的关注从而提取答案文本的局部信息；

在自然语言处理任务中，注意力机制通过计算对单词的注意力概率从而获取答案文本的局部信息。本发明将图卷积神经网络输出结果中分别表示参考答案和学生答案的两组向量表示为R

其中，W

其中，u

具体地，通过使用注意力机制提取参考答案文本局部信息的向量表示为[[0.2809,0.9882,0.2225,…,0.7584],…,[0.6434,0.5676,0.1194,…,0.3117]]。学生答案文本局部信息的向量表示为[[0.3274,0.7420,0.6136,…,0.6011],…,[0.1950,0.5518,0.4787,…,0.8228]]。

步骤10，将全局信息和局部信息结合作为答案文本的最终表示，利用余弦相似度公式计算参考答案和学生答案二者的相似度进而得出学生答案的分数。

在相似度计算中，可以用参考答案文本和学生答案文本的向量夹角余弦值来表示它们的相似度。假设空间中有两个向量，它们的余弦相似度计算公式如式(16)。接下来将余弦相似度从0到5标准化，然后将标准化后的数值作为学生答案的最终得分。其中，步骤8-步骤10中将整体特征融合图评分过程如图9所示。

其中，A

具体地，A

本发明采用以上技术方案，相较于现有技术具有以下优点：(1)针对学生在答题时使用不同的自由文本来回答同一个问题，本发明通过构建句法依赖图的方式将句法依赖特征引入到短答案自动评分过程中，解决了不同的学生答案在句法结构上存在显著差异的问题。(2)结合领域学科特点，本发明将领域知识引入到短答案自动评分过程中，解决了特定领域专业术语的语义理解不充分的问题。(3)发挥图卷积神经网络提取文本全局信息的优势，本发明利用图卷积神经网络对整体特征融合图编码进而有效地提取答案文本的全局信息。(4)本发明通过注意力机制计算单词的注意概率从而获得答案文本的局部信息，解决了图卷积神经网络提取局部信息能力不足的问题。(5)本发明有效地将语义特征、句法依赖特征、领域知识特征引入到短答案自动评分方法中，可适用于计算机专业领域的试卷评分。

显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。