一种基于MKVMN模型的学生学习能力的预测方法

技术领域

本发明涉及教育测评技术领域，尤其涉及一种基于MKVMN模型的学生学习能力的预测方法。

背景技术

教育部针对在线教育的有序发展，提出了在教育领域使用物联网、大数据和人工智能等计算机技术提升教育服务智能化和数字化水平的指导意见。而随着多媒体技术的快速发展和教育资源的增长，一些在线教育平台越来越受到人们的关注，如大规模开放在线课程(MOOC)平台和智能辅导系统(ITSs)等。这些在线教育平台的出现，在某些方面已经取代了传统的教育系统。传统教育系统向数字化加速转型，世界各地的教师和学生不得不迅速适应在线教育的模式。然而，尽管教育迫切需要同人工智能等新技术进行有机融合，但这种通过计算机技术进行教学的方式也带来了新的挑战。其中，迫切需要解决的问题就是如何通过学生和在线教育平台的教学互动来有效地跟踪学生的知识掌握情况或学习进度，这一挑战也被称为知识追踪问题。

知识追踪作为人工智能技术辅助教育发展的有效手段，在许多领域得到广泛的应用。知识追踪任务主要是利用学生的历史学习数据，对学生的知识掌握情况进行建模，从而对他们未来的表现进行预测。

尽管现阶段的很多知识追踪模型已经能够通过对学生学习状态的精准诊断进行个性化导学，该方向的研究也取得了不错的进展，但是在某些方面仍存在着一定的缺陷。研究发现，当前知识追踪模型仅考虑问题所属知识概念特征，忽略了问题难度信息和个人学习能力，以及一些关于学生遗忘行为的心理学研究方面的因素。针对这些问题，本发明在现有技术的基础上做出了众多改进，提出了多特征融合的键值记忆网络知识追踪模型。知识追踪模型的不断改进和发展，在推动教育领域的智能化、个性化，实现因材施教的教育理念等方面有着重大的研究意义。

发明内容

为解决上述技术问题，本发明提出了一种基于MKVMN模型的学生学习能力的预测方法，通过数据预处理的方式获取问题难度信息和学生个人学习能力两种特征，将问题难度信息与知识概念，学生个人学习能力与问题响应进行交叉融合，以改进动态键值记忆网络。

为实现上述目的，本发明提供了一种基于MKVMN模型的学生学习能力的预测方法，包括：

计算问题难度信息特征和学生个人学习能力特征，通过多特征融合的键值记忆网络知识追踪模型MKVMN，将所述问题难度信息特征与知识概念进行交叉融合，获取问题编码向量，将所述学生个人学习能力特征与问题响应进行交叉融合，获取问题-响应编码向量；

基于所述问题编码向量，获取学生当前回答的问题与潜在知识概念之间的相关性权重向量；

基于所述相关性权重向量以及所述多特征融合的键值记忆网络知识追踪模型，获取正确回答问题的概率，基于所述概率预测学生的学习能力。

优选地，计算所述问题难度信息特征的方法为：

其中，r

优选地，计算所述学生个人学习能力特征的方法为：

a

其中，r

优选地，所述多特征融合的键值记忆网络知识追踪模型MKVMN，包括：

编码模块：用于接受原始数据，并对所述原始数据进行编码获得所述问题编码向量、所述问题-响应编码向量；

读模块：用于通过所述问题编码向量与值记忆矩阵中所读出的内容进行计算，获取输出向量；

写模块：用于根据学生对当前问题的响应正确与否，通过所述问题-响应编码向量对所述值记忆矩阵进行更新操作；

预测模块：用于将所述输出向量进行进一步计算，获得学生正确回答问题的概率。

优选地，获取所述问题编码向量的方法为：

其中，c

获取所述问题-响应编码向量的方法为：

其中，s

优选地，获取所述学生当前回答的问题与潜在知识概念之间的相关性权重向量，包括：

将所述问题编码向量与所述多特征融合的键值记忆网络知识追踪模型MKVMN中的嵌入矩阵相乘，获取连续的嵌入向量；

所述连续的嵌入向量与所述多特征融合的键值记忆网络知识追踪模型MKVMN中的键记忆矩阵中每一个键槽做内积运算，并通过softmax激活函数获取所述学生当前回答的问题与潜在知识概念之间的相关性权重向量。

优选地，计算所述相关性权重向量的方法为：

其中，k

优选地，获取所述正确回答问题的概率，方法为：

p

其中，W和b是在训练过程中学习到的参数，f

与现有技术相比，本发明具有如下优点和技术效果：

(1)本发明提出了一种新的问题编码方式，该方法通过将问题难度信息与知识概念进行交叉融合，以此来代替传统的知识概念编码方式，这能够显著的提高模型的预测性能；

(2)本发明通过定义学生个人学习能力特征，动态的显示学生在整个学习过程中学习能力的变化情况，并将它与问题响应进行交叉融合，从而改进模型的预测性能。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例的MKVMN模型架构示意图；

图2为本发明实施例的写过程示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明提出了一种基于MKVMN模型的学生学习能力的预测方法，具体包括：

知识追踪的目标就是通过学生过去的学习序列来追踪学生的知识熟练状态。通常将知识追踪表征为一个序列预测问题，即给出学生的历史交互序列X＝{X

现有的知识追踪方法通常使用知识概念索引来表征问题，由于数据的稀疏性，这种设置方式是有必要的。然而，在大多数真实的数据集中，问题的数量远远大于知识概念的数量。这种传统的设置方式往往忽略了涵盖相同知识概念的问题之间的个体差异，从而限制了知识追踪方法的灵活性及其个性化潜力。因此，本实施例利用心理计量学中的经典模型IRT来构建新的问题编码和问题-响应编码方式。在IRT模型中，通常采用问题难度和学生能力两个标量来描述学生正确回答问题的概率。

(1)问题难度计算

为了衡量整个数据集中各种不同问题的难度系数d

其中，r

(2)学习能力计算

学生的历史交互序列是一种时间序列，而从这种交互序列中可以推断得出学生个人学习能力的变化情况。在这项工作中，本申请通过计算学生回答问题的正确率来表征其学习能力。具体来说，学生的个人学习能力a

a

其中，r

多特征融合的键值记忆网络知识追踪模型MKVMN，包括：

编码模块：用于接受原始数据，并对所述原始数据进行编码获得所述问题编码向量、所述问题-响应编码向量；

读模块：用于通过所述问题编码向量与值记忆矩阵中所读出的内容进行计算，获取输出向量；

写模块：用于根据学生对当前问题的响应正确与否，通过所述问题-响应编码向量对所述值记忆矩阵进行更新操作；

预测模块：用于将所述输出向量进行进一步计算，获得学生正确回答问题的概率。

问题编码：

在大多数真实的教育数据集中，问题的存储数量远远大于知识概念的集合数量，现有的知识追踪方法通常使用知识概念对问题进行索引，涵盖同一知识概念的所有问题都被视为一种问题。因此，如何更好地表示问题的信息是一个很大的挑战。学生能否正确回答问题不仅仅取决于问题所属的知识概念和学生的知识熟练程度，还取决于问题本身的特征(例如问题难度)。受心理计量学中经典模型IRT的启发，本实施例提出了一种新的问题编码方式，该方法通过将问题难度信息与知识概念进行交叉融合，以此来代替传统的知识概念编码方式，如图1所示。

在索引为t时构建的问题编码q

其中，c

问题-响应编码：

问题-响应编码方式与问题编码方式类似。本实施例定义了一个学生个人学习能力特征，将它与问题响应进行交叉融合，以此来代替传统的知识概念-响应编码方式。

在这项工作中，本发明在索引为t时构建的问题-响应编码e

s

其中，M是知识概念的总数，s

相关性权重计算：

计算相关性权重的意义就在于它能够表示出学生当前所要回答的问题与所有潜在知识概念之间的相关性大小。在获取到问题的编码向量q

其中，softmax激活函数的运算公式为

读过程：

当一个新的问题q

考虑到每个问题都有自己的难度大小，这里通常将读取的内容r

f

其中，tanh激活函数的运算公式为

写过程：

MKVMN模型中的写过程可以这样理解，当学生结束对当前问题q

在获取到问题-响应的编码向量e

其中，W

得到遗忘向量o

从上式可以看出，当权重向量w

与遗忘向量o

其中,W

在得到知识增长向量m

将读过程步骤中获得的输出向量f

p

其中，sigmoid激活函数的运算公式为

在MKVMN模型的训练期间，嵌入矩阵A和B以及W

为了评估本申请提出的MKVMN模型的有效性，本实施例将使用四个数据集来测试MKVMN模型，主要包括ASSISTments 2009数据集、ASSISTments 2017数据集、EdNet数据集以及Junyi数据集，所有数据集的统计数据如表1所示。

表1

(1)ASSISTments2009数据集

该数据集是在2009-2010学年由2004年创建的在线辅导系统ASSISTENTS收集的，平台主要是针对7-12年级的学生进行在线数学辅导。在该平台中，学生可通过学习相似的问题，如果正确回答该类型题目三次，平台则会终止该类型题目的出现。除此而外，在学生学习期间平台还会提供学生一定的帮助。ASSISTments2009数据集在过去十年中一直是知识追踪方法的标准基准，它主要由110个不同的问题、4029名学生和321486个练习记录(学生问题交互)组成，其数据集密度大致为0.06，非常稀疏。由于原始数据集中存在重重记录，本实施例在进行实验之前已将其删除，其部分数据示例如表2所示。

表2

(2)ASSISTments2017数据集

该数据集(https://sites.google.com/view/assistmentsdatamining)由在线辅导系统ASSISTENTS收集，它与ASSISTment2009数据集的收集平台相同，包含了最多的响应，其部分数据示例如表3所示。除此而外，与ASSISTment其他数据集(例如ASSISTment2015)不同的是，只有ASSISTments 2009和ASSISTments2017数据集包含问题ID。

表3

(3)EdNet数据集

该数据集作为学生成绩建模算法的大规模基准数据集，是由Riiid的Santa辅导系统收集的，该系统主要用于韩国学生准备国际交流英语考试(TOEIC)听力和阅读。每项测试分为7个不同的部分，4个评估听力，3个评估阅读能力。按照这种结构，Santa将其问题分为7个部分，提供了额外的细粒度KC。Santa是一个可在Android、iOS等网络设备上使用的多平台系统，用户可以自主选择他们想要关注的测试部分。为了以一致和有组织的方式提供各种服务，EdNet数据集提供了四个不同级别的数据集，每个级别分别命名为KT1、KT2、KT3和KT4。这四种层次结构，从问题回答练习到全面的UI交互，以不断增加的细节水平捕捉学生的行为。而且，随着数据集级别的增加，涉及的动作数量和动作类型也会增加。EdNet数据集的部分数据示例如表4所示。

表4

(4)Junyi数据集

JunyiAcademy基金会是一个位于中国台湾的慈善组织，它运营着JunyiAcademy在线学习平台，该平台主要为K-12学生提供各种教育资源。2015年，该基金会发布了2年来收集的学生的数学课程记录数据。JunyiAcademy的用户可以从大量主题中进行选择，可以针对单个问题提交多个答案，还可以请求提示。如果没有使用提示，并且在第一次尝试时提交了正确答案，则系统将答案注册为正确。数据集提供了一个先决条件图，它捕获了各个问题之间的语义依赖关系。除单个KC外，每个问题都标有区域标识符。

上述所提到的数据集由各种在线教学平台产生，这种原始数据并不一定是完整一致的，或多或少会存在一些缺失、重复和异常的情况发生。而在解决知识追踪问题的过程中，实验不能直接使用这些数据进行模型训练，而需要对这些原始数据进行分析和预处理。针对上述四种数据集，实验中需要去除没有问题ID、技能和响应的练习记录，删减一些负数的异常值记录。然后按照学生分组排列，根据各个数据集的所需特征值(例如ASSISTments2009数据集所需的特征字段为user_id、problem_id、correct和skill_id)，对数据进行一定的计算处理，最后转化为固定的数据格式文件。其中，第一行是学生回答的问题数量，第二行是学生回答问题的所属知识点，第三行是各个问题的难度信息，第四行是学生学习过程中的学习能力信息，第五行是学生回答问题的响应值。

本实施例主要将MKVMN模型与几种常见的知识追踪模型进行比较，这些常见模型包括DKT、DKT+、SAKT、DKVMN和SSAKT，如下所示。

DKT：深度知识跟踪模型DKT使用递归神经网络(RNN)或长短期记忆网络(LSTM)来跟踪学生的知识状态，这也成为第一个获得优异结果的深度知识追踪方法。

DKT+：该方法发现在初始的DKT模型中，由于模型无法重建输入以及知识状态跨时间步长的预测性能不一致，因此该方法在原始DKT模型损失函数的基础上，通过引入相对应的正则化项，来增强预测的一致性。

SAKT：该方法第一个基于自注意力的知识追踪模型，它摒弃了使用RNN来模拟学生历史互动的传统方法，而是通过考虑学生过去互动中的相关练习来进行预测。

DKVMN：该方法主要是受到记忆增强神经网络的启发，通过构建静态和动态的矩阵，分别用来存储知识概念和更新所有知识概念的掌握程度。

SSAKT：该方法利用基于多维项目反应理论(MIRT)的问题信息，可以捕捉问题和技能之间的关系。与传统的自注意力网络不同，模型中的自注意力层使用长短期记忆网络(LSTM)来执行位置编码。除此而外，SSAKT模型还设计了上下文模块来捕获上下文信息。

本实施例在NVIDIA Titan RTX GPU上使用Pytorch1.10和CUDA 11.6实现MKVMN模型和其他对照模型。一方面通过训练数据训练所有模型，另一方面根据测试数据对模型进行评估，并使用受试者工作特征曲线(ROC)下的面积(AUC)作为度量，以评估所有知识追踪方法在预测未来学习者对问题响应的性能。AUC值越高，模型的性能越好。

出于计算效率的原因，实验中截断了长度超过200的学生响应序列。如果一个学生有超过200个回答，需要将他们的整个序列分解为多个较短的序列。实验使用Adam优化器来训练所有模型，除了MKVMN和DKVMN模型在EdNet和Junyi数据集上将批量大小设置为16个学习者之外，其他情况下批量大小都设置为64个学习者，这样做的原因在于解决Out ofMemory的问题。除了DKVMN模型选取了0.01的学习率和SSAKT模型选取了0.0001的学习率之外，其余的模型都选取了0.001的学习率。而针对dropout rate的选取，除SAKT和SSAKT模型设置为0.2之外，其余模型设置为0.1。对于所有的数据集和算法，实验总共训练了50个epoch。

通过进行实验，将MKVMN的AUC结果与其他五个知识追踪模型进行了比较，如表5所示。从表中可以注意到MKVMN在所有数据集上都优于其他的知识追踪模型。具体而言，本申请的MKVMN模型优于其他模型至少1.66％，这证明了本申请提出的模型的有效性。值得注意的是，本申请的MKVMN模型在ASSISTment2009和EdNet数据集上的表现显著优于其他模型，显示了至少4％的增长。总的来说，SSAKT和MKVMN模型显著优于其他模型。与SSAKT模型相比，本申请的MKVMN模型通过添加问题难度信息和学生个人能力，并基于心理计量学中的经典模型IRT来构建新的问题编码和问题-响应编码方式，这有助于MKVMN模型获得更好的性能。

表5

SAKT模型的特点就是识别过去练习和下一次练习之间的相关性，以进行未来的性能预测。但遗憾的是，与DKT模型相比，SAKT模型在ASISTments2009数据集和Junyi数据集上并没有体现出特别的优势，在其余数据集上性能优于DKT模型。与DKT+模型相比，SAKT模型除了在EdNet数据集上有着1％的性能提升之外，在其余数据集上也并没有体现出特别的优势。DKT+模型与DKT模型相比，性能也有着一定的提升。

为了研究模型中不同部件的有效性，实验中又进行了一些消融研究，将MKVMN模型同几个变体进行对比，变体如下所示。

-MKVMN-RDA：移除问题难度信息和学生个人学习能力特征，采用原始的问题编码方式和问题-响应编码方式，即动态键值记忆网络模型。

-MKVMN-RD：移除融入问题难度信息的问题编码方式，仅添加基于IRT模型的问题-响应编码方式(融入个人学习能力特征)。

-MKVMN-RA：移除融入学生个人学习能力特征的问题-响应编码方式，仅添加基于IRT模型的问题编码方式(融入问题难度信息特征)。

除了上面提到的更改之外，实验中不会修改模型的其他部分，消融研究结果如表6所示。从表6中可以发现MKVMN模型在所有变体中实现了最佳性能，这证明了本申请模型不同部分的有效性。实验结果显示MKVMN-RD模型同原始的动态键值记忆网络MKVMN-RDA相比，模型的性能基本上提高了大约1％，这证明了模型采用融入学生个人学习能力特征的问题-响应编码方式的有效性。除此而外，MKVMN-RA模型同MKVMN-RDA模型相比，模型的性能也有着较大的提升，从侧面证明了模型采用融入问题难度信息特征的问题编码方式的有效性。最后，实验结果显示MKVMN-RD模型对于MKVMN-RDA模型的性能提升，逊色于MKVMN-RA模型。

表6

最后，本申请将DKT-IRT与DKT-IRT-DA模型进行了比较，其中DKT-IRT-DA模型是将MKVMN模型所采取的编码方式与DKT-IRT模型相结合而提出的知识追踪算法。实验结果见表7所示，实验结果显示，与原始的DKT-IRT模型相比，DKT-IRT-DA的预测性能有着明显的改进，AUC值大致提高了3％左右。然而，该模型仍然不如本申请提出的MKVMN模型，这是因为改进的动态键值记忆神经网络可以更好地跟踪学生的知识状态。

表7

本申请提出了一种新的基于多特征融合的键值记忆网络知识追踪模型MKVMN。与仅使用知识概念特征的知识追踪方法不同，MKVMN模型通过将问题难度信息与知识概念进行交叉融合，提出了一种新的问题编码方式。除此而外，MKVMN模型定义了学生学习能力变化的个人学习能力特征，并将它与问题响应进行交叉融合，从而能够显著的提高模型的预测性能。通过在四个真实数据集上的广泛实验，结果证明了本申请提出的模型的有效性。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。