一种在交互式在线题库中预测学生表现的方法及设备

技术领域

本发明总体上涉及使用深度神经网络来预测学生在交互式问题中的测试表现的技术。

背景技术

图神经网络(Graph Neural Network，GNN)是从广泛使用的卷积神经网络(Convolutional Neural Network，CNN)改编且被专门设计成用于图和图形数据的深度神经网络。它们在处理图中的复杂关系时展示强大的能力，并且一些代表性工作被记录在例如以下的论文中：Thomas N.Kipf和Max Welling的“利用图卷积网络的半监督分类(Semi-supervised Classification with Graph Convolutional Networks)”，《国际学习表征会议(The International Conference on Learning Representations)》，2017年；WilliamL.Hamilton、Zhitao Ying和Jure Leskovec的“大型图的归纳表征学习(InductiveRepresentation Learning On Large Graphs)”，《神经信息处理系统会议(Conference onNeural Information Processing Systems)》，2017年；Michael Sejr Schlichtkrull、Thomas N.Kipf、Peter Bloem、Rianne van den Berg、Ivan Titov和Max Welling的“利用图卷积网络对关系数据进行建模(Modeling Relational Data With GraphConvolutional Networks)”，《扩展语义网会议(Extended Semantic Web Conference)》，第593至607页，2018年；Justin Gilmer、Samuel S.Schoenholz、Patrick F.Riley、OriolVinyals和George E.Dahl的“量子化学的神经消息传递(Neural Message Passing forQuantum Chemistry)”，《国际机器学习会议(The International Conference on MachineLearning)》，第1263至1272页，2017年；Yujia Li、Daniel Tarlow、Marc Brockschmidt和Richard S.Zemel的“门控图序列神经网络(Gated Graph Sequence Neural Networks)”，《国际学习表征会议(The International Conference on Learning Representations)》，2016年；以及Xiao Wang、Houye Ji、Chuan Shi、Bai Wang、Yanfang Ye、Peng Cui和PhilipS.Yu的“异构图注意力网络(Heterogeneous Graph Attention Network)”，《万维网会议(The World Wide Web Conference)》，第2022至2032页，2019年。这些论文以全文引用的方式并入本文中。在这些论文当中，一些工作被专门设计成用于处理异构图，而其它工作旨在对具有多维边特征的图进行图卷积。然而，对于具有多维边特征的异构图的工作却很少。

GNN已应用于例如推荐系统、社交网络分析和分子性质预测等各种应用中。在在线学习和教育的领域中可能发现极少应用。Qian Hu和Huzefa Rangwala关于大学教育的最近工作“利用基于注意力的图卷积网络的学业表现估计(Academic performance estimationwith attention-based graph convolutional networks)”，《教育数据挖掘(EducationData Mining)》，2019年，提出了一种被称为基于注意力的图卷积网络(Attention-basedGraph Convolutional Network，AGCN)的基于GNN的方法，所述方法利用GCN来学习频繁获取的先前课程的网络的图嵌入，然后应用注意力机制来生成最终预测成绩的加权嵌入。然而，此方法限于处理仅具有一种类型的节点(即，课程)和边(即，连续两个学期所修课程的连接)的图，此方法归因于交互式在线题库在问题和学生之间的本质上复杂的关系而无法应用于交互式在线题库中的学生表现预测。

学生表现预测是教育数据挖掘中的一项重要任务。例如，它可有助于推荐学习材料和提高在线学习平台中的学生保留率。根据在Qian Hu和Huzefa Rangwala的“利用基于注意力的图卷积网络的学业表现估计”，《教育数据挖掘》，2019年中记录的研究，关于学生表现预测的先前研究主要包含静态模型和顺序模型。并且静态模型是指学习学生特征的静态模式且进一步对学生表现进行预测的传统机器学习模型。另一方面，提出顺序模型以更好地捕获学生知识的时间演变或学习材料之间的基本关系。

循环神经网络(recurrent neural network，RNN)还可以用于从一系列学生问题解决记录中提取隐藏知识并且对学生的知识演变进行建模。然而，顺序模型无法直接应用于交互式在线题库中特定问题的学生表现预测，这是因为顺序模型旨在追踪学生在某一领域的知识演变并预测学生在所述领域的一系列问题中的表现。因此，如果这些顺序模型将用于预测问题层级表现，则每一领域可以仅由一个问题组成且因此追踪学生的知识演变不适用。在不具有学生知识水平的信息的情况下，预测变得不准确。

在Huan Wei、Haotian Li、Meng Xia、Yong Wang和Huamin Qu的“使用鼠标交互特征预测交互式在线题库中的学生表现(Predicting Student Performance inInteractive Online Question Pools Using Mouse Interaction Features)”，ArXiv:2001.03012，2020年中记录的最新研究通过基于学生鼠标移动交互引入新特征以划定问题之间的相似性来预测交互式在线题库中的学生表现。然而，此方法隐含地要求问题必须具有相似问题结构设计且涉及可能并不总是存在的鼠标拖放交互。

因此，对于交互式在线题库中的学生表现预测的更通用方法的需求尚未得到满足，所述方法可适用于具有数百或数千个不同类型问题的题库。

发明内容

根据本发明的各种实施例，提供一种基于新颖GNN的方法以预测交互式在线题库中的学生表现。该新颖GNN是残差关系图神经网络(residual relational graph neuralnetwork，R

更具体来说，在实现本发明的过程中，建立包括多个问题、多个学生的代表性数据以及学生与问题之间的交互数据的异构大型图，以广泛地对不同学生和问题之间的复杂关系进行建模。然后，将学生表现预测形式化为对于此异构图的半监督节点分类问题。分类结果是每个问题的学生分数水平(即，4个分数水平)。另外，引入用户指向装置(即，鼠标、轨迹垫、轨迹球等)移动特征以更好地划定学生-问题交互。

附图说明

下文中参考附图更详细地描述本发明的实施例，在附图中：

图1描绘根据本发明的实施例，用于交互式在线题库中的学生表现预测的方法的逻辑块和数据流图；

图2描绘根据本发明的实施例，通过用于交互式在线题库中的学生表现预测的方法处理的指向装置移动轨迹中的示例性指向装置移动的图示；

图3A描绘示例性问题解决节点网络的图示；

图3B描绘另一示例性问题解决节点网络的图示，其中，“Q”代表问题；“S”代表学生；

图3C描绘根据本发明的实施例，示例性学生-交互-问题(student-interaction-question，SIQ)节点网络的图示；

图3D描绘根据本发明的实施例的另一示例性学生-交互-问题(SIQ)节点网络的图示，其中，“Q”代表问题；“I”代表交互；“S”代表学生；

图4描绘根据本发明的实施例，R

图5A描绘需要指向装置拖放动作的示例性交互式问题；

图5B描绘需要指向装置单击动作的另一示例性交互式问题；

图6描绘使用根据本发明的实施例，R

图7描绘预测准确度随着在实验中实现的根据本发明实施例的R

图8描绘在训练、验证和测试数据集之间的拓扑距离与预测准确度之间的关系的示意图。

具体实施方式

在以下描述中，用于交互式在线题库中的学生表现预测的方法等被阐述为优选示例。本领域技术人员将能理解到，可以在不脱离本揭露内容的范围和精神的情况下进行修改，包括添加和/或替换。特定细节可以省略，目的为避免使本揭露内容模糊不清；然而，本揭露内容是为了使本领域技术人员能够在不进行过度实验的情况下，实现本揭露内容中的教示。

根据本发明的一个方面，提供一种用于交互式在线题库中的学生表现预测的方法，所述方法是同伴启发式的，这在于其广泛地考虑学生和他/她的同伴(即，忙于题库的其他学生)两者的历史问题解决记录，以更好地对学生、问题和学生表现之间的复杂关系进行建模，并进一步增强学生表现预测。图1展示所述方法的框架，所述框架包括三个主要逻辑过程执行模块：数据处理和特征提取模块(101)、节点网络构建模块(102)和预测模块(103)。数据处理和特征提取模块(101)用于预处理相关数据并从历史学生问答分数数据记录(101a)以及对应于历史学生问答分数数据记录的指向装置(即，鼠标、轨迹垫、轨迹球等)移动数据记录(101b)中提取特征(101c)，以在节点网络构建和学生表现预测中进一步处理。提取并考虑三种类型的特征：反映学生过去在回答问题时的表现的统计学生特征(被展示为学生节点特征(102a))、指示每个问题的问题受欢迎程度以及关于每个问题的平均学生分数的统计问题特征(被展示为问题节点特征(102b))，以及表示学生问题解决行为的特性的交互边特征(102c)。网络构建模块(102)从三种类型的特征建立网络(102f)，以广泛地对不同学生针对不同问题的各种表现进行建模。最后，将所构建的网络输入到预测模块(103)中。预测模块(103)包括使用残差关系图神经网络(R

根据本发明的另一方面，用于交互式在线题库中的学生表现预测的方法是由一种设备执行，所述设备包括：一个或多个计算机可读介质；以及一个或多个处理器，其耦合到一个或多个计算机可读介质。一个或多个处理器然后被配置成执行数据处理和特征提取模块(101)、节点网络构建模块(102)和预测模块(103)。

根据一个示例性实施例，分别在下表1和表2中列出的统计学生特征和统计问题特征是从历史分数记录中提取的。统计学生特征主要包括学生过去在各种类型的问题上的表现，以反映学生在特定类型的问题上的能力，例如，初次测验等级8和难度3的数字题的平均分数。统计问题特征展示它们的受欢迎程度和实际难度水平，例如，在问题上获得4的测验比例。

表1

表2

根据本发明的一个实施例，等级指示学生关于特定问题的目标等级。难度是表示特定问题从易到难的指数。数学维度是表示在特定问题中测试的知识主题的模糊数学概念。

根据本发明的一个实施例，在与交互式在线题库中的问题交互时考虑两种类型的指向装置移动：单击和拖放。然而，尽管两者存在差异，但它们都以移动事件“按下鼠标”开始并以移动事件“松开鼠标”结束，如图2所示。因此，当学生与问题交互(即，回答问题)时，在指向装置移动轨迹中出现一对必要的“按下鼠标”和“松开鼠标”指向装置移动事件可以被概括为“一般单击”(general click，GC)，并且提供一组交互式边特征，如下表3中所列出。

表3

这些特征主要被设计成用于反映学生在试图回答问题时进行的第一次GC。第一次GC可以显示问题的信息，例如所需类型的指向装置移动交互。而且，它们反映学生的问题解决和学习行为，例如在回答之前首先阅读描述、在详细地阅读问题描述之前首先猜测答案、在回答问题之前的时间思考。

对在交互式在线题库中的问题之间的关系进行建模具有挑战性，这是因为没有每个学生都需要遵循的课程或预定义问题顺序，所述课程或预定义问题顺序将会有助于对问题之间的关系进行建模。

因此，学生与所尝试问题的指向装置移动交互用作构建不同问题之间的相依性关系并建立问题解决网络的桥梁。当对学生进行表现预测时，他/她的同伴(即，其他学生)的指向装置移动记录都被考虑在内。图3A和3B示出问题解决网络，所述问题解决网络是具有包括学生节点(S)、问题节点(Q)的多维边特征以及带有上述多维指向装置移动特征的交互边的异构网络。

然而，不存在被设计成用于此类异构网络的GNN模型。通过以下文档中公开的分解边并将同构网络变换成二分网络的技术的启发，执行Edge2Node变换(102d)以将学生和问题之间的指向装置移动(交互边特征(102c))变换成“伪节点”(交互节点(102e))：JieZhou、Ganqu Cui、Zhengyan Zhang、Cheng Yang、Zhiyuan Liu和Maosong Sun的“图神经网络：方法和应用的综述(Graph Neural Networks:A Review of Methods andApplications)”，ArXiv:1812.08434，2018年(其公开内容以全文引用的方式并入本文中)。根据本发明的一个实施例，交互节点(102e)以及学生节点(102a)和问题节点(102b)然后用于建立学生-交互-问题(SIQ)网络(102f)，以对不同学生、问题和其交互之间的复杂关系进行建模，这还展示在图3C和3D中。SIQ网络(102f)形成将R

图4展示根据本发明的一个实施例的R

在R

其中W

在R

其中W

在R

其中

本发明的实施例是在从被称为LearnLex(https://www.learnlex.com)的交互式在线题库收集的现实世界数据集上实施并实验的。

在实施并执行实验时，LearnLex含有约1,700个交互式数学题且自2017年以来已经为20,000多个K-12学生提供服务。与大多数其它大规模开放式在线课程(Massive OpenOnline Course，MOOC)平台上提供的问题不同，学生可以在不具有预定义顺序的情况下自由地浏览和回答交互式问题，并且所述交互式问题仅被分配有模糊标签、等级、难度和数学维度。等级指示学生的目标等级且在0到12的范围内。难度是由问题开发者分配的表示从易到难的五个级别(即，1到5)的指数。数学维度是表示在问题中测试的知识的模糊数学概念。

除了这些标签之外，还收集了学生在其问题解决过程中的指向装置(鼠标)移动交互。根据在实验中进行的经验观测，在学生的问题解决过程中，主要存在两种类型的鼠标移动交互：拖放和单击。图5A展示需要将顶部处的块拖动到适当位置的指向装置动作的示例性问题。图5B展示要求学生单击按钮以完成给定任务的另一示例性问题。

当学生完成问题时，LearnLex平台会给提交的问题分配介于0到100之间的离散分数。问题的可能分数是取决于学生正确回答问题的百分比的固定数目个离散值，并且大多数问题最多有四个可能分数值。因此，将历史分数记录中的原始分数映射到四个分数水平(0-3)，以确保跨问题的分数标记一致。而且，实验中仅考虑学生对问题的第一次测验的分数。

在实验中，收集历史分数记录和鼠标移动记录两者。在历史分数记录中，从2017年9月13日到2020年1月7日共有973,676个条目，并且每个条目包含分数值、学生ID、问题ID和时间戳。鼠标移动记录含有从2019年4月12日到2020年1月6日致力于交互式在线题库的所有学生的原始装置事件(即，鼠标移动、松开鼠标和按下鼠标)、对应时间戳以及鼠标事件的位置。鼠标轨迹是学生的问题解决过程中生成的一系列原始鼠标事件。总共收集到4,020个学生对1,617个问题所进行的104,113个指向装置轨迹。

在实验中，提取具有从2019年4月12日到2019年6月27日的记录的原始数据集的部分(被表示为“短期”数据集)，以在预测准确度、标记数据集大小的影响以及训练、验证和测试集中的问题之间的拓扑距离的影响方面广泛地评估所提出的方法。在短期数据集中，总共存在3,008个学生对1,611个问题所进行的43,274个鼠标轨迹。考虑到标记数据太少会使GNN模型的训练变得困难，仅对已完成至少70个问题的学生进行实验。因此，在短期数据集中对47个学生进行计数。另外，使用从2019年4月12日到2020年1月6日的所有记录(被表示为长期数据集)来进一步评估本发明实施例的表现。筛选出的学生的范围扩大至包含那些已完成至少20个问题的学生。因此，此数据集中存在总共1,235个学生。

对于每个学生s，他/她在早期时间段中的70％问题解决记录用作训练数据集，接下来的15％记录用作验证集，并且最后的15％记录用作测试集。在处理数据集期间，训练集和验证集之间的拆分时间戳被记录为t

将本发明与最先进的GNN模型和用于学生表现预测的其它传统机器学习方法两者进行比较，以便广泛地评估本发明的表现。这些基线如下：

R-GCN：针对具有各种类型的边的网络提出的经典GNN模型。参考图6，利用输入网络的两种变体测试R-GCN。R-GCN(无E2N)表示R-GCN模型的输入是无边特征的问题解决网络；R-GCN(有E2N)表示输入是有Edge2Node变换的SIQ网络。

GBDT：利用树集合体的树模型。为了校验在我们的方法中将同伴信息整合到学生表现预测中的有效性，仅考虑GBDT中的学生和问题的统计特征。

SVM：构建一个或多个超平面以区分样本的模型。与GBDT相似，仅将学生和问题的统计特征馈送到SVM中。

LR：具有用于对因变量进行建模的逻辑函数的经典线性模型。仅将统计特征用于LR。

根据本发明的实施例且用于实验中的GNN模型是主要使用PyTorch和DGL进行实施，而GBDT、LR和SVM是利用Sci-kit Learn进行实施。对于在实验中实施和使用的R

三个不同度量用于全面地评估模型。此处，s、n

平均个人准确度(AP-Acc)评估模型对不同学生的平均预测准确度：

总准确度(O-Acc)评估模型对所有预测问题的平均预测准确度：

平均个人加权F1(APW-F1)评估模型对不同学生的平均加权F1分数：

下表4展示所进行的实验的结果。在所有方法当中，R

表4

图6进一步利用束流显示器展示盒形图，以展示47个学生在R

进一步研究训练数据大小对最终预测准确度的影响。为维持网络结构、测试集和验证集的一致性，实验中在训练数据集中保留了40％、60％和80％的训练标签。图7中展示在R

除了训练标签的数目之外，学生表现预测还可能受到测试集与训练或验证集之间的拓扑距离的影响。因此，在SIQ网络中计算训练数据集、测试集和验证集中的问题之间的平均最短距离。这些平均距离分别由

其中X和Y表示两组问题，并且

平行坐标图(parallel coordinates plot，PCP)用于展示平均距离对学生表现预测准确度的影响，如图8中所示。五个平行y轴分别用于分别对三个平均距离和两个准确度分数(即，测试准确度和验证准确度)进行编码。每条线表示数据集中的学生。浅到深颜色方案用于对

为了进一步评估其有效性和可推广性，将本发明的实验实施例的表现与长期数据集上的基线方法进行比较，所述长期数据集相较于短期数据集覆盖了更多学生的问题解决记录。下表5中的结果表明，当标记数据的数目有限时，本发明的实施例仍然可以实现高准确度和F1分数。

表5

本文公开的实施例可以使用特定配置的计算装置、计算机处理器或电子电路来实现，包含但不限于数字信号处理器(digital signal processor，DSP)、图形处理单元(graphical processing unit，GPU)、专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)，以及根据本公开的教示而配置或编程的其它可编程逻辑装置。基于本公开的教导，软件或电子领域的技术人员可以容易地准备在通用或专用计算设备、计算机处理器或可编程逻辑设备中运行的计算机指令或软件代码。

在一些实施例中，本发明包含计算机可读介质，所述计算机可读介质具有存储于其中的计算机执行指令或软件代码，所述计算机执行指令或软件代码可以用于配置计算装置、计算机处理器或电子电路系统以执行本发明的过程中的任一个。计算机可读介质可以包含但不限于ROM、RAM、快闪存储器装置，或者适于存储指令、代码和/或数据的任何类型的介质或装置。

提供本发明的前述描述是为了说明和描述的目的。并不旨在穷举或将本发明限制为所公开的明确形式。许多修改和变化对于本领域技术人员将是显而易见的。

以上所选择和描述的实施例是为了最好地解释本揭露内容的原理及其实际应用，从而使本领域的其他技术人员能够理解本揭露内容的各种实施方式以及具有适合于预期的特定用途的各种修改。本发明的范围旨在由所附权利要求及其等效物来定义。