一种基于可靠性的学生能力表征的认知诊断方法

技术领域

本发明涉及智慧教育领域中的学生个性化认知诊断。其主要技术思路是利用贝叶斯模型将学生建模为一种概率分布，从而在诊断学生能力水平的同时提供有关诊断结果可靠性的反馈。该方法旨在为学生提供更精确、针对性的学习建议，帮助他们更好地理解和掌握所学知识。

背景技术

近年来，智慧教育引起了越来越多的关注。该领域利用学生答题数据进行分析，以诊断他们在特定知识概念上的掌握程度。这些诊断结果可供教师在授课、课程推荐和试题选择等方面使用。

认知诊断作为智慧教育中的一项基本但重要的技术，最初起源于教育心理学。它们从多个方面对影响学生答题的诊断因素进行建模，如学生的能力向量、练习难度、区分度、猜测和失误等。这些诊断因素通过手工设计的不同诊断函数融合起来，以建模学生的最终答题情况。随着深度神经网络的应用不断深入，越来越多的研究人员开始将神经网络和认知诊断结合起来，利用文本信息或知识概念的关系来丰富学生和练习的相关表征，或者利用神经网络来拟合学生和练习之间复杂的交互作用。

尽管认知诊断已经取得了显著的进展，但仍面临许多挑战。其中一个主要问题是现有方法往往忽略了诊断结果的可靠性反馈。这种不可靠性可能源于多个因素，例如模型误差、数据噪声等。如果诊断结果不可靠，那么它们无法准确反映学生能力状态，也不能作为下游任务的可靠标准。因此，需要更加关注这个问题，并采取措施来提高诊断的可靠性。

发明内容

为了解决上述问题，本发明提出了一种基于可靠性的学生能力表征的认知诊断方法，以期能准确获得学生的能力表征，并能评估学生能力表征的可靠性，从而有助于更好地理解和掌握所学知识。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于可靠性的学生能力表征的认知诊断方法的特点在于，是按如下步骤进行：

步骤一、定义学生集S＝{s

定义练习集E＝{e

定义知识概念集C＝{c

令第i个学生s

步骤二、能力向量计算模块的处理：

步骤2.1、利用式(1)得到第i个学生s

式(1)中，|表示条件概率，

式(2)中，W

步骤2.2、利用式(3)将第i个学生s

式(3)中，

步骤2.3、利用式(4)对采样出的向量z

式(2)中，～表示采样，

步骤三、认知诊断模块的处理：

步骤3.1、利用式(4)得到第j个练习e

式(5)中，

步骤3.2、利用式(6)得到第i个学生s

式(6)中，y

步骤四、由能力向量计算模块和认知诊断模块构成可靠性认知诊断模型，并构建可靠性认知诊断模型的训练目标：

步骤4.1：利用式(7)优化可靠性认知诊断模型的参数：

式(7)中，p

L

式(8)和式(9)中，L

式(10)中，μ

步骤4.2、利用式(11)构建第i个学生s

式(11)中，

步骤4.3、利用式(12)构建损失函数L

式(12)中，o

步骤五、利用式(14)构建总损失函数L：

L＝L

式(14)中，γ和β是不同的超参数；

步骤七、利用梯度下降法对所述可靠性认知诊断模型进行训练，并计算总损失函数L以更新模型参数，直到总损失函数L收敛为止，从而得到训练后的学生能力表征的可靠性模型，用于预测学生能力表征及其可靠性。

本发明所述的一种基于贝叶斯的学生能力表征的可靠性建模方法的特点也在于：

若包含诊断因素的诊断范式f

式(15)中，o

本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述认知诊断方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述认知诊断方法的步骤。

与现有技术相比，本发明具有以下有益效果：

本发明旨在获得学生能力表征的诊断可靠性，通过引入一种可靠性认知诊断模型。首先，采用贝叶斯方法对学生的能力表征进行建模，将其表示为一个分布，并利用该分布的方差来表征诊断能力的可靠性。同时，通过使用校准损失函数，进一步确保所得到的可靠性评估更为准确合理。采用这一方法，不仅可以获得学生的能力表征，还能够获取能力表征的可靠性评估，从而提高了整体诊断质量。

附图说明

图1为本发明方法总体流程图。

具体实施方式

本实施例中，一种基于可靠性的学生能力表征的认知诊断方法，是利用基于贝叶斯方法将学生的能力表征建模为分布，用分布中的方差表示诊断的能力表征的可靠性，同时利用校准损失函数来保证诊断的能力表征的可靠性，具体的说，如图1所示，是按如下步骤进行：

步骤一、定义学生集S＝{s

定义练习集E＝{e

定义知识概念集C＝{c

令第i个学生s

步骤二、能力向量计算模块的处理：

步骤2.1、利用式(1)得到第i个学生s

式(1)中，|表示条件概率，

式(2)中，W

步骤2.2、利用式(3)将第i个学生s

式(3)中，

步骤2.3、利用式(4)对采样出的向量z

式(2)中，～表示采样，

步骤三、认知诊断模块的处理：

步骤3.1、利用式(4)得到第j个练习e

式(5)中，

步骤3.2、利用式(6)得到第i个学生s

式(6)中，y

步骤四、由能力向量计算模块和认知诊断模块构成可靠性认知诊断模型，并构建可靠性认知诊断模型的训练目标：

步骤4.1：利用式(7)优化可靠性认知诊断模型的参数：

式(7)中，p

L

式(8)和式(9)中，L

式(10)中，μ

步骤4.2、利用式(11)构建第i个学生s

式(11)中，

步骤4.3、利用式(12)构建损失函数L

式(12)中，o

步骤五、利用式(14)构建总损失函数L：

L＝L

式(14)中，γ和β是不同的超参数；若包含诊断因素的诊断范式f

式(15)中，o

步骤七、利用梯度下降法对可靠性认知诊断模型进行训练，并计算总损失函数L以更新模型参数，直到总损失函数L收敛为止，从而得到训练后的学生能力表征的可靠性模型，利用训练好的可靠性模型不仅可以获得学生能力表征，同时也可以获得模型诊断学生能力表征的可靠性。

本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。

本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。

实施例：

为了验证本方法的有效性，本发明采用智慧教育研究中常用的三个公开的数据集和一个私有数据集：Assistments2009，Junyi，ENEM和e-Math。每个数据集均删除作答日志少于15个的学生作答记录。对于处理之后的数据集Assistments2009，可以获得2493个学生，17671道练习，123个知识概念；对于处理之后的数据集Junyi，可以获得1000个学生，712道练习，39个知识概念；对于处理之后的数据集ENEM，可以获得10000个学生，185道练习，4个知识概念；对于处理之后的数据集e-Math，可以获得517个学生，1582道练习，61个知识概念。

对于学生成绩预测任务，本发明采用两类指标，一种是之前常用的ACC(Accuracy)，RMSE(Root Mean Square Error)和AUC(Area Under an ROC Curve)，一种是ECE(Expected Calibration Error)和MCE(Maximum Calibration Error)。ECE和MCE的值越小，置信度估计越好。

在本发明中，共使用了三种不同的诊断函数IRT，MIRT和NCD作为baseline，同时也为了证明本发明的方法可以兼容不同的诊断函数，从而得到了表中的Reli-IRT，Reli-MIRT和Reli-NCD。如表1所示：

表1实验结果

具体的说，首先，在所有的数据集上，Reli-IRT，Reli-MIRT和Reli-NCD较baseline均有着不错的效果提升，这说明了本发明可以在很大程度上提高结果的置信度；其次，Reli-IRT，Reli-MIRT和Reli-NCD在ACC，RMSE和AUC这三个指标上同样优于baseline说明了本发明在预测任务上同样有着不错的效果提升。