一种基于深度学习的智能教学系统

技术领域

本发明涉及知识追踪、智能教辅系统、人工智能技术领域，尤其是一种基于深度学习的学生知识点掌握的预测技术。

背景技术

当今社会，学生们学习压力很大。智能辅导系统(ITS)是智能化、个性化地安排学生学习，提高学生学习效率的系统。学生在学习信息技术方面有自主权。他们有不同的学习时间表，不需要学习相同的材料。所有这些都需要建立在对学生知识水平的时间变化进行准确跟踪的基础上。本质上，一个学习实例可以被视为一个或多个知识点(或称知识组件，Knowledge Component,KC)的学习。本质上，学生对一个问题的应答结果能够一定程度地反映出了所包含的知识的熟练程度。我们需要一个学生模型，在这些复杂的历史信息中对学生进行恰当的评价，并总结出准确的规律。在学生模型的帮助下，跟踪学生的掌握水平，从而合理地规划未来的学习策略。被预测的掌握水平较低的知识点将被复习，被预测的掌握水平较高的知识点将被推迟复习，为新的学习材料预留时间。

早期学习策略是基于人工设定的方法。其中，间隔效应和测试效应自19世纪被发现以来被广泛复制。间隔效应表明，在时间上分配学习片段比在一次性的学习更有利于长期记忆。测试效应则表示，学习后的自测比单纯的复习更有效。

最近的研究集中在开发自适应和个性化的间隔调度程序，以提高抽认卡的长期记忆保持率。然而，大多数学习策略都是基于简单的数学模型。如今，数据量和计算能力都得到了极大的提升，数据驱动的知识跟踪(KT)模型将更适合这一需求。

知识追踪(KT)是指学生在参与一个或多个知识点学习的系列学习活动时，追踪学生知识状态演变的任务。早期的知识跟踪模型是通过实验和经验获得的。Ebbinghaus记忆了一些无意义的单词，并试图在不同的时间段后回忆它们，绘制了遗忘曲线，corbett 和Anderson应用贝叶斯知识跟踪(BKT)来评估用户知识的时间变化，使学习过程开始被准确预测。Rasch和Georg提出的项目反应理论(IRT)将用户能力和项目难度的概念引入到评价中，使得对不同问题的学生进行评价成为可能。Cen等人提出的加行因子模型(AddictiveFactor Model,AFM)，断言KC的累计学习时间对其掌握有影响。基于 AFM，Pavlic等人提出了表现因子分析模型(Performance Factor Analysis,PFA)，指出学生对知识点的掌握既取决于以前的学习成绩，也取决于以前的学习成绩。Piech等人提出的深度知识追踪模型(Deep Knowledge Tracing,DKT)将神经网络方法引入知识追踪领域。它使用循环神经网络(Recurrent Neural Network,RNN)模型跟踪用户学习。 RNN的隐藏状态代表学生当前的知识状态，学生对知识点的反应预测由隐藏状态的内积和知识点的特征向量计算。

许多研究者提出了DKT的改进方案。Yeung和Yueng引入了预测一致性正则化，以解决预测中的重建和波动过渡问题。Yang和Zhang试图编码更多隐含的异质特征，以丰富DKT的输入信息。Zhang等人，实现了特征工程方法来丰富编码。Chen等人则引入了 KCs之间的先决关系，使预测更加合理。动态键值记忆网络(DKVMN)提出了一个键值矩阵和一个值矩阵分别表示KC特征和学生知识状态，使模型更具解释性。Lee等人使用 LSTM跟踪学生的知识状态进行知识查询。Pandey和Karypis在文献提出的变压器模型的基础上，提出了自注意力机制下的知识跟踪(SAKT)，其性能优于现有模型。

经典的数据挖掘方法也被用于知识跟踪领域。Rich等人使用GBDT方法追踪学生的第二语言学习情况。知识跟踪机(Knowledge tracking Machine，KTM)结合了IRT、PFA 和AFM等经典的KT方法，利用因子分解机(Factorization Machine,FM)模型对学生知识进行跟踪。在KTM中，学生、问题、知识成分、以前的学习记录等因素被编码成稀疏矩阵。通过FM学习不同特征的影响以及它们之间的交互作用。

然而，许多现有的数据驱动模型忽略了一个重要的因素，即学生的遗忘。这些模型在接收到新的学习记录数据时会更新学生的知识水平，但在没有学习记录的情况下，它们无法预测学生在不同时间的未来表现。例如，当一个学生完成了一系列的学习，模型不知道什么时候通知他们在没有后一个学习的情况下复习。这是因为这些模型不能有效地跟踪学生知识水平在时间域内的变化。因此，在数据驱动的前提下，对学生知识水平的变化进行时域建模就显得尤为重要。

因此，在KTM的基础上，DAS3H提出对不同时间窗的学生学习历史进行编码，建立学生学习和遗忘的模型。DAS3H建立在了DASH模型的基础上。DAS3H指代的是项目难度、学生能力、技能和学生技能练习历史(item Difficulty,student Ability,Skill,and StudentSkill practice History)，

KTM和DAS3H对学生先前学习的知识点进行了总结和编码，并使用FM预测其未来的表现。与简单地用向量表示学生知识的RNN相比，KTM和DAS3H的编码更加通用和可解释。另外，KTM的编码可以更加全面。可以对各种数据(如教师id、学校id、教学模式等)进行编码进行预测。

但是对于KTM和DAS3H来说，冷启动问题是值得注意的。KTM和DAS3H依赖于知识点的反复学习。对于一些不经常使用的知识点，该方法可能退化为IRT。

发明内容

本发明是一种基于深度学习的智能教学系统，进行学生学习材料的推荐，提高学习系统的智能化程度，方便用户使用。为了解决前述知识追踪的技术问题，本发明采用了将DKT与KTM和DAS3H进行融合的改进方法用以学生的未来学习推荐。本方案将应用RNN 对学生的知识状态进行跟踪，作为KTM和DAS3H编码的补充。

本方案的应用场景为：在线智能教育系统的数据库提供关于学生对于题库中试题的作答记录。每一次作答记录包含学生的个人信息(如学生编号等)，试题的信息(试题的编号等)，相关知识点信息(如知识点的编号)，学习场景的描述(学习的时刻、时长、学习的方式等)。要求找到对学生知识点掌握情况的合理预测，并以此推测学生对知识点的遗忘，以及外来对某些试题的作答结果，根据预测结果为学生提供更加合理的学习内容推荐。本发明的技术方案包括两个阶段：

(1)系统更新阶段：采用RNN的方法，对学生学习过程中的状态进行跟踪。采用基于时间窗划分的编码，对学生的过往学习记录和当前场景进行概括。训练神经网络，根据学生状态跟踪和当前场景描述，预测学生对知识点的掌握水平。

(2)学习推荐阶段：根据对候选试题的作答结果预测，给出合适的试题和学习材料推荐，学生作答后，记录学生的该次学习。

具体的，本发明的技术方案如下：一种基于深度学习的智能教学系统，包括：

学习记录获取模块，用于从数据库中获取学习记录，相关信息包括学生编号，试题编号，相关知识点，作答结果，作答时间；

场景编码模块，用于将学生的过往学习记录和当前场景进行总结概括和编码，得到概括性编码。

学习序列编码模块，用于学生对知识点的过往学习序列进行编码，得到知识点作答编码；

神经网络训练模块，用于根据概括性编码与知识点作答编码，训练神经网络；

预测模块，用于在给定场景下对学生作答结果进行预测；

学习调度模块，用于根据学生作答结果预测，为学生推荐学习内容。

进一步的，所述神经网络训练模块，其训练过程如下：

1)初始化：初始化RNN网络和FM网络；

2)将知识点作答编码传入RNN网络，RNN网络进行前向更新，得到学生知识状态向量；

3)将学生知识状态向量与概括性编码进行拼接，作为FM网络的输入；

4)FM网络进行前向更新，输出结果为学生对当前试题的作答结果的预测；

5)将学生对试题作答结果的预测值与实际值进行对比，根据对比的差值，反向对RNN网络和FM网络的内部参数进行更新。

进一步的，所述学习记录获取模块，其学习记录获取过程如下：

1)当新增一次用户学习时，向MySQL数据库中插入一条学习记录，包含学生ID、试题ID、学习时刻、作答结果；

2)当训练神经网络和预测作答结果时，进行MySQL查询，返回当前学生的相关学习记录。

进一步的，所述场景编码模块，对场景记录和编码的过程如下：

1)获取当前场景信息，得到当前的时刻、学生ID个人信息、试题的文本ID属性；

2)将当前场景进行编码，将学生ID、当前待作答试题ID、当前所学知识点ID编码成为独热码(one-hot encoding)的形式；

3)根据当前时刻和从学习记录获取模块获取的过往学习记录，对当前所学的知识点进行学生的过往学习概括；知识点过往学习概括包含了：若干个时间窗口内学生的累计作答次数、累计答对次数；

4)将所得的场景编码、过往编码拼接，得到概括性编码，概括性编码将作为神经网络训练模块和预测模块的输入。

进一步的，所述学习序列编码模块，学习序列编码过程如下：

1)从学习记录获取模块获取的过往学习记录，得到学生每一次的所学知识点，以及每次学习情况，即答对或者答错测试题；

2)对学生的每一次学习，根据所学的知识点ID，编码成为多热码(multi-hotencoding)的形式，得到知识点学习编码；

3)将所得知识点学习编码通过一个知识点embedding矩阵，得到学习内容编码；

4)根据当前学习作答结果，将学习内容编码扩充成为知识点作答编码。知识点作答编码将作为神经网络模块和预测模块的输入数据。

进一步的，所述预测模块，预测过程如下：

1)对于当前的学习场景，调用场景编码模块，生成概括性编码，对于当前的学生，调用学习序列编码模块，生成知识点作答编码；

2)调用已训练好的神经网络，输入概括性编码和知识点作答编码，对学生的作答结果进行预测。

进一步的，所述调度模块，调度过程如下：

1)根据用户的当前学习进度和学习需要，筛选出候选试题集；

2)调用预测模块，对候选试题集中的每一道试题的作答结果进行预测，得到学生对每道试题的作答结果预测；

3)根据所得的对每道试题的作答结果预测，推荐合适的试题供学生学习。

有益效果：

(1)本发明采用RNN网络能够捕捉学生对知识点的掌握状态，采用FM网络能够结合学习的场景等相关信息对学生作答结果做出准确预测。通过结合两者方法，能够使得预测的准确率更高。

(2)本发明根据对过往学生知识点作答结果的追踪，本方案能够总结出学生的知识点掌握水平的时序变化。结合未来场景的概括性编码，能够准确地预测出未来的作答结果，对学习内容智能化推荐，提高智能教学系统的智能化水平。

附图说明

图1：基于深度学习的智能教学系统模块图；

图2：智能教学系统更新阶段和学习调度阶段；

图3：神经网络的训练流程；

图4：神经网络的结构示意图；

图5：概括性编码示例；

图6：知识点作答编码示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明的技术方案将采用RNN的方法，跟踪学生的知识状态。并将学生以往学习记录的概括描述、当前学习场景的描述等信息进行编码，所得编码成为概括性编码。并采用因子分解机(Factorization Machine,FM)的方法，结合得到的概括性编码以及学生的知识状态，对未来学生对特定试题的作答结果进行预测。根据多得的作答预测结果，为学生推荐合适的学习材料。

本发明的技术方案的系统更新阶段和学习调度阶段如图2所示，包括如下步骤：

1、系统更新阶段，具体实施步骤如下：

1)从数据库中获取学习记录，相关信息包括学生编号，试题编号，相关知识点，作答结果，作答时间等；

2)将学生的过往学习记录和当前场景进行编码，得到概括性编码；

3)将学生对知识点的过往作答结果进行编码，得到知识点作答编码；

4)根据概括性编码与知识点作答编码，训练神经网络；

5)得到的网络即为所需的学生知识点掌握预测网络。根据编码学生的过往作答结果与当前作答场景，会对当前学生作答结果进行预测。

2、学习调度阶段，具体实施步骤如下：

6)根据用户的当前学习进度和学习需要，筛选出候选试题集；

7)调用预测模块，对候选试题集中的每一道试题的作答结果进行预测，得到学生对每道试题的作答结果预测；

8)根据所得的对每道试题的作答结果预测，推荐合适的试题供学生学习；

9)记录学生的本次学习结果。

其中，步骤4)中所述的训练神经网络，其训练流程如图3所示，步骤如下：

4.1)初始化：初始化RNN网络和FM网络；

4.2)将知识点作答编码传入RNN网络。RNN网络进行前向更新，得到学生知识状态向量；

4.3)将学生知识状态向量与概括性编码进行拼接，作为FM网络的输入；

4.4)FM网络进行前向更新，输出结果为学生对当前试题的作答结果的预测；

4.5)将学生对试题作答结果的预测值与实际值进行对比，根据对比的差值，反向对RNN网络和FM网络的内部参数进行更新；

4.6)判断是否达到结束更新的条件。若满足结束更新的条件，结束；否则，返回4.2)。

所述的神经网络的模型如图4所示，其结构如下：

1)知识状态追踪单元：用以根据学生的历史作答结果追踪学生的知识状态。通常采用循环神经网络(RNN)的结构，本发明采用了RNN网络的变体长短期记忆网络(LSTM) 或门控循环单元网络(GRU)实现。

2)编码拼接单元：用以将追踪得到的知识状态与先前输入的当前场景下的概括性编码进行拼接。

3)作答预测单元：用以预测学生的作答结果。

所述步骤2)概括性编码具体包括：

根据学生在过往不同的时间窗口下的作答结果，进行概括性编码。编码的相关属性包括但不局限于：

Item_id：试题的ID。

Skill_id：相关知识点ID。

Fails_in_time_windows：不同时间窗口内的学生答错计数。

Wins_in_time_windows：不同时间窗口内的学生答对计数。

其他可列举的相关属性，如学习模式、教师ID等。其选取取决于具体提供的数据集的类型。

Item_id和Skill_id均是可列举的数据类型，可以采用one-hot或multi-hot的编码方式；而Fails_in_time_windows和Wins_in_time_windows均是数值型的数据类型，所以编码时将其值做一个标准化后即可作为编码。

具体地说：

1.由于每次学生作答记录值包含了一道试题的作答结果，因此对Item_id采用了one-hot编码。例如，假设题库中总共有N道题，本次学生作答的是试题i。此时得到编码encoding

2.由于学生的一次试题作答可能包含多个相关知识点，因此对Skill_id采用了multi-hot编码。例如，假设题库中共包含了K个知识点，本次学生作答的是知识点k

3.对于不同时间窗口的学生知识点历史作答结果，为了避免某些时间窗下的学生作答过于频繁，造成网络的迭代困难，将进行一个标准化的操作：c′

Fails_in_time_windows

Wins_in_time_windows

对所有的相关知识点，都进行如此的编码。而对于所有的不相关知识点，将其编码为等长度的全0向量。如此，将得到的一系列Fails_in_time_windows

图5所示是概括性编码的一个例子。“时间”栏表示学习记录的时刻，“结果”栏表示的是该次学习的最终作答结果。

所述步骤3)知识点作答编码具体包括如下步骤：

本发明采用的知识点作答编码与DKT的类似。但与之不同的是，由于实质上每道试题中可能包含多个知识点，在知识点作答编码中采用DKT的one-hot编码方式并不合适。本方案采用的是multi-hot的编码方式。

学生的一次试题作答可由一个练习元组(q

于是这个练习元组被分割成为一系列的知识点作答元组：

每个知识点作答元组可得到一个one-hot编码e

其中E为embedding矩阵，其维度为K×D。K为知识点数，D表示知识点embedding 向量的长度。

根据当前的作答结果，将知识点学习内容编码扩充成为知识点作答编码：

编码的示意图如图6所示。

所述步骤4.2具体如下：

RNN网络被用来跟踪学生的知识状态的变化。RNN网络的具体类型可以选择长短期记忆模型(Long-Short Term Memory,LSTM)，门控循环单元(Gated Recurrent Unit,GRU)等。

RNN的一次前向过程中，学生状态的改变由其上一时刻的状态和当前时刻的输入的知识点作答编码决定：

得到的新时刻学生状态h

初始时刻的学生知识状态h

所述步骤4.3-4.4具体如下：

FM网络接受了学生知识状态和概括性编码的拼接结果，对学生的做题表现作出预测：

其中，FM表示因子分解机(FM)的一次前向传播，计算的公式为：

其中，μ表示整体偏置量，w

所述步骤4.5进行模型的更新具体如下：

对于时刻t，学生的在该时刻之前的学习记录将被编码为一个概括性编码x

根据编码

由于模型的全部参数包括RNN网络参数，FM网络参数均可导，因此可以用随机梯度下降的方式更新模型参数。

所述步骤7)预测学生的未来表现具体包括：

当模型训练完毕后，可用来预测学生未来对知识点和试题的表现。由于该方案基于学生对过往不同时间窗口下的作答情况，预测学生未来的表现，因此，在不同时刻下，得到的概括性编码不同，得到的学生作答结果的预测也将不同，便能够预测未来的学生的知识点的遗忘情况。

根据训练好的模型，进行学生的知识点掌握和试题作答情况的预测时，将依据如下情况进行。

1)初始化学生的知识状态。

2)从数据库获取该学生的过往学习记录，进行知识点作答编码后，输入RNN网络，得到学生的知识状态。

3)设定未来的学习场景。包括学习的时刻，作答的试题，相关知识点，以及其他的信息。

4)对于每一个相关知识点，根据从设定的学习时刻起，回溯不同的时间长度，得到不同时间窗口下学生对这一个知识点的作答情况的统计。根据统计结果，生成相关的概括性编码。

5)将学生的知识状态与概括性编码进行拼接，输入到训练好的FM网络中，得到对于未来的学习的作答结果的预测。

所述步骤6)筛选出候选试题集，具体包括：

6.1)当学生进入学习模块时，根据学生的当前年级、课程进度、学习科目、学习单元等信息，从试题库中初步筛选出备选子题库。

6.2)学生选择学习阶段：课前学习，课堂练习，课后测评，试题复习。根据所选的学习形式，进一步筛选出合适题型的试题和学习内容。

所述步骤8)推荐合适的试题和学习内容，具体包括：

8.1)根据得到的每道试题和学习材料的学生作答预测，筛选排除出不适合当前学习阶段难度的试题和学习材料。

8.2)根据设定单次学生学习的难度分布，生成本次学习的试题和学习资料集合。

其中所述步骤8.1)筛选出不适合当前学习阶段难度的试题和学习材料，具体包括：

学生在课前学习阶段对知识点的了解不够深入，因此难以顺利完成难度较大的试题，这一阶段只适合推荐难度较低且学生容易答对的试题和材料，让学生对知识点有初步的理解；学生在课堂练习阶段，对知识点有了一定的了解，但概念不够清晰且熟练度不高，需要适当提升试题的难度；学生在课后测评阶段，对知识点的了解更加深入，此时需要提升试题难度以使得掌握相关试题的作答技巧。试题复习阶段，侧重两类错题：学生已然掌握的错题题，以及学生依然不会的试题。

所述步骤8.2)生成本次学习的试题和学习资料组合，具体包括：

一次完整的学习包括各类试题和学习资料，需要将这些材料进行组合，成为一个有机的整体。生成试题和学习资料组合，需要考虑不同难度的试题分布、学习材料的知识点分布、完成本次学习所需的时间、各类材料的内容分布等。在本发明中，将各方面的指标进行加权求和，得到最终的优化指标，并运用了遗传算法对此进行了优化，最终得出合适的试题和学习资料组合，提高了学习系统的智能化水平和效率。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。