视频知识点确定方法、装置、电子设备和存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种视频知识点确定方法、装置、电子设备和存储介质。

背景技术

将教学视频打上知识点的标签，可以更好地支撑教学视频的检索、分类、推荐等业务，从而有效利用教学视频资源。但是在实际操作过程容易出现偏差，导致视频知识点预测结果不准，进而会影响视频知识快速检索以及基于视频知识点的学习推荐。

目前，一般是通过抽查的方式对视频知识点切片的预测结果实施人工观察，判断视频的知识点预测结果是否准确，如果发现预测不准，则需要组织专家评审进行人工校正。然而，人工观察以及人工校正需要消耗大量的时间和精力，造成资源消耗、成本上升，并且，每个观察人员的知识背景以及对知识点标准的理解不一致，导致无法对视频知识点预测结果是否准确形成统一的判断。

发明内容

本发明提供一种视频知识点确定方法、装置、电子设备和存储介质，用以解决现有技术中人工审查消耗大量时间和精力的缺陷，实现提高视频知识点的准确度的同时节省人力物力。

本发明提供一种视频知识点确定方法，包括：

对目标视频进行知识点预测，得到初始知识点序列；

对所述初始知识点序列中每两个相邻知识点进行知识点关系校验，得到所述初始知识点序列中的待校正知识点，并确定所述初始知识点序列中与所述待校正知识点相邻的上下文知识点；

基于与所述上下文知识点之间存在知识点关系的关联知识点，对所述待校正知识点进行校正，得到所述目标视频的知识点序列。

根据本发明提供的一种视频知识点确定方法，所述对所述初始知识点序列中每两个相邻知识点进行知识点关系校验，得到所述初始知识点序列中的待校正知识点，包括：

基于预先设定的各知识点实体之间的知识点关系信息，获取所述初始知识点序列中每两个相邻知识点之间的知识点关系信息；

基于每两个相邻知识点之间的知识点关系信息，确定所述初始知识点序列中的待校正知识点。

根据本发明提供的一种视频知识点确定方法，所述基于每两个相邻知识点之间的知识点关系信息，确定所述初始知识点序列中的待校正知识点，包括：

若任意两个相邻知识点之间的知识点关系信息为无关联，或者所述任意两个相邻知识点之间的知识点关系信息中的关联得分小于预设得分阈值，则从所述任意两个相邻知识点中确定出所述待校正知识点。

根据本发明提供的一种视频知识点确定方法，所述基于与所述上下文知识点之间存在知识点关系的关联知识点，对所述待校正知识点进行校正，得到所述目标视频的知识点序列，包括：

基于所述上下文知识点中上文知识点的后继知识点，以及所述上下文知识点中下文知识点的前驱知识点，对所述待校正知识点进行校正，得到所述目标视频的知识点序列；

所述后继知识点为与所述上文知识点之间存在后继关系的关联知识点，所述前驱知识点为与所述下文知识点之间存在前驱关系的关联知识点。

根据本发明提供的一种视频知识点确定方法，所述基于所述上下文知识点中上文知识点的后继知识点，以及所述上下文知识点中下文知识点的前驱知识点，对所述待校正知识点进行校正，包括：

若仅存在一个同时为所述后继知识点和所述前驱知识点的重合知识点，则应用所述重合知识点替换所述待校正知识点；

否则，基于各候选知识点与所述待校正知识点在所述目标视频中对应视频切片的匹配度，和/或各候选知识点与所述初始知识点序列的匹配度，从各候选知识点中选取知识点替换所述待校正知识点，所述各候选知识点包括所述后继知识点以及所述前驱知识点。

根据本发明提供的一种视频知识点确定方法，所述各候选知识点与所述待校正知识点在所述目标视频中对应视频切片的匹配度是基于如下步骤确定的：

确定所述待校正知识点在所述目标视频中对应视频切片的切片文本；

计算各候选知识点与所述切片文本之间的匹配度，作为各候选知识点与所述待校正知识点在所述目标视频中对应视频切片的匹配度。

根据本发明提供的一种视频知识点确定方法，所述对目标视频进行知识点预测，得到初始知识点序列，包括：

抽取所述目标视频的图像帧，对所述图像帧进行预处理，得到所述目标视频的待识别帧，所述预处理包括去冗余、知识点无关筛除和目标区域检测中的至少一种；

对各待识别帧进行文本抽取，并基于抽取所得的文本确定各待识别帧的知识点；

基于各待识别帧的知识点，构建所述初始知识点序列。

本发明还提供一种视频知识点确定装置，包括：

预测模块，用于对目标视频进行知识点预测，得到初始知识点序列；

校验模块，用于对所述初始知识点序列中每两个相邻知识点进行知识点关系校验，得到所述初始知识点序列中的待校正知识点，并确定所述初始知识点序列中与所述待校正知识点相邻的上下文知识点；

校正模块，用于基于与所述上下文知识点之间存在知识点关系的关联知识点，对所述待校正知识点进行校正，得到所述目标视频的知识点序列。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述视频知识点确定方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述视频知识点确定方法的步骤。

本发明提供的视频知识点确定方法、装置、电子设备和存储介质，通过对初始知识点序列中每两个相邻知识点进行知识点关系校验，确定待校正知识点，避免了人工审查知识点消耗大量的时间和精力、判断标准不统一的问题，并且，通过基于与上下文知识点之间存在知识点关系的关联知识点对待校正知识点进行校正，提高了视频知识点的准确度，进而有利于视频知识快速检索以及基于视频知识点的学习推荐。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的视频知识点确定方法的流程示意图之一；

图2是本发明提供的待校正知识点确定方法的流程示意图；

图3是本发明提供的初始知识点序列获取方法的流程示意图；

图4是本发明提供的知识点关系及关联得分的示例图之一；

图5是本发明提供的知识点关系及关联得分的示例图之二；

图6是本发明提供的候选知识点的示例图；

图7是本发明提供的匹配度计算方法的示意图；

图8是本发明提供的视频知识点确定方法的示意图之二；

图9是本发明提供的父子关系的示例图；

图10是本发明提供的依赖关系的示例图；

图11是本发明提供的兄弟关系的示例图；

图12是本发明提供的应用关系的示例图；

图13是本发明提供的参考关系的示例图；

图14是本发明提供的游离关系的示例图；

图15是本发明提供的知识点关系的示意图；

图16是本发明提供的视频知识点确定装置的结构示意图；

图17是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着线上教学的课程越来越多，一方面，视频作为教学的载体，承载着讲师的教学过程，日渐成为促进教师专业发展中的主流资源形式；另一方面，大量的教学实录视频存储下来，如何有效利用视频，成为资源利用的关键。通过为教学视频打上知识点的标签，可以更好地支撑教学视频的检索、分类、推荐等业务，增加视频使用的可行性和便利性，从而有效地利用教学视频资源，同时，可以便于从多个角度重复地研究课堂教学，进行教学评估。

但是，由于缺少有效的视频分析体系、视频观察成本较高，教学视频的利用存在一些使用障碍；同时，由于知识点实体采取视频对应的通用课程讲义的章节的方式，而实践上课过程中，讲师会部分基于通用的讲义，实际上会结合学生的情况以及知识点的难度和深度进行关联讲解，还有很多视频是缺少讲义概要的，视频抽取关键帧、知识点预测等过程也容易存在偏差，这些都会导致视频知识点预测结果不准，进而会影响视频知识快速检索以及基于视频知识点的学习推荐。

对此，本发明实施例提供一种视频知识点确定方法，图1是本发明提供的视频知识点确定方法的流程示意图，如图1所示，该方法包括：

步骤110，对目标视频进行知识点预测，得到初始知识点序列。

具体地，目标视频即需要确定所讲解的知识点的教学视频。为了能够确定目标视频对应所讲解的知识点，本发明实施例首先对目标视频进行知识点预测，从而得到目标视频对应的多个知识点。本发明实施例中，考虑到学习是一个循序渐进的过程，目标视频在进行知识点讲解时同样是逐个知识点进行讲解的，因此可以将目标视频中的多个知识点按照目标视频中逐个讲解的顺序进行排列，从而得到初始知识点序列。此处，初始知识点序列包括目标视频中讲解的各个知识点，各个知识点是按照目标视频中的讲解顺序进行排列，例如，[数据获取、知识抽取、知识表示、知识融合、知识建模、知识推理、关于规则的推理、关于逻辑的推理]。

步骤120，对初始知识点序列中每两个相邻知识点进行知识点关系校验，得到初始知识点序列中的待校正知识点，并确定初始知识点序列中与待校正知识点相邻的上下文知识点；

步骤130，基于与上下文知识点之间存在知识点关系的关联知识点，对待校正知识点进行校正，得到目标视频的知识点序列。

此处，知识点关系是指一个知识点与另一个知识点存在的某方面关联，本发明实施例对知识点关系的类型不作具体限定，例如可以包括依赖关系、父子关系、兄弟关系、应用关系、参考关系、游离关系等。

具体地，考虑到知识点预测所得到的知识点容易存在偏差，进而会影响视频知识快速检索以及基于视频知识点的学习推荐，针对这一问题，本发明实施例从初始知识点序列中相邻的两个知识点之间的关联关系入手，基于关联关系判断预测得到的各个知识点是否合理，如果判断得知存在不合理的知识点，则可以进一步基于关联关系对不合理的知识点进行校正，具体流程如下：

首先，对初始知识点序列中每两个相邻知识点进行知识点关系校验，如果每两个相邻知识点都校验通过了，即每两个相邻知识点之间都存在合理的关联关系，则说明预测得到的各个知识点都是合理准确的，此时可以确定目标视频对应的知识点序列即为初始知识点序列；而如果存在任两个相邻知识点校验不通过，说明这两个相邻知识点的预测并不符合教学视频在知识点串讲上的连贯性，可以从这两个相邻知识点中确定出需要进行知识点校正的知识点即待校正知识点。

随即，即可确定出初始知识点序列中与该待校正知识点相邻的上下文知识点，再根据与上下文知识点之间存在知识点关系的关联知识点，对该待校正知识点进行校正，最终得到校正完成的目标视频的知识点序列。

此处，待校正知识点的上下文知识点包括其上文知识点和下文知识点，上文知识点是初始知识点序列中排列在待校正知识点之前的相邻知识点，下文知识点是初始知识点序列中排列在待校正知识点之后的相邻知识点。上下文知识点的关联知识点即与上下文知识点之间存在知识点关系的知识点。

考虑到教学视频在知识点串讲上的连贯性，待校正知识点所处的位置应当是与上下文知识点均存在知识点关系的关联知识点，因此可以基于上下文知识点的关联知识点，进行知识点校正，例如可以从关联知识点中选取知识点来替换待校正知识点，也可以是将上下文知识点及其关联知识点输入至预先使用神经网络构建的用于知识点校正的深层上下文模型中，再基于输出的结果来替换待校正知识点，本发明实施例对此不作具体限定。

本发明实施例提供的方法，通过对初始知识点序列中每两个相邻知识点进行知识点关系校验，确定待校正知识点，避免了人工审查知识点消耗大量的时间和精力、判断标准不统一的问题，并且，通过基于与上下文知识点之间存在知识点关系的关联知识点对待校正知识点进行校正，提高了视频知识点的准确度，进而有利于视频知识快速检索以及基于视频知识点的学习推荐。

基于上述任一实施例，图2是本发明提供的待校正知识点确定方法的流程示意图，如图2所示，步骤120包括：

步骤121，基于预先设定的各知识点实体之间的知识点关系信息，获取初始知识点序列中每两个相邻知识点之间的知识点关系信息；

步骤122，基于每两个相邻知识点之间的知识点关系信息，确定初始知识点序列中的待校正知识点。

具体地，在得到初始知识点序列之后，本发明实施例首先根据预先设定的各知识点实体之间的知识点关系信息，获取初始知识点序列中每两个相邻知识点之间的知识点关系信息，在此基础上，即可根据每两个相邻知识点之间的知识点关系信息，结合教学视频本身在知识点串讲上的逻辑性和连贯性，判断初始知识点序列中各个知识点是否合理，由此得到需要进行知识点校正的知识点。

此处，知识点关系信息可以包括知识点实体之间是否有关系，如果有关系，还可以包括关系的类型、紧密程度等。各知识点实体之间的知识点关系信息可以是预先针对初始知识点序列中各个知识点对应的知识点实体进行直接设定的，也可以是以知识图谱的形式呈现的。

进一步地，在以知识图谱的形式呈现各知识点实体之间的知识点关系信息时，可以将各知识点实体作为知识图谱中的节点，将两个知识点实体之间是否存在关系以对应节点之间是否连接有边的形式进行表示，将两个知识点实体之间存在关系的类型以对应节点之间边的权重的形式进行表示。当需要获取初始知识点序列中每两个相邻知识点之间的知识点关系信息时，可以将初始知识点序列映射到预先构建的知识图谱中，利用知识图谱的拓扑结构获取得到的，本发明实施例对此不作具体限定。

基于上述任一实施例，步骤122包括：

若任意两个相邻知识点之间的知识点关系信息为无关联，或者任意两个相邻知识点之间的知识点关系信息中的关联得分小于预设得分阈值，则从任意两个相邻知识点中确定出待校正知识点。

具体地，考虑到两个相邻知识点之间无关联，或关系的紧密程度较弱，都可能说明这两个相邻知识点中可能存在有偏差的知识点，因此，本发明实施例设置知识点关系信息中包括关联得分，此处的关联得分可以表征知识点之间关系的紧密程度，在此基础上，如果判断得知任意两个相邻知识点之间的知识点关系信息为无关联，或者任意两个相邻知识点之间的知识点关系信息中的关联得分小于预设得分阈值，则可以从这两个相邻知识点中确定出需要进行知识点校正的知识点。

基于上述任一实施例，步骤130包括：

基于上下文知识点中上文知识点的后继知识点，以及上下文知识点中下文知识点的前驱知识点，对待校正知识点进行校正，得到目标视频的知识点序列；

后继知识点为与上文知识点之间存在后继关系的关联知识点，前驱知识点为与下文知识点之间存在前驱关系的关联知识点。

具体地，知识点之间的关联关系中有部分可以表征知识点内容之间的前后相继关系，这部分的关联关系可以进一步地划分为后继关系和前驱关系，在学习某一知识点之后，由该知识点可以直接支持的知识点，这两者之间就构成了后继关系，例如，平行公理与线线平行之间构成后继关系；在学习某一知识点之间必须先学习相关的另一知识点，这两者之间就构成了前驱关系，例如，可视化工具与可视化概念之间构成前驱关系。

在确定初始知识点序列中存在待校正知识点之后，考虑到教学视频本身在知识点串讲上的逻辑性和连贯性，可以根据上下文知识点中上文知识点的后继知识点，以及上下文知识点中下文知识点的前驱知识点，对该待校正知识点进行校正，最终即可得到校正完成的目标视频的知识点序列。此处，后继知识点为与上文知识点之间存在后继关系的关联知识点，即在学习该上文知识点之后可以由该上文知识点直接支持的知识点；前驱知识点为与下文知识点之间存在前驱关系的关联知识点，即在学习该下文知识点之前必须先学习的知识点。

基于上述任一实施例，基于上下文知识点中上文知识点的后继知识点，以及上下文知识点中下文知识点的前驱知识点，对待校正知识点进行校正，包括：

若仅存在一个同时为后继知识点和前驱知识点的重合知识点，则应用重合知识点替换待校正知识点；

否则，基于各候选知识点与待校正知识点在目标视频中对应视频切片的匹配度，和/或各候选知识点与初始知识点序列的匹配度，从各候选知识点中选取知识点替换待校正知识点，各候选知识点包括后继知识点以及前驱知识点。

具体地，在确定上文知识点的后继知识点以及下文知识点的前驱知识点之后，可以对后继知识点与前驱知识点的知识点重合情况进行判断：

如果仅存在一个同时为后继知识点和前驱知识点的重合知识点，则可以应用该重合知识点直接替换待校正知识点，例如，初始知识点序列为[数据获取、知识抽取、数据仓库、知识融合、知识建模、知识推理、关于规则的推理、关于逻辑的推理]，所确定出的待校正知识点为数据仓库，则上文知识点为知识抽取，知识抽取的后继知识点包括知识存储、知识表示、实体抽取、关系抽取、属性抽取，下文知识点为知识融合，知识融合的前驱知识点包括知识更新、知识表示、知识评估，可以发现重合知识点仅存在一个即知识表示，则可以直接用知识表示替换数据仓库；

如果后继知识点与前驱知识点之间没有重合知识点，或者有多个重合知识点，则可以将上文知识点的后继知识点以及下文知识点的前驱知识点作为候选知识点，再从各候选知识点中选取知识点替换待校正知识点。此处，选取知识点的方式可以是基于各候选知识点与待校正知识点在目标视频中对应视频切片之间的匹配度进行选取，也可以是基于各候选知识点与初始知识点序列之间的匹配度进行选取，还可以是综合考虑上述两种匹配度进行知识点的选取。

另外，本发明实施例对于匹配度获得的方式不作具体限定，例如可以是计算二者之间的余弦相似度、皮尔森相关系数等，进而将计算结果作为匹配度，还可以是将需要计算匹配度的二者输入至预先训练得到的语义匹配模型中，进而得到匹配度。

基于上述任一实施例，各候选知识点与待校正知识点在目标视频中对应视频切片的匹配度是基于如下步骤确定的：

确定待校正知识点在目标视频中对应视频切片的切片文本；

计算各候选知识点与切片文本之间的匹配度，作为各候选知识点与待校正知识点在目标视频中对应视频切片的匹配度。

具体地，考虑到在进行知识点预测的过程中，需要将视频分成若干个视频切片，切片过程中会自动标记时间点，再针对各个视频切片进行文本抽取，得到各个视频切片的切片文本，最后从切片文本中确定出知识点，并通过给各知识点添加对应视频切片的开始时间和结束时间的时间标签，从而形成各知识点与视频切片之间的对应关系。因此，本发明实施例可以根据各知识点与视频切片之间的对应关系，确定待校正知识点在目标视频中对应的视频切片，以及该视频切片的切片文本，随即计算各候选知识点与切片文本之间的匹配度，并将该匹配度作为各候选知识点与待校正知识点在目标视频中对应视频切片的匹配度，用于后续候选知识点的选取。

基于上述任一实施例，图3是本发明提供的初始知识点序列获取方法的流程示意图，如图3所示，步骤110包括：

抽取目标视频的图像帧，对图像帧进行预处理，得到目标视频的待识别帧，预处理包括去冗余、知识点无关筛除和目标区域检测中的至少一种；

对各待识别帧进行文本抽取，并基于抽取所得的文本确定各待识别帧的知识点；

基于各待识别帧的知识点，构建初始知识点序列。

此处，目标视频的图像帧的抽取方式可以是从目标视频中每隔预设帧数或预设时间间隔进行抽取得到的，也可以是从目标视频中随机抽取得到的，本发明实施例不作具体限定。

具体地，考虑到视频课程画面复杂，可能存在有很多知识点讲解无关画面、画面之间有一定程度重复等情况，都会对视频切片知识点预测产生误判，并且，视频课程画面边框数据页眉页脚识别结果会影响知识点标注，知识点预测结果容易受到周围小字影响。对此，本发明实施例在从目标视频中抽取多个图像帧之后，对各图像帧进行预处理操作，从而可以得到目标视频的待识别帧，此处的预处理操作可以包括去冗余、知识点无关筛除和目标区域检测中的至少一种。

进一步地，去冗余可以是通过图片相似度检测算法定位并删除相似度高的图像帧，例如，通过图片相似度检测算法确定出某两个图像帧的相似度超过了预设阈值，则可以将这两个图像帧中的任意一个进行删除；知识点无关筛除可以是使用深度学习模型对与知识点讲解无关的图像帧进行分类定位后删除；目标区域检测可以是使用矩形检测手段，分割出图像帧中的目标区域进行识别，此处的目标区域为需要进行知识点确定的关键区域，例如，针对采用PPT(Microsoft Office PowerPoint，微软办公演示文稿)讲解的目标视频，目标区域可以是去除PPT边框页眉页脚的PPT区域，针对采用黑板讲解的目标视频，目标区域可以是去除黑板边框的黑板区域。

在确定各待识别帧之后，可以对各待识别帧进行文本抽取，再根据抽取所得的文本以及基于语义理解的文本处理方法，从文本中确定出各待识别帧的知识点，在此基础上，即可将各待识别帧的知识点使用上下文序列结构进行表示，由此得到初始知识点序列。

进一步地，可以使用OCR(Optical Character Recognition，光学字符识别)技术从视频中提取有用的信息，并对OCR文字识别结果进行分词，然后综合考虑词频、TF-IDF(term frequency–inverse document frequency,词频-逆文档频率)、Jaro-Winklerdistance(Jaro-Winkler距离)、RKR-GST(Running Karp-rabin Generalized SuffixTree，Karp-rabin匹配-广义后缀树)算法，从分词结果中召回所有可能知识点标签，并构造一个合理的评分体系，对各个知识点标签进行评分后排序，根据排序结果选出合理的知识点标签，实现视频切片的知识点匹配。

此外，在对所有可能知识点标签进行评分的时候，还可以将每行文字在对应待识别帧中的高度换算成每行文字的重要程度分值，计入各个知识点标签的评分中，此处的高度可以是使用文字坐标计算得到的高度。

基于上述任一实施例，可以提取所有课程讲义知识点实体及关系，并基于知识点实体及关系构建知识图谱，此处，知识点实体是指教学活动过程中传递教学信息的基本单元，知识点实体及关系可以简单通过知识点层级构建，知识点层级是按照课程讲义的层级构建分成多层，具体如下：

按课程讲义的主要章内容拆分，章作为1级知识点；

向下拆分章中的节，节作为2级知识点；

节中的理论、原理、概念、定义等小节作为3级知识点；

依次类推，将知识点作为知识图谱的实体，知识点层级作为知识点关系，完成所有课程讲义的知识图谱构建。

在构建完知识图谱之后，还可以根据知识点关系的类型与紧密程度之间的对应关系，将知识图谱中任意两个相连的知识点关系赋予相应的分值，例如父子关系0.9、依赖关系0.8、兄弟关系0.7、应用关系0.6、参考关系0.5、游离关系0.4等。

在此基础上，即可将初始知识点序列映射到知识图谱中，获取到每两个相邻知识点之间的关系及关联得分。图4是本发明提供的知识点关系及关联得分的示例图之一，如图4所示，在该示例中，初始知识点序列中每两个相邻知识点之间都有关系，并且关联得分有0.7、0.8和0.9三种，即每两个相邻知识点之间关系的紧密程度都较强，则可以认为该初始知识点序列存在合理的关联路径，该初始知识点序列中的各个知识点都为合理准确的，无需进行知识点校正。

图5是本发明提供的知识点关系及关联得分的示例图之二，如图5所示，在该示例中，初始知识点序列中间出现中断，数据仓库和知识融合之间距离较远，在图谱中无关联，因此认为数据仓库与上下文知识点的关系存在偏差，则需要将数据仓库的上文知识点的后继知识点，以及数据仓库的下文知识点的前驱知识点作为候选知识点，并根据各候选知识点对该数据仓库知识点进行校正。

图6是本发明提供的候选知识点的示例图，如图6所示，在该示例中，各候选知识点组成的集合即候选知识点集为{知识存储、知识表示、实体抽取、关系抽取、属性抽取，知识更新、知识表示、知识评估}，可以发现前驱知识点和后继知识点有且仅有一个重合知识点即知识表示，则可以直接应用知识表示替代数据仓库，即可得到最终的知识点序列。

除了如图6所示的前驱知识点和后继知识点有且仅有一个重合知识点的情况之外，还可能存在前驱知识点和后继知识点无重合知识点或有多个重合知识点的情况，此时则需要重新针对候选知识点集进行预测，从候选知识点集中选取最匹配的知识点替换待校正知识点。进一步地，具体可以根据各候选知识点与待校正知识点在目标视频中对应视频切片的切片文本之间的匹配度，以及各候选知识点与初始知识点序列之间的匹配度，来进行最匹配的知识点的选取。

图7是本发明提供的匹配度计算方法的示意图，如图7所示，在该示例中，候选知识点集为{知识存储、实体抽取、知识更新、关系抽取、属性抽取、知识评估}，针对知识更新这一候选知识点，可以计算它与偏差点即数据仓库对应视频切片的文本信息之间的匹配度1，得到匹配度1＝0.6，再计算它与初始知识点序列的匹配度2，具体可以是计算数据仓库与初始点序列中除数据仓库之外的各上下文知识点(即数据获取、知识抽取、知识融合、知识建模、知识推理)之间的余弦相似度，然后对得到的所有余弦相似度求平均值，得到匹配度2＝0.648，最后对匹配度1和匹配度2求取平均值，即可得到知识更新对应的最终匹配度为0.624。按照类似方法遍历每个候选知识点，可以求得所有候选知识点对应的最终匹配度，并进行排序，选取最终匹配度最高的候选知识点来替换待校正知识点。

可以理解的是，从候选知识点集中选取匹配知识点，需要获取两种信息，根据标注各个知识点开始时间和结束数据，分别获取偏差的视频段落的文本信息以及除了偏差点以外全局各个段落对应的知识点。

基于上述任一实施例，经过对视频知识点预测错误进行原因分析，存在知识体系无对应知识点、知识点关键词缺失、不同教学资料对同一知识点有不同的细节解释、知识点关键词之间难以确定层级关系、知识点中常用名词的应用、知识点杂糅、无法判断例题知识点、页眉页脚内容含无关知识点、对话框内容含无关知识点、含英文关键字知识点易与代码内容匹配、语义理解困难、跨课程知识点等实际问题。对此，本发明实施例提出了一种基于知识点实体及关系构建的知识图谱，并基于知识图谱中知识点上下文信息对知识点预测结果进行校正，最终确定出视频知识点的方法。

图8是本发明提供的视频知识点确定方法的流程示意图之二，如图8所示，该方法的具体流程可以为：基于统一的标准提取所有课程讲义中的知识点实体及关系，并构建统一的知识图谱；抽取目标视频的图像帧，定位与知识点讲解无关的图像帧并删除；使用OCR文字识别技术从视频中提取有用的文字信息，结合文本处理的方法，并利用机器学习的方法等确定各待识别帧的知识点，实现对教学视频切片的知识点标注，并基于各待识别帧的知识点使用上下文序列结构进行表示，构建初始知识点序列；将初始知识点序列映射到知识图谱中，通过知识图谱中知识点上下文信息对知识点预测结果即初始知识点序列进行校正。

基于上述任一实施例，父子关系可以表示知识点之间的一种部分和整体的关系，即一个知识点可以由另一个或多个知识点组成，这个由几个知识点组成的复合知识点称为父知识点；图9是本发明提供的父子关系的示例图，如图9所示，大数据与大数据定义、大数据来源和大数据特点之间均为父子关系；在本发明实施例中，可以将按照课程讲义章节的知识点的层级关系标注为父子关系；

依赖关系可以表示一个知识点当前是否可学习往往取决于另一些知识点是否学习过，或者说前者是后者的预备知识，反映了知识点内容之间前后相继的一种支撑关系；图10是本发明提供的依赖关系的示例图，如图10所示，可视化概念与可视化工具之间以及可视化工具与可视化过程之间均为依赖关系；

兄弟关系可以表示两个知识点有共同的父知识点，并且这两个知识点之间又没有依赖关系；图11是本发明提供的兄弟关系的示例图，如图11所示，SVM(Support VectorMachines，支持向量机)与决策树之间以及决策树与K-近邻之间均为兄弟关系；

应用关系可以表示一个知识点是另一个知识点在实际生产环境的应用或者实例；图12是本发明提供的应用关系的示例图，如图12所示，云计算应用案例与云计算之间为应用关系；

参考关系可以表示在一个知识领域中通常会有很多关联知识，这些关联知识之间存在部分或全部相同的主题，但非依赖、兄弟及父子关系，这时称它们之间的关系为一种参考关系；图13是本发明提供的参考关系的示例图，如图13所示，开放域关系抽取与开放域事件抽取之间为参考关系；

游离关系可以表示如果知识点a属于领域知识树，知识点b不属于领域知识树，但知识点b能丰富知识点a的学习，这时我们称之为游离关系；类似于参考关系，但是a,b知识点不属于同一领域；图14是本发明提供的游离关系的示例图，如图14所示，类图属于C++领域，可视化属于大数据领域，类图和可视化之间为游离关系。

图15是本发明提供的知识点关系的示意图，结合图15以及上述对于各个知识点关系的描述，可以对父子关系、依赖关系、兄弟关系、应用关系、参考关系以及游离关系的定义进行进一步的理解。

下面对本发明提供的视频知识点确定装置进行描述，下文描述的视频知识点确定装置与上文描述的视频知识点确定方法可相互对应参照。

图16是本发明提供的视频知识点确定装置的结构示意图，如图16所示，该装置包括：

预测模块1610，用于对目标视频进行知识点预测，得到初始知识点序列；

校验模块1620，用于对初始知识点序列中每两个相邻知识点进行知识点关系校验，得到初始知识点序列中的待校正知识点，并确定初始知识点序列中与待校正知识点相邻的上下文知识点；

校正模块1630，用于基于与上下文知识点之间存在知识点关系的关联知识点，对待校正知识点进行校正，得到目标视频的知识点序列。

本发明实施例提供的装置，通过对初始知识点序列中每两个相邻知识点进行知识点关系校验，确定待校正知识点，避免了人工审查知识点消耗大量的时间和精力、判断标准不统一的问题，并且，通过基于与上下文知识点之间存在知识点关系的关联知识点对待校正知识点进行校正，提高了视频知识点的准确度，进而有利于视频知识快速检索以及基于视频知识点的学习推荐。

基于上述任一实施例，校验模块1620包括：

获取单元，用于基于预先设定的各知识点实体之间的知识点关系信息，获取初始知识点序列中每两个相邻知识点之间的知识点关系信息；

确定单元，用于基于每两个相邻知识点之间的知识点关系信息，确定初始知识点序列中的待校正知识点。

基于上述任一实施例，确定单元具体用于：

若任意两个相邻知识点之间的知识点关系信息为无关联，或者任意两个相邻知识点之间的知识点关系信息中的关联得分小于预设得分阈值，则从任意两个相邻知识点中确定出待校正知识点。

基于上述任一实施例，校正模块1630包括：

校正单元，用于基于上下文知识点中上文知识点的后继知识点，以及上下文知识点中下文知识点的前驱知识点，对待校正知识点进行校正，得到目标视频的知识点序列；

后继知识点为与上文知识点之间存在后继关系的关联知识点，前驱知识点为与下文知识点之间存在前驱关系的关联知识点。

基于上述任一实施例，校正单元具体用于：

若仅存在一个同时为后继知识点和前驱知识点的重合知识点，则应用重合知识点替换待校正知识点；

否则，基于各候选知识点与待校正知识点在目标视频中对应视频切片的匹配度，和/或各候选知识点与初始知识点序列的匹配度，从各候选知识点中选取知识点替换待校正知识点，各候选知识点包括后继知识点以及前驱知识点。

基于上述任一实施例，各候选知识点与待校正知识点在目标视频中对应视频切片的匹配度是基于如下步骤确定的：

确定待校正知识点在目标视频中对应视频切片的切片文本；

计算各候选知识点与切片文本之间的匹配度，作为各候选知识点与待校正知识点在目标视频中对应视频切片的匹配度。

基于上述任一实施例，预测模块1610包括：

预处理单元，用于抽取目标视频的图像帧，对图像帧进行预处理，得到目标视频的待识别帧，预处理包括去冗余、知识点无关筛除和目标区域检测中的至少一种；

知识点确定单元，用于对各待识别帧进行文本抽取，并基于抽取所得的文本确定各待识别帧的知识点；

构建单元，用于基于各待识别帧的知识点，构建初始知识点序列。

图17示例了一种电子设备的实体结构示意图，如图17所示，该电子设备可以包括：处理器(processor)1710、通信接口(Communications Interface)1720、存储器(memory)1730和通信总线1740，其中，处理器1710，通信接口1720，存储器1730通过通信总线1740完成相互间的通信。处理器1710可以调用存储器1730中的逻辑指令，以执行视频知识点确定方法，该方法包括：对目标视频进行知识点预测，得到初始知识点序列；对初始知识点序列中每两个相邻知识点进行知识点关系校验，得到初始知识点序列中的待校正知识点，并确定初始知识点序列中与待校正知识点相邻的上下文知识点；基于与上下文知识点之间存在知识点关系的关联知识点，对待校正知识点进行校正，得到目标视频的知识点序列。

此外，上述的存储器1730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的视频知识点确定方法，该方法包括：对目标视频进行知识点预测，得到初始知识点序列；对初始知识点序列中每两个相邻知识点进行知识点关系校验，得到初始知识点序列中的待校正知识点，并确定初始知识点序列中与待校正知识点相邻的上下文知识点；基于与上下文知识点之间存在知识点关系的关联知识点，对待校正知识点进行校正，得到目标视频的知识点序列。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的视频知识点确定方法，该方法包括：对目标视频进行知识点预测，得到初始知识点序列；对初始知识点序列中每两个相邻知识点进行知识点关系校验，得到初始知识点序列中的待校正知识点，并确定初始知识点序列中与待校正知识点相邻的上下文知识点；基于与上下文知识点之间存在知识点关系的关联知识点，对待校正知识点进行校正，得到目标视频的知识点序列。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。