一种专注度分析方法、系统及计算机可读存储介质

技术领域

本发明涉及一种专注度分析方法、系统及计算机可读存储介质。

背景技术

专注度是人进行一项活动的心理状态，这个活动可以是静态的，也可以是动态的，可以是感兴趣的，也可以是枯燥的，可以是对人的，也可以是对物的。专注度是认知活动的动力功能，包括听知觉、视知觉、记忆、思维、想象、执行、反馈等活动。认知活动得以顺利开展的推动力正是专注度。

一般影响专注度态度的包括：

(1)事物本身的吸引程度；

(2)自身与他人在互动中的联结能力；

(3)自身身体状态以及情绪状态；

(4)自身的意志表现。

对事物专注度的多少，可以表征对一项活动的接受度。例如，在教学方面，学生对不同老师、不同课程以及不同学习环境会表现出不同的专注度。现有的教育机构对学生的专注度进行分析，根据专注度分析了解学生的学习兴趣、薄弱点，从而衡量课堂质量，优化教学设计，改善教学质量评估，优化课程设置，从而达到更好地教育效果。因此对目标对象专注度研究具有重要意义。

发明内容

本发明在此的目的在于提供一种专注度分析方法，该方法分析结果精准，能避免主观随意性赋权的情况，有效保证分析结果的准确性，提高分析结果的可靠性。

为实现本发明的目的，在此提供的专注度分析方法包括以下步骤：

步骤S1：数据获取，获取至少包括目标对象和目标对象所处环境的视频数据；

步骤S2：指标数据获取，对所述步骤S1获取的视频数据进行处理分析，得到用于专注度分析的指标数据；

步骤S3：赋权，将所述步骤S2获取的所有指标数据分别进行无量纲化处理转换在[0.1]之间；

步骤S4：指标比重获取，将经无量纲处处理后的某一指标数值比上所有指标数值之和得到该某一指标的比重，依此获取所有指标数据的比重；

步骤S5：指标权重获取，利用公式1获取每个指标数据的权重，

公式(1)中：E表示某个指标数据的权重，n表示指标数据的个数，p

步骤S6：专注度分析，按照以下处理方式之一进行专注度分析：

1)单一指标分析，某个指标数据的比重和权重相乘后得到每个指标的综合评分，将该评分与设定的专注度评分阈值范围进行比对，得到专注度分析结果；

2)综合指标分析，每个指标数据的比重和该指标数据的权重相乘后得到每个指标的综合评分，将每个指标的综合评分求和，结果与设定的专注度评分阈值范围进行比对，得到专注度分析结果。

在一些实施方式中，所述步骤S2获取的指标数据包括用于表征目标对象与邻座社会关系的关系指标数据、表征目标对象参与解答的参与指标数据、出勤指标数据、表征目标对象电脑屏幕内容的显示指标数据、表征目标对象互动的互动指标数据、表征目标对象演讲动作的演讲指标数据、表征目标对象状态的状态指标数据、表征目标对象键盘操作状态的热力指标数据、以及表征目标对象位置状态的位置指标数据中的一种或一种以上。

本发明在此的另一个目的在于提供一种专注度分析系统，该系统包括：

第一获取终端，用于获取至少包括目标对象和目标对象所处环境的视频数据；

数据处理终端，与所述第一获取终端通信连接，包括存储有计算机程序的处理器，所述处理器运行执行存储于其内的计算机程序实施如本发明提供的专注度分析方法。

本发明在此的第三个目的在于提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序包括可执行指令，当该可执行指令被处理器执行时，实施如本发明提供的专注度分析方法。

采用本发明的技术方案，达到的有益效果至少可以包括：

1)该方法对指标数据进行无量钢化处理，通过指标的比重和权重得到指标综合评分，根据综合评分实现对目标对象的专注度分析，分析结果精准，且无量纲化处理一定程度上避免了主观随意性赋权的情况，有效保证分析结果的准确性，提高分析结果的可靠性。

2)指标数据包括关系指标数据、参与指标数据、出勤指标数据、显示指标数据、互动指标数据、演讲指标数据、状态指标数据、热力指标数据、以及位置指标数据一种或一种以上，既能从单一方面分析目标对象的专注度，又能从多方面分析目标对象的专注度，更进一步地确保了分析结果的准确性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了本文实施例记载的专注度分析方法的流程图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

图1示出了本实施例记载的专注度分析方法示例性流程图，包括以下步骤：

步骤S1：数据获取，获取至少包括目标对象和目标对象所处环境的视频数据；

步骤S2：指标数据获取，对步骤S1获取的视频数据进行处理分析，得到用于专注度分析的指标数据；

步骤S3：赋权，将步骤S2获取的所有指标数据分别进行无量纲化处理转换在[0.1]之间；

步骤S4：指标比重获取，将经无量纲处处理后的某一指标数值比上所有指标数值之和得到该某一指标的比重，依此获取所有指标数据的比重；

步骤S5：指标权重获取，利用公式1获取每个指标数据的权重，

步骤S6：专注度分析，按照以下处理方式之一进行专注度分析：

1)单一指标分析，某个指标数据的比重和权重相乘后得到每个指标的综合评分，将该评分与设定的专注度评分阈值范围进行比对，得到专注度分析结果；

2)综合指标分析，每个指标数据的比重和该指标数据的权重相乘后得到每个指标的综合评分，将每个指标的综合评分求和，结果与设定的专注度评分阈值范围进行比对，得到专注度分析结果。

本文中的专注度评分阈值范围可以根据情况设定，将获得的综合评分与评分阈值范围进行对比，得到分析结果，如综合评分(90,100]——专注度高，表现优秀——继续保持，将专注度维持在高水平；综合评分(80,90]——专注度较高，表现良好——多加关注，让专注度提升至优秀水准；综合评分(70,80]——专注度一般，表现普通——加大关注力度，弥补不足指标；综合评分(60,70]——专注度低，表现差——重点关注，全方位提升学生机房课堂专注度。分析结果可以被用于对目标对象对某一事或某一学习课程的分析，制定出符合目标对象的教学课程及内容，满足教学要求，提高教学质量。

本文中的指标数据可以是任何可以用于专注度分析的指标，如用于表征目标对象与邻座社会关系的关系指标数据、表征目标对象参与解答的参与指标数据、出勤指标数据、表征目标对象电脑屏幕内容的显示指标数据、表征目标对象互动的互动指标数据、表征目标对象演讲动作的演讲指标数据、表征目标对象状态的状态指标数据、表征目标对象键盘操作状态的热力指标数据、以及表征目标对象位置状态的位置指标数据中的一种或一种以上。

本文提供的专注度分析方法可以用于目标对象处于不同的场所对目标对象的专注度进行分析，在此结合学生作为目标对象处于机房实验室课堂的教学场所对学生的专注度进行分析。

就机房实验室课堂环境下，至少可以从以下几个方面中的一个或全部对学生进行专注度分析。

第一，在机房实验课中，每位目标对象(学生)面前都会有一台可供自己操作的电脑，而如何使用和操控电脑完全由自己决定，目标对象(学生)是否在完成老师交给的课程任务，还是在使用电脑完成课堂以外的其他事情都可以通过技术进行监测和分析。通过监测个人电脑屏幕的图像内容，判断目标对象(学生)课堂专注度，当监测中发现屏幕出现与课堂有关内容或无关内容时，予以专注度记录，并赋值加减分。在此以表征目标对象电脑屏幕内容的显示指标数据作为专注度分析依据，在此显示指标数据通过以下步骤获取：

步骤SC1：获取目标对象所使用电脑屏幕内容，并进行文字识别和图像识别提取电脑屏幕内容中的文字信息、图像信息；在此首先建立基于卷积神经网络的文字识别和图片识别系统，从视频数据中自动识别电脑屏幕内容，对于文字部分，利用OCR的文字识别技术对屏幕的文字及图像中的文字信息分别进行提取。

步骤SC2：根据所述步骤SC1提取到文字信息、图像信息判断电脑屏幕内容是否与学习内容有关，如有关，则给予初始专注度评分，进行步骤SC3，反之则给予专注度评分作为显示指标数据；在此具体为提取信息后，利用Adaboost算法来组合弱分类器进而对个人电脑屏幕上的数据分类，通过算法将简单的弱分类算法提升至强分类器，最终每个电脑屏幕上的数据被分为哪一类要由各分类器权值决定。在Asaboost算法中，将分类分为两步进行，首先区分屏幕图像中的图片及文字属于课堂内容还是不属于授课范畴(前者如搜索相关课程资料、训练课堂内容；后者如打开本地游戏界面等)；其次在前者，进一步将课堂内容进行细化分类，通过弱分类器不断分类和加权，做到能够识别出屏幕图像属于课堂的哪部分内容。

步骤SC3：获取所述文字信息、图像信息的局部特征图，基于学习内容的重要程度划分对局部特征图进行质量评分；待所述文字信息、图像信息的所有局部均完成质量评分后，求所有质量评分总和，得到电脑屏幕内容的最后质量分数。此步骤运用局部二值化(local binary pattern,LBP)算法旋转不变均匀模式求得特征图，并运用卷积神经网络对局部二值化特征图进行质量评价。分别对文本和图片采用无参考评价算法，基于原本课堂内容的重要程度划分，进行屏幕内容图像质量评估并加总，得到屏幕内容的最后质量分数。与课堂有关程度越高，质量分数则越高，反之质量分数则降低。最后，对于一节连续的机房课堂来说，最终将实时监测的个人屏幕质量分数求得平均值。

步骤SC4：根据步骤SC3得到的最后质量分数在初始专注度评分基础上给予专注度评分，形成最终专注度评分作为显示指标数据；最终专注度评分与最后质量分数成线性关系；屏幕质量分数高，给予专注度加分相对较高；反之则进行专注度减分。

本文通过卷积神经网络下实现图片识别，并利用OCR进行文字识别，Adaboost算法实现图片和文字信息的分类，局部二值化(LBP)算法和卷积神经网络实现图片内容质量评估，通过屏幕内容分析结合专家法给出表征目标对象电脑屏幕内容的显示指标数据，实现了专注度分析。本领域技术人员应该理解的是本文记载的得出显示指标数据的方法步骤仅是示例性的，并不限于此处所记载的方法。

第二，在机房实验课中，由于屏幕的遮挡，学生的很多上课注意力不集中的行很难被发现。学生在电脑上打游戏是常见的注意力不集中行为。当老师巡回检查大家的操作时，打游戏的同学会将界面极小化，不易被察觉。利用程序记录学生机的键盘操作并生成热力图，通过机器学习分类计数，就可将打游戏的人和没有打游戏的人区分开，予以专注度记录，并赋值加减分。

在此以表征目标对象键盘操作状态的热力指标数据为依据进行专注度分析，该热力指标数据通过以下步骤获取：

步骤SG1：获取视频数据中目标对象所使用键盘的可视化热力图，在此通过类激活映射(CAM)原理，利用一种特殊的卷积神经网络结构对于机房里面的键盘使用情况生成可视化的热力图，可以得到键盘使用情况的所有同学的热力图。

步骤SG2：基于步骤SG1得到的可视化热力图判断目标对象是否大多使用WASD键和方向键，如是，则判定步骤SG1获取的可视化热力图为游戏类热力图，反之则为非游戏类热力图。就此步骤本文在此通过Adaboost算法将弱分类器构成更强的最终分类器(强分类器)，对所得到的热力图进行分类,基于打游戏的人使用的走位键大多是WASD和方向键，于是可以得到：游戏类热力图和非游戏类热力图。

步骤SG3：根据步骤SG2得出的热力图类型给予专注度评分作为热力指标数据；根据热力图，结合专家法对其专注度进行评分：游戏类热力图进行加分，非游戏类热力图进行减分。

本文首先用类激活映射原理,利用卷积神经网络结构生成可视化的键盘热力图，最后通过Adaboost算法构成强分类器，对热力图进行分类，最终结合热力图和专家法得出热力指标数据作为专注度分析依据。本领域技术人员应该理解的是本文记载的得出热力指标数据的方法步骤仅是示例性的，并不限于此处所记载的方法。

除此以上所记载的方面，就机房实验室课堂而言，还可以从以下一个方面或几个方面进行专注度分析。

第一，在机房实验课中，目标对象通常和社交关系较为紧密的人坐在一起。同时，不同于如教室或其它场所，机房实验课比较注重实操、交流与互动，专注学业的目标对象之间会对电脑操作中的难点进行探讨，相互学习。当摄像头捕捉到邻座目标对象交流场景时，结合双方表情、动作、结合双方用户画像(姓名、班级、历史相关成绩等)判断专注度。当出现这一场景时，予以专注度记录，并赋值加减分。在此以用于表征目标对象与邻座社会关系的关系指标数据作为专注度分析依据，该关系指标数据通过以下步骤获取：

步骤SA1：获取目标对象(学生)行为语义，首先从视频数据进行人脸检测与提取、匹配、抽取出视频数据中包括目标对象基本信息的身份语义，再对目标对象动作进行标记，完成目标对象动作语义抽取，抽取身份语义和动作语义的中层语义特征，并融合两个方面的语义信息完成视频数据中目标对象行为语义的识别。在此通过长短期记忆(LSTM)的语义序列模型来识别视频中的目标对象(学生)行为语义，先运用OpenCV3中提供的人脸检测接口来进行人脸检测与提取，匹配、抽取出监控中目标对象(学生)身份语义(包括学号、宿舍、班级、过往成绩等)；运用OpenCV3以及图像金字塔光流方法对学生动作进行标记，完成目标对象(学生)动作语义抽取，再通过构建卷积神经网络抽取每个视频场景中目标对象(学生)的身份、动作的中层语义特征，最后通过两层循环神经网络融合两个方面的语义信息完成视频中目标对象(学生)行为语义的识别。

步骤SA2：社交分组，获取所述视频数据中目标对象头部朝向，以每个目标对象图像坐标为中心构建区域来表示目标对象的社交范围，通过一个无向有权图来表示学生之间的交互关系。在此通过一种基于无向有权图的节点聚类算法来完成视频中目标对象社交分组，通过提取视频序列中目标对象(学生)图像的空间特征HOG，对提取出来的特征向量进行数字标准化处理，用线性分类器SVM对处理好的特征向量进行分类来估计目标对象(学生)头部的朝向并形成坐标系，以每个目标对象(学生)的图像坐标为中心，构建椭圆区域来表示人物的社交范围，通过一个无向有权图来表示目标对象(学生)之间的交互关系。

步骤SA3：社交关系判断，通过部分标记因子图模型(SPLP-FGM)来判定视频中目标对象(学生)的社交关系(舍友关系、同班同学关系、朋友关系、无关系)。

步骤SA4：表情识别，从所述视频数据中提取目标对象表情图像视觉特征，再提取所述图像视觉特征中图像序列的时序特征并进行特征融合后进行分类，完成表情识别。在此使用VGGNet-LSTM模型提取表情图像的视觉特征，再通过LSTM提取图像序列的时序特征，通过特征融合后在此基础上进行分类，完成表情识别。

此步骤中的特征融合具体是指将图像的视觉特征和图像间的时序特征整合起来。即采用LSTM网络提取表情图像序列的时序特征，构建VGGNet-LSTM的组合模型，图像序列中的每张表情图片通过VGGNet提取视觉特征，然后将VGGNet提取的视觉特征按时序顺序输入给LSTM中，提取图像序列的时序特征，最后将通过VGGNet和LSTM提取的特征向量输入到Softmax层进行分类，得到图像序列的情绪类别。从情绪类别里可以得到学生之间的交互关系。

步骤SA5：提取目标对象行为图像的人体骨架关键信息识别目标对象的行为；在此通过基于Open Pose的人体骨架信息提取目标对象(学生)行为图像的人体骨架关键信息，结合一个10层的深度卷积神经网络(CNN-10)来识别目标对象(学生)的课堂行为。

步骤SA6：结合目标对象的表情、行为和社会关系得出目标对象在与邻座社会关系方面的专注度评分作为关系指标数据。此处专注度评分结合经上述步骤得出的目标对象表情、行为和社会关系，经专家评分得出，目标对象表情、行为和社会关系之间可能包括：①开心+舍友关系/同班同学关系/朋友关系：闲聊——专注度减分；②无表情/严肃+舍友关系/同班同学关系/朋友关系：指导——专注度加分；③对电脑屏幕比划/敲击键盘/使用鼠标+舍友关系/同班同学关系/朋友关系：指导——专注度加分；④使用手机+舍友关系/同班同学关系/朋友关系：闲聊——专注度减分。

本文基于长短期记忆(LSTM)模型的语义识别算法来识别视频中人物行为，再通过一种基于无向有权图的节点聚类算法来完成视频中人物社交分组，最后通过部分标记因子图模型(SPLP-FGM)来推断视频中人物的社交关系。通过表情识别、动作识别与社交关系对其交流内容估测，再结合专家法给出用于表征目标对象与邻座社会关系的关系指标数据，实现了专注度分析。本领域技术人员应该理解的是本文记载的得出用于表征目标对象与邻座社会关系的关系指标数据的方法步骤仅是示例性的，并不限于此处所记载的方法。

第二，在机房实验课中，操作疑问需要老师走到同学的电脑前，针对屏幕上的问题进行有针对性的解答。当出现这一场景时，予以专注度记录并赋值加分。老师的行动轨迹、老师和同学的交互社交关系、人脸识别、表情识别、肢体动作识别是这一场景下判断专注度的关键，为此本文在此以表征目标对象参与解答的参与指标数据作为专注度分析依据，该参与指标数据通过以下步骤获取：

步骤SB1：锁定解答者，在视频数据中锁定解答者，并标记为运动点，持续进行移动轨迹追踪；本文在此使用全卷积孪生网络目标跟踪算法SiamFC对老师的移动轨迹进行追踪(此时老师为解答者，作为目标对象)，在视频的第一帧矩形框圈出目标即授课教师，随着视频的播放用算法跟踪圈出的目标对象(授课教师)；

步骤SB2：锁定目标对象，对视频数据进行人脸检测，锁定目标对象，并标注为目标对象矩形框，作为监控区域。

步骤SB3：当运动点出现在监控区域内并停留一定时间，判定解答者进入监控区域，并执行步骤SB4；否则判定解答者在监控区域外，循环执行步骤SB3。此步骤具体是这样的：使用Fast R-CNN人脸检测技术对教室所有学生进行人脸检测，获得每个学生的矩形框。将每个学生的矩形框设置为监控区域，考虑运动目标(教师)相对监控区域(学生)的移动情况，在此将运动目标的中心位置(即矩形的中心位置)当作运动目标所在的位置,记为运动点。当运动点出现在监控区域内并停留一定时间(如3秒、5秒、8秒、10秒或其它)，认为运动目标(教师)进入监控区域，否则认为运动目标(教授)在监控区域外。

步骤SB4：提取解答者行为图像的人体骨架关键信息，识别解答者的行为，判定是否处于为目标对象进行解答状态，如是则对解答者所处的监控区域进行人脸识别，确定该监控区域内目标对象身份信息，并给出该分析者在解答参与方面的专注度评分作为参与指标数据；如不是则执行步骤SB3。就此步骤而言，具体可以是这样的：在教师和学生互动之间，通过基于Open Pose的人体骨架信息提取老师行为图像的人体骨架关键信息，结合一个10层的深度卷积神经网络(CNN-10)来识别老师的课堂行为(如手指向屏幕)。此处的该课堂行为可以是：①老师手指指向学生电脑屏幕：解答；②老师使用学生面前的键盘、鼠标：解答；③老师站在学生身后，面向学生电脑：巡视；④老师离开监控范围：离开教室。通过Triplet-loss人脸识别技术对判定为“解答”的行为进行人脸识别，获得运动目标进入的监控区域所代表的学生的班级、姓名、学号等信息，结合专家法对位于监控区域内的学生给予评分(加分或减分)，作为参与指标数据用作专注度分析依据。

本文使用全卷积孪生网络目标跟踪算法SiamFC对老师的移动轨迹进行追踪，结合Open Pose的人体骨架信息判断老师课堂行为，使用Fast R-CNN人脸检测技术对教室所有学生进行人脸检测，Triplet-loss人脸识别技术对运动目标进入的监控区域进行人脸识别，实现了专注度分析。但本领域技术人员应该理解的是本文记载的得出参与指标数据的方法步骤仅是示例性的，并不限于此处所记载的方法。

第三，在机房进行实验课时，学生可以自行选择自己的座位，由于有电脑的遮挡，部分学生会选择角落处的位置，他们具有潜在的使用手机、闲聊等与课堂无关的行为的可能性。对于这种现象，通过对选择位置偏僻的学生进行人脸识别，进行专注度标记。另外，通常坐在机房靠前位置可以获的较好的视觉和听觉体验，坐在教室最后侧则会看有不清投影屏等问题。对于位置靠前和靠后的同学，给予专注度加减分，因此本问在此表征目标对象位置状态的位置指标数据作为专注度分析依据。

本文在此就位置指标数据而言可以使用WIFI指纹定位技术，将无线AP设备安装在教室靠墙两侧以及后方，即移动计算机用户进入有线网络的无线访问接入点。APP扫描并收集周围无线信号，将这些能够标示AP的数据和检索出每一个AP的地理位置,并结合每个AP发出无线信号的强弱程度比对WiFi指纹数据库中的惟一标识码，由此当信号越强意味着该名学生越靠墙、靠后；同时结合学生签到使用的电脑所处位置信息和个人信息(学号、姓名、班级)进行辅助判断，两者结合精确定位学生座位位置；获取座位靠墙、靠后的学生姓名、成绩等信息，对其专注度进行标注。获取座位靠前、靠中间位置的学生姓名、成绩等信息，结合专家法对给予评分(加分或减分)，作为位置指标数据用作专注度分析依据。

本文在此利用WIFI指纹定位技术和辅助的个人画像信息，通过机房上课中学生上课选择的座位位置识别专注度，实现了专注度分析。但本领域技术人员应该理解的是本文记载的得出位置指标数据的方法步骤仅是示例性的，并不限于此处所记载的方法。

第四，由于机房内的电脑遮挡，点名并不像普通教室那样容易。利用机房系统配置的签到系统无法区分学生上课迟到、向老师请假，同时可能存在学生签到后早退、机房系统代签的现象。尝试解决这些问题，并对不良现象进行专注度减分。为此，本文以出勤指标数据作为专注度分析依据，此处的出勤指标数据根据以下几个方面结合得出：

1)目标对象是否请假、迟到，在上课时间到后通过Triplet-loss人脸识别技术对视频数据中所有目标对象进行人脸识别，并与预存目标对象人脸信息进行比对，对在所述视频数据中没有识别到的人脸对应的目标对象进行未到标注；判断被标注为未到的目标对象是否请假，如已请假，则更改标注为请假；反之将门区域设置为监控区域，对在一定时间内出现在所述监控区域内的对象进行人脸识别，与被标注为未到的目标对象进行人脸匹配，如匹配成功者更改标注为迟到；

2)目标对象签到是否为本人签到，待目标对象通过签到系统签到结束后的一定时间内，通过人脸识别从视频数据中获取目标对象身份信息，将其与签到系统进行匹配，如发现签到系统中存在目标对象的签到，但人脸识别未识别到，则判定该目标对象在签到系统中的签到为代签，进行标注，反之则为目标对象本人签订；

3)目标对象是否早退，在设定时间内通过人脸识别识别目标对象，将其与签到系统进行匹配，如发现签到系统中存在签到，但人脸识别未识别到，且被标注为代签，则将对应的目标对象标注为早退；

结合目标对象是否存在以上1-3任意一种或一种以上情况给予目标对象在出勤方面的专注度评分作为出勤指标数据；具体可以考虑如学生被标注为迟到、找人代签或早退，则出勤指标数据可以降分，即对应的专注度减分。

上述步骤中判断被标注为未到标注的学生进行请假判断具体是：老师获得纸质请假条后将其展示给摄像头，抓拍后通过Optical Character Recognition(OCR)的文字识别技术获得请假学生姓名，自动将其标注更改为“请假”。

本文通过Triplet-loss人脸识别技术对所有在座学生进行人脸识别，通过Optical Character Recognition(OCR)的文字识别技术获得请假学生姓名。实现“找人代签”的检测和标记，实现了专注度分析。但本领域技术人员应该理解的是本文记载的得出出勤指标数据的方法步骤仅是示例性的，并不限于此处所记载的方法。

第五，不同于教室内听课，机房实验课比较注重实操，需要学生通过亲自操作电脑来做到知识的内化，交流与互动是必不可少的。并且机房的互动方式大多倾向于屏幕操作，直接举手或是点击鼠标进行举手。由于电脑设备是由学生独立操作的，难免会遇到一些突发状况或是出现老师授课之外的其他实操问题，需要及时与老师进行交流动。互动频率高，则可认为积极性高，相对而言专注度高。本文在此为表征目标对象互动的互动指标数据作为专注度分析依据，该互动指标数据通过以下步骤获取：

步骤SD1：判断目标对象是否发出互动示意，如有则执行步骤SD2，反之则循环执行步骤SD1。具体当学生选择通过电脑端屏幕的鼠标点击操作如举手来与机房老师进行互动时，学生端点击的“举手”会通过UDP协议，利用机房信号传输机制发送给教师端电脑。教师端接收到信号后，采用Triplet-loss人脸识别技术，利用互动发出端电脑的摄像头识别出主动发起互动的学生，确认具体是哪一位学生正在与机房老师互动；当学生选择通过直接举手的方式对老师进行互动时，采用Open Pose的人体骨架信息提取学生行为图像的人体骨架关键信息，结合一个10层的深度卷积神经网络(CNN-10)来识别学生的互动行为。确认举手行为后，采用Triplet-loss人脸识别技术来确认学生的具体身份。

步骤SD2：识别目标对象人脸信息，并与预存的人脸数据进行匹配，确定目标对象身份信息，以及识别目标对象与互动者之间的对话内容，并根据该对话内容是否与学习有关给予该目标对象专注度评分作为互动指标数据。在对话识别中，由于机房内学生座位狭小，空间密集，且因设备繁多，会有许多额外干扰因素。因此采用基于注意力机制和多任务学习框架的长短时记忆递归神经网络声学模型，嵌入注意力机制进行远场语音的捕捉识别，捕捉学生与老师的对话。

本文采用Open Pose的人体骨架信息并结合CNN来识别学生举手等互动行为，利用Triplet-loss模型进行学生人脸识别，利用注意力机制结合多任务学习框架的长短时记忆递归神经网络声学模型实现语音识别，最后基于互动等频率结合专家法给出互动指标数据作用专注度评估，实现了专注度分析。但本领域技术人员应该理解的是本文记载的得出互动指标数据的方法步骤仅是示例性的，并不限于此处所记载的方法。

第六，不同于教室内听课，在机房实验课中比较注重实操。前往讲台动手演示能代表学生专注度相对较高，专注机房实操方法的同学会愿意上讲台与老师和同学们进行演示和交流，以便最后得出最便捷和易于操作的试验方法。当出现学生走向讲台演示的场景时，予以专注度记录并赋值，为此本文在此以表征目标对象演讲动作的演讲指标数据作为专注度分析依据，该演讲指标数据通过以下步骤获取：

步骤SE1：首先对于标志性的静态物体讲台，综合基于颜色和几何特征的分割，进行讲台的特征提取和SVM的训练，从而实现准确识别机房讲台，确认讲台的位置信息。

步骤SE2：接着基于AdaBoost算法来组合弱分类器进形成强分类器，首先监测讲台前出现的人。利用算法技术能够对人脸角色进行分类，是学生或者是老师。当分类为学生时，再利用Triplet-loss人脸识别技术实现人脸检测，系统自动确认和判断讲台上演示学生的具体身份。

步骤SE3：根据目标对象是否进行演讲动作给予专注度评分作为演讲指标数据，具体利用所检测的画像，将参与讲台演示的同学进行演讲指标数据加分，以此来区别参与演示和不参与演示的学生的演讲指标数据，根据演讲指标数据可以得出对应同学的专注度情况，达到专注度分析目的。

本文在演讲指标数据获取过程中首先基于颜色和几何的分割，识别讲台的特征并运用于SVM进行训练，最终讲台的位置。其次利用AdaBoost算法来对检测出的人脸进行分类，并用Triplet-loss模型精准识别到学生个人人脸，实现了专注度分析。但本领域技术人员应该理解的是本文记载的得出演讲指标数据的方法步骤仅是示例性的，并不限于此处所记载的方法。

第七、在机房实验课中，由于机房背景的复杂性，每个学生面前都对应着一台电脑，学生可能会利用电脑的遮挡，在课上玩手机，或是睡觉等，这极大地影响了学生的课堂专注度。老师在讲台上讲述操作步骤时，很难注意到学生的这些小动作。通过对电脑遮挡下学生行为的重构及对人体骨骼姿态的识别，可以对学生的课堂行为进行判断。判断完成后，予以专注度记录，并赋值加减分。本文在此以表征目标对象状态的状态指标数据作为专注度分析依据，该状态指标数据通过以下步骤获取：

步骤SF1：对视频数据中的被遮挡的人体进行重构，去除遮挡物。本步骤具体是这样的：利用低秩矩阵对遮挡下的人脸进行稀疏表示，得到低秩训练图像与稀疏误差图像，完成在电脑遮挡下学生人脸的重构，并针对低秩稀疏处理过程设计单隐层网络，保证其可靠性和鲁棒性，实现了对人脸的准确识别。

步骤SF2：对去除遮挡物后的目标对象人体行为的视频帧图像进行去噪预处理；此步骤在此采用OpenCV中自带的高斯滤波函数来实现对图像的去噪声处理。

步骤SF3：对经步骤SF2处理后的人体行为视频帧图像中的目标对象人体骨骼姿态进行识别，并将识别到的骨骼姿态提取目标对象关节数据进行分类，判断目标对象是否处于与规定场景不符的姿态，并据此给予对应目标对象专注度评分作为状态指标数据。本步骤具体是这样的：采用Tiny_YOLOv3目标检测算法对机房中上课的学生进行目标检测，同时融入注意力机制SEnet提升对目标学生检测的精度；再通过改进的OpenPose网络模型对学生的人体骨骼姿态进行识别；最后，构造出合适的SVM多类分类器来对提取出的学生人体关节点数据进行分类，将学生异常行为(如上课睡觉、上课玩手机等)及正常行为进行具体分类，并据此对学生给出状态指标数据相应的加减分，对应此指标数据的专注度评分。

本文用低秩矩阵对遮挡下的人脸进行稀疏表示，对学生人脸进行识别，再用OpenCV中的高斯滤波函数对图像进行去噪声处理，然后采用Tiny_YOLOv3目标检测算法进行目标检测，并通过改进的OpenPose网络模型识别人体骨骼姿态，最后进行数据的分类，判断出实际课堂行为，实现了专注度分析。但本领域技术人员应该理解的是本文记载的得出状态指标数据的方法步骤仅是示例性的，并不限于此处所记载的方法。

本文实施例中以结合机房实验室课堂对本文提供的专注度方法进行了详细的介绍，但并表示本文提供的专注度方法仅能用于机房实验室课堂专注度分析，而是可以用于任何课堂或其它场所的专注度分析。

本文所记载的专注度方法可以用任何一种系统实现，在此提供一种能够实现本文专注度分析方法的系统，该系统包括：

第一获取终端，用于获取至少包括目标对象和目标对象所处环境的视频数据，该视频数据为一定时间内的连续视频数据，如一节课45分钟或90分钟连续的视频数据；可以通过任何一种设备获取，如摄像头；

数据处理终端，与第一获取终端通信连接，包括存储有计算机程序的处理器，该处理器运行执行存储于其内的计算机程序实施如本文提供的专注度分析方法。

还包括第二获取终端，用于获取目标对象的无线信号，可以是无线AP设备。

本文公开的示例性实施方式中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序包括可执行指令，该可执行指令被例如处理器执行时可以实现上述所述专注度分析方法的步骤。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书的信息查询和存储方法中描述的根据本公开各种示例性实施例的步骤。

在本文中，可读存储介质可以是任何可以能够存储程序的介质，如硬盘、随机存储器、只读存储器、光纤、光存储器件等。

本文公开的可读存储介质上存储的计算机程序可以采用一种或多种程序编写语言的任意组合来编写，此处的程序编写语言可以是Java语言、C++语言、或者C语言。

本文所记载的每个指标数据是与对应专注度评分相对应，根据具体获取方法获取，最终以数字形式表示，其值高，对应专注度评分高，反之专注度评分低。所有指标数据可以一并获取，从各方面综合得出专注度评分，结果更为精准；当然也可以仅获取一个或某些指标数据，通过一个指标数据对应的专注度评分达到专注度分析目的。

本文专注度分析方法通过对各项指标数据的加权得到全面的综合各个数据指标的综合评价体系，得到专注度较高的指标以及较为不足指标，能够依据相应数据指标的情况，综合全面地作出对机房实验室特定的环境下的专注度提升的教学方法改善，为教学改进提供科学准确地数据基础，以达到提升学生专注度的目的。

通过这些数据化的精准刻画，可以形成每个学生的用户画像，针对学生各自特点，共性与差异，为学生分类，有针对性的进行教学方法、实验教学方法、教材、教师的配备，以达到因材施教的效果。

通过持续监测学生的行为数据，进行前后的数据对比分析，可以判断教学方法、教材、教师改革的效果。并督促学校更好的进行比对，改进。

通过持续监测学生的行为数据，可以让学生数据化的分析自己的学习场景、环境特点和各时间状态，有利于学生更好的规划和选择适合自己的学习方式和进行学习预警。

过去，学生上课的平时成绩是手动打分，根据出勤、作业、听课情况综合评价，依据机房实验室专注度分析，可以作为学生平时成绩打分的自动化方法。

本公开已由上述相关实施例加以描述，然而上述实施例仅为实施本公开的范例。必需指出的是，已揭露的实施例并未限制本公开的范围。相反，在不脱离本公开的精神和范围内所作的变动与润饰，均属本公开的专利保护范围。