一种基于连续视频帧的专注度监测方法、系统和存储器

技术领域

本发明涉及专注度监测领域，尤其涉及一种基于连续视频帧的专注度监测方法、系统和存储器。

背景技术

学习专注度是指学生是否能够安下心来将注意力投入到学习上。而课堂上的学习专注度(简称课堂专注度)往往影响了学生的学习效率甚至可能影响其学习能力。因此，课堂专注度是评估学生学习能力的重要指标。

传统心理学测评方法大都通过量表或完成特定任务来测量课堂专注度。这种方式是静态的，且需要定期更改或者调整量表内容。

随着人工智能技术的发展、设施设备的升级、大量课堂视频的累积，为基于视频的课堂专注度监测奠定了坚实的基础。目前，许多研究已经通过人脸识别技术、眼球追踪技术、脑波数据等分析学生是否专注，但是对于专注度缺失表现因素的关注不够全面，计算方法也不够科学，导致现有的专注度识别结果往往偏差较大，可信度低。

发明内容

为了解决上述现有技术中的基于视频进行专注度监测偏差大的缺陷，本发明提出了一种基于连续视频帧的专注度监测方法，可结合多种异常行为评估监控对象的专注度，评估结果可信度高。

本发明提出的一种基于连续视频帧的专注度监测方法，包括以下步骤：

S1、设置异常行为及专注度评分模型，专注度评分模型为：

其中，C

S2、获取监控录像，对监控录像进行视频帧解析，获取各监控对象实现各异常行为的持续时间t

S3、将监控对象n的视频帧解析数据t

优选的，令摄像头巡航轨迹包含K个巡航点，每个巡航点的摄像时间为t0，监测周期为T0＝Q×K×t0，设K

针对监控对象n，其在一个监控周期内的t

r

y

优选的，所述异常行为包括头部异常行为，头部异常行为的判断条件为：头部姿态偏航角大于或者等于设定的偏航阈值，或者头部姿态俯仰角大于或者等于设定的俯仰阈值；监控对象的头部姿态偏航角

δ

δ

θ

f

优选的：

当x

当x≧w/2，则：γ

γ

w和h分别表示视频帧外接矩形的长度和高度，(x,y)和(w/2,h/2)分别表示目标点m和中心点o在视频帧上的坐标，a

β

k

优选的：

其中，fov

优选的，所述异常行为还包括哈欠、表情异常和坐姿异常。

优选的，异常行为通过对应的识别模型进行解析；所述识别模型的输入为监控录像，识别模型用于将监控录像解析为连续视频帧输出，并标注每一幅视频帧是否包含对应的异常行为；识别模型为通过机器学习获得的神经网络模型。

优选的，专注度评分模型中的权重为人工标注值。

本发明还提出了一种基于连续视频帧的专注度监测系统和存储器，为基于连续视频帧的专注度监测方法提供了载体，便于该方法的推广应用。

一种基于连续视频帧的专注度监测系统，包括存储模块和处理器，存储模块中存储有计算机程序，处理器于存储模块连接，处理器用于执行所述计算机程序，以实现所述的基于连续视频帧的专注度监测方法。

一种存储器，其特征在于，存储有计算机程序，所述计算机程序被执行时用于实现所述的基于连续视频帧的专注度监测方法。

本发明的优点在于：

(1)本发明提出的一种基于连续视频帧的专注度监测方法，可结合多种异常行为评估监控对象的专注度，评估结果可信度高，有利于提升专注度评估效率，减少大量人工观察和数据整理工作。

(2)本发明中的异常行为的权重由专家设置，异常行为识别可通过机器学习的识别模型获得，通过专家评估与机器学习的创新融合，实现了快速精准地评估专注度。

(3)本发明可基于监控录像解析后的连续视频帧对每一个监控对象进行专注度评估，避免传统方法带来的抽样误差和从非真实环境直接收集数据的实验误差。

(4)本发明中的异常行为可灵活设置，专注度评分模型基于减分原理(减去异常行为得分)构建。本发明中的专注度监测方法更符合实际课堂场景下的专注度评估，也适用于各种不同场景，应用范围广泛。

(5)本发明应用于课堂专注度评估时，评分结果与老师评价具有高度一致性，有效验证了本发明应用于课堂专注度计算的可靠性。

(6)本发明中，以视频帧上目标人脸的中心点作为目标点，根据目标点和视频帧中心点的相对位置计算头部姿态转角误差，实现了针对各个目标人脸单独计算误差，各目标人脸根据其在视频帧上的位置进行误差修正，可以准确计算出摄像头监控画面中目标人脸的偏转角度，基于此进行头部姿态分析时可以得到更为准确的头部姿态识别结果，保证头部异常行为判断的精确。

(7)本发明中充分考虑到了摄像头视场角和视频帧视场角的不一致性，首先对目标点的位置进行误差补偿，然后根据补偿后的目标点计算目标点与中心点的角度差，再进行头部姿态转角修正，保证了误差计算的精确度，从而进一步保证了头部姿态识别的精确度。

附图说明

图1为实施例所示摄像头巡航点示意图；

图2为实施例中学生位置分布示意图；

图3为一种基于连续视频帧的专注度监测方法流程图；

图4为头部姿态偏航角

图5为头部姿态算法流程图。

具体实施方式

一种基于连续视频帧的专注度监测方法

本实施方式提出的基于连续视频帧的专注度监测方法，通过专注度评分模型结合指定的异常行为计算监控对象的专注度得分；专注度得分越高，表示监控对象专注度越高。

专注度评分模型为：

其中，C

r

J

y

实施例1：t

假设某个教室内学生分三排，摄像头的巡航点1-6如图1所示，巡航一次的路径为“1-2-3-4-5-6”或者“6-5-4-3-2-1”。摄像头在每个巡航点的停留时间为t0,一个监测周期包含Q次巡航，摄像头1秒拍摄m帧图像；

本实施例中，K＝6，同时假设：

t0＝1分钟，Q＝2，m＝30、n＝2；

监测周期T0＝Q×K×t0＝12分钟。

假设巡航点1、2、3、4对应的拍摄区域如图2的圆圈A1、A2、A3、A4所示。

一个监测周期内，摄像头在各巡航点拍摄时间如下：

巡航点1：第1分钟+第12分钟

巡航点2：第2分钟+第112分钟

巡航点3：第3分钟+第10分钟

巡航点4：第4分钟+第9分钟

巡航点5：第5分钟+第8分钟

巡航点6：第6分钟+第7分钟

参照图2，学生甲所处位置B1只位于巡航点1对应的拍摄区域内学生乙所处位置B12同时位于巡航点1和巡航点2对应的拍摄区域内，学生并所处位置B234同时位于巡航点2、巡航点3和巡航点4对应的拍摄区域内。摄像头在监测周期内对学生甲乙丙的异常行为哈欠监测结果如下表1所示。

表1：甲乙丙哈欠监测统计

/>

本实施例中，令r

结合表1可知：

K

r

r

K

r

r

r

K

r

r

r

可见，当前监测周期内，针对学生甲有：

针对学生乙有：

/>

针对学生丙有：

参照图3，本实施方式中通过专注度评分模型计算监控对象的专注度时，首先需要获取监控录像，对监控录像进行视频帧解析，获取各监控对象实现各异常行为的持续时间t

异常行为可设置为：头部异常行为、哈欠、表情异常和坐姿异常。

异常行为可通过机器学习获得的识别模型进行识别。例如，可基于神经构建识别模型，识别模型用于将输入的监控录像解析为连续视频帧输出，识别模型还用于标注每一幅视频帧是否包含对应的异常行为。如此，可根据识别模型对监控录像的解析，计算异常行为对应的t

异常行为也可通过设置对应的判断条件进行识别，将对监控录像解析为连续视频帧后，对每一幅视频帧上的监控对象结合判断条件判断其是否存在对应的异常行为。

一种头部异常行为识别方法

本实施方式中，设置头部异常行为的判断条件，当视频帧上的目标人脸符合所述判断条件，则判断视频帧上的监控对象存在头部异常行为。目标人脸即为监控对象的人脸。

异常行为的判断条件为：头部姿态偏航角大于或者等于设定的偏航阈值，或者头部姿态俯仰角大于或者等于设定的俯仰阈值。

现有的头部姿态算法用于解析拍摄图像，以获取拍摄图像中目标人脸的头部姿态转角。头部姿态转角包括头部姿态偏航角f

本实施方式中在计算头部姿态偏航角

参照图4，本实施方式中的基于摄像头畸变补偿的头部姿态修正方法，具体包括以下步骤SA1-SA3。

SA1、获取视频帧的水平视场角fov

SA2、通过头部姿态算法解析视频帧，获取目标人脸的头部姿态偏航角f

SA3、结合f

表示修正后的头部姿态偏航角，即水平方向转动角度；/>

头部姿态转角水平误差δ

δ

δ

θ

当x

当x≧w/2，则：γ

γ

a

w和h分别表示视频帧外接矩形的长度和高度，(x,y)和(w/2,h/2)分别表示目标点m和中心点o在视频帧上的坐标；fov

k

k

k

k

k

fov

头部姿态算法

现有技术中头部姿态算法很多，其中，神经网络实现头部姿态算法较为常见。本实施方式中，通过机器模型自主学习获得头部姿态识别模型，以通过头部姿态识别模型对视频帧进行解析，获得各人脸的头部姿态转角。

参照图5，本实施方式中，实现头部姿态算法的步骤如下。

SB1、构建神经网络和标注样本；标注样本为视频帧，标注样本的标注标签为视频帧中各人脸的头部姿态转角，神经网络的输入为视频帧，神经网络的输出为视频帧中各人脸的头部姿态转角；

SB2、令神经网络学习标注样本以训练网络参数，将训练完成的神经网络作为头部姿态识别模型；

SB3、将目标视频帧输入头部姿态识别模型，获取头部姿态识别模型输出的目标视频帧中各人脸的头部姿态转角，即人脸的头部姿态偏航角f

本实施方式中，标注样本的标注标签为人工标注。

具体的，SB1中构建多个标注样本，标注样本分化为训练样本和测试样本；SB2中对神经网络进行多次迭代，每次神经网络学习指定数量的训练样本以更新网络参数，然后通过更新后的神经网络计算设定数量的测试样本中的各人脸的头部姿态转角作为测试样本的模型标注，根据测试样本的模型标注和标注标签之间的差值计算神经网络的模型标注精确度；模型标注精确度低于设定值，则令神经网络学习新的训练样本；如此，通过参数迭代，直至神经网络的模型标注精确度达到设定值时，将神经网络作为头部姿态识别模型。

实施例2：某学校课堂专注度监测

本实施例中，采用本发明提供的基于连续视频帧的专注度监测方法对某学校课堂上的学生进行专注度监测。

本实施例中，异常行为设置为：头部异常行为、哈欠、表情异常和坐姿异常。其中，头部异常行为通过上述的头部异常行为识别方法判断；哈欠、表情异常和坐姿异常通过机器学习的基于神经网络的识别模型进行判断。

本实施例中，由多个学科老师和班主设置专注度层级，各层级设有对应的专注度分数区间。本实施例中，将多个学科老师和班主任对各学生的专注度打分作为标准分，将学生通过本发明获得的学生专注度得分对应的专注度层级作为测试结果，将学生通过标准分对应的专注度层级作为真实结果。

本实施例中测试学生人数为分属于6个班级的共311人，获得的有效测试结果为308人，有效测试结果即为与真实结果一致的测试结果。本实施例中，测试结果和真实结果的皮尔逊相关系数为0.8267，测试结果与真实结果显著相关，通过皮尔逊相关系数证明了本发明的专注度评估结果与老师评价具有高度一致性。

以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。