一种基于视频数据的学生状态分析系统

技术领域

本发明涉及人工智能领域，具体涉及一种基于视频数据的学生状态分析系统。

背景技术

儿童社交焦虑障碍也称作社交恐惧症，指儿童持久地害怕一个或多个社交场合，在这些场合中，患儿被暴露在陌生人面前，或者被其他人过多的关注时出现焦虑反应。研究发现，在美国社交焦虑障碍发作的中位年龄为13岁，而75％的个体发病年龄在8至15岁之间，社会焦虑障碍不仅与辍学率上升、幸福感、就业、生产率等有关，而且还与单身、未婚或离婚以及丁克有关。现代社会，各种各样的电子产品围绕着、吸引着年轻人，让他们过上虚拟的生活，而人类的天性趋易避难，当在现实生活中遭遇了尴尬、焦虑或被取笑等事件，一部分孩子就会发展成为社交焦虑障碍，如果我们不能及时察觉并给予干预，社会焦虑障碍就会引发其他焦虑症，甚至导致抑郁症，在儿童中，社会焦虑障碍最终发展成为自闭症的案例非常常见。

目前，社会焦虑障碍大多以老师、医生等观察判定，大多发现时为时已晚。一是因为作为工作繁忙的教师，在一间教室中更多的注意力是去管教动作特征更加明显孩子，对于安静的孩子，教师往往容易忽略；二是对于家长而言，社会焦虑障碍儿童一般在社交场合发病，在家庭等熟悉的场合与平静儿童无明显区别，只有当病症发展到一定程度后，家长才会有所察觉，而这时带去让医生诊断，已经为时已晚。而社会焦虑障碍需要连续观察6个月才能进行有效判断，现有的教育过程数据却没有被及时采集利用，更不用说长期的跟踪研究。因此，亟需提出一种基于视频数据的学生状态分析系统以解决难以及时发现学生的社交焦虑障碍倾向的问题。

发明内容

有鉴于此，本发明实施例提供了一种基于视频数据的学生状态分析系统，以解决现有技术中难以及时发现社交焦虑障碍病情的缺陷。

根据第一方面，本发明实施例提供一种基于视频数据的学生状态分析系统，包括：多个视频采集设备，用于采集目标场景下每一个学生的视频数据；信息处理平台，与每一个视频采集设备连接，用于识别所述视频数据中学生的身份信息以及对应所述身份信息的学生表情特征信息和动作特征信息，所述学生表情特征信息和动作特征信息类型根据预设的社交焦虑障碍评估指标确定；信息分析平台，与所述信息处理平台连接，用于根据对应所述身份信息的学生表情特征信息和动作特征信息，对学生状态进行分析得到分析结果，所述分析结果用于指导社交焦虑障碍评估。

可选地，基于视频数据的学生状态分析系统，还包括：第一智能穿戴设备，与所述信息分析平台连接，用于采集学生的体温数据；所述信息分析平台，与所述第一智能穿戴设备连接，用于根据对应所述身份信息的学生表情特征信息、动作特征信息以及学生的体温数据，对学生状态进行分析得到分析结果。

可选地，基于视频数据的学生状态分析系统，还包括：第二智能穿戴设备，与所述信息分析平台连接，用于采集学生的心率数据；所述信息分析平台，与所述第二智能穿戴设备连接，用于根据对应所述身份信息的学生表情特征信息、动作特征信息、学生的体温数据以及学生的心率数据，对学生状态进行分析得到分析结果。

可选地，基于视频数据的学生状态分析系统，还包括：音频采集设备，与所述信息处理平台连接，用于采集目标场景下每一个学生的音频数据；所述信息处理平台，还用于对学生的音频数据进行识别，根据识别结果将所述学生的音频数据与对应所述身份信息的学生表情特征信息、动作特征信息、学生的体温数据、学生的心率数据进行绑定；所述信息分析平台，与所述信息处理平台连接，用于根据对应所述身份信息的学生表情特征信息、动作特征信息、学生的体温数据、学生的心率数据以及学生的音频数据，对学生状态进行分析得到分析结果。

可选地，基于视频数据的学生状态分析系统，还包括：第一通信模块，与所述信息分析平台连接，用于将所述分析结果发送至显示终端；和/或第二通信模块，与所述信息处理平台连接，用于将在所述信息处理平台识别出的学生身份信息以及对应所述身份信息的学生表情特征信息和动作特征信息进行发送。

可选地，所述信息分析平台包括：数据库平台，用于将所述学生的身份信息与数据库中预先存储的学生个人信息数据进行匹配，确定所述学生的身份。

可选地，所述信息分析平台包括：信息分析模块，用于根据预设的社交焦虑障碍评估指标，计算评估目标的分析结果，所述预设的社交焦虑障碍评估指标包括说话、举手、哭泣、坐、恐惧、平静、害羞、心率、体温；

根据预设的社交焦虑障碍评估指标，评估目标的分析结果，包括：

y表示任一次评估时得到的评估目标的分析结果，m表示评估指标总个数，χ

可选地，所述信息分析平台还包括：多个第一历史数据存储器，分别存储每一个学生在第一预设时长/第一预设次数的分析结果；个人综合评估模块，用于根据所述多个第一历史数据存储器中存储的第一预设时长/第一预设次数的分析结果，确定所述每一个学生的综合分析结果。

可选地，所述信息分析平台还包括：第二历史数据存储器，存储目标场景下每一个学生在第二预设时长/第二预设次数的分析结果；集体评估模块，用于根据第二历史数据存储器中存储的目标场景下每一个学生的分析结果，确定所述目标场景下的集体分析结果。

可选地，所述信息分析模块，包括：权重系数确定装置，用于根据以下公式确定权重系数：

其中，α

本发明技术方案，具有如下优点：

本实施例提供的基于视频数据的学生状态分析系统通过采集目标场景下的每一个学生的视频数据，对其进行表情特征信息和动作特征信息识别和分析，从而得到分析结果，这个分析结果用于指导社交焦虑障碍评估，从而在教育过程中及时发现学生潜在的社交焦虑障碍倾向，便于提醒老师家长引起注意，起到了预防社交焦虑障碍的作用。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中基于视频数据的学生状态分析系统的一个具体示例的原理框图；

图2为本发明实施例中基于视频数据的学生状态分析系统的一个具体示例原理框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本实施例提供一种基于视频数据的学生状态分析系统，如图1所示，包括如下步骤：

多个视频采集设备101，用于采集目标场景下每一个学生的视频数据；

信息处理平台102，与每一个视频采集设备连接，用于识别视频数据中学生的身份信息以及对应身份信息的学生表情特征信息和动作特征信息，学生表情特征信息和动作特征信息类型根据预设的社交焦虑障碍评估指标确定；

信息分析平台103，与信息处理平台连接，用于根据对应身份信息的学生表情特征信息和动作特征信息，对学生状态进行分析得到分析结果，分析结果用于指导社交焦虑障碍评估。

示例性地，多个视频采集设备101可以是摄像头等具有视频采集功能的设备，可以设置在目标场景内的各个地方，比如，当目标场景是普通教室时，为了能够获取到每个学生的视频数据，可以在教室前后左右四角进行安装。目标场景除去教室以外还可以是专门设置的观察室，本实施例对目标场景不做限定，本领域技术人员可以根据需要确定。需要说明的是，多个视频采集设备101采集的视频数据为经过学生及家长授权的视频数据。

为了较为准确的对社交焦虑障碍进行自动化分析，需要先分析社交焦虑障碍患者的特征。首先，从行为特征上进行分析，社交焦虑障碍患者在社交场合说话较少，当和一群人待在一起时，一般表现很安静；即使说话，也仅与熟悉的人交流。因此，在下课视频中学生说话次数及时长、在上课视频中学生举手的次数与患有社交焦虑障碍的可能性成反比；在社交场合哭泣的次数、下课视频中坐着的次数及时长与患有社交焦虑障碍的可能性成正比。所以可以对学生的说话情况、哭泣情况、举手情况，坐着的状态进行识别。其次，从表情特征上进行分析，社交焦虑障碍患者在陌生的人面前感到害羞；害怕在陌生人面前做新的事情(比如：表演)；害怕他人的负面评价。因此，社交焦虑障碍患者在社交场合相较于平静人而言其出现的恐惧、害羞表情次数更多，加上其较喜欢安静的状态，平静的表情也作为衡量其可能性的负向指标。

因此，信息处理平台102中的社交焦虑障碍评估指标可以由以上分析中的说话、举手、哭泣、坐着、恐惧、平静、害羞组成，也可以根据儿童社交焦虑量表中的指标确定，还可以根据其他权威机构发布的社交焦虑特征评估指标确定，本实施例对此不做限定，本领域技术人员可以根据需要确定。

信息处理平台102对接收到的视频数据进行分析处理，对视频进行序列建模，通过视频结构化算法，识别视频数据内学生的身份信息、表情特征信息和动作特征信息，最后，基于身份信息对教室内每位学生生成包含时间信息的结构化数据文件。其中，身份信息可以是人脸信息也可以是表身份的标识信息，比如，别在衣服上的铭牌，通过身份信息将学生表情特征信息和动作特征信息进行关联，并统一存储或发送。

表情特征信息可以通过检测视频数据中学生的瞳孔、眼角、眉毛、鼻子、嘴唇、下巴等关键点进行表情特征识别得到。表情特征信息可以包括恐惧、平静、害羞，在进行表情特征识别时可以用已经训练好的神经网络进行识别，也可以根据关键点特征进行识别，比如，当眉毛内侧上扬，眉毛聚拢，上眼睑上扬，下眼皮绷紧，嘴巴张开，且嘴角往两边拉伸，则可以识别当前表情为恐惧。动作特征可以包括姿势，动作等等，识别出的动作特征信息可以包括说话、举手、哭泣、坐着。具体的识别方式可以是将视频数据中学生的姿势与预先存储的姿势进行匹配，比如，坐姿匹配，举手姿势匹配等等；还可以是动作特征进行识别，比如，当视频数据中学生在一定时间内双腿以近乎90度的角度弯曲，且保持在同一高度，则可以识别为坐着；另外，也可以根据预先训练好的神经网络识别得到。

信息分析平台103，可以是具有分析处理能力的终端，比如电脑、手机等等，本实施例对信息分析平台的类型不做限定，本领域技术人员可以根据需要确定。在信息分析平台103中根据对应身份信息的学生表情特征信息和动作特征信息，对学生状态进行分析，得到分析结果。分析结果可以是通过以下公式得到：

其中，y表示任一次评估时得到的评估目标的分析结果，m表示评估指标总个数，χ

本实施例提供的基于视频数据的学生状态分析系统通过采集目标场景下的每一个学生的视频数据，对其进行表情特征信息和动作特征信息识别和分析，从而得到分析结果，这个分析结果用于指导社交焦虑障碍评估，从而在教育过程中及时发现学生潜在的社交焦虑障碍倾向，便于提醒老师家长引起注意，起到了预防社交焦虑障碍的作用。

作为本实施例一种可选的实施方式，基于视频数据的学生状态分析系统还包括：

第一智能穿戴设备，与所述信息分析平台连接，用于采集学生的体温数据；

信息分析平台，与所述第一智能穿戴设备连接，用于根据对应所述身份信息的学生表情特征信息、动作特征信息以及学生的体温数据，对学生状态进行分析得到分析结果。

示例性地，对于社交焦虑障碍的人群而言，除了表情特征信息和动作特征信息与常人有异以外，其心理特征信息也会有不同之处，比如，社交焦虑障碍患者容易出现紧张情绪，人在紧张时会出现体温升高、脸红等表征。因此，本实施例中选取了第一智能穿戴设备测量体温作为参考维度。

第一智能穿戴设备可以是专用于实时测量学生体温并对应上传学生体温的设备，也可以是综合性设备，比如运动手环。本实施例中采集到的学生体温数据为经过学生及其家长授权的体温数据。

信息分析平台与第一智能穿戴设备进行连接，对采集到的学生的体温数据进行分析，包括分析体温是否超过预设体温，超过预设体温的次数和每次超过预设体温的时长，预设体温可以是37度。信息分析平台对学生状态进行分析，得到分析结果的具体方式可以参见公式(1)，需要说明的是，体温超过预设体温为负向指标。

本实施例提供的基于视频数据的学生状态分析系统，在对学生状态进行分析的过程中，还考虑了体温对学生状态分析产生的影响，提高了结果分析的准确性。

作为本实施例一种可选的实施方式，基于视频数据的学生状态分析系统，还包括：

第二智能穿戴设备，与所述信息分析平台连接，用于采集学生的心率数据；

所述信息分析平台，与所述第二智能穿戴设备连接，用于根据对应所述身份信息的学生表情特征信息、动作特征信息、学生的体温数据以及学生的心率数据，对学生状态进行分析得到分析结果。

示例性地，由于社交焦虑障碍患者容易出现紧张情绪，人在紧张时除了会出现体温升高、脸红等表征，还会出现心率加快这一特征，为了进一步提高对学生的紧张情绪判断的准确性，本实施例还包括第二智能穿戴设备，用于采集学生的心率数据，本实施例中采集到的学生心率数据为经过学生及其家长授权的心率数据。

第二智能穿戴设备可以是专用于实时测量学生心率并对应上传学生心率的设备，也可以是综合性设备，比如运动手环。信息分析平台与第二智能穿戴设备进行连接，对采集到的学生的心率数据进行分析，包括分析心率是否超过预设心率，超过预设心率的次数和每次超过预设心率的时长，预设心率可以是100次/分钟。信息分析平台对学生状态进行分析，得到分析结果的具体方式可以参见公式(1)，需要说明的是，心率超过预设心率为负向指标。

作为本实施例一种可选的实施方式，基于视频数据的学生状态分析系统，还包括：

音频采集设备，与所述信息处理平台连接，用于采集目标场景下每一个学生的音频数据；

所述信息处理平台，还用于对学生的音频数据进行识别，根据识别结果将所述学生的音频数据与对应所述身份信息的学生表情特征信息、动作特征信息、学生的体温数据、学生的心率数据进行绑定；

所述信息分析平台，与所述信息处理平台连接，用于根据对应所述身份信息的学生表情特征信息、动作特征信息、学生的体温数据、学生的心率数据以及学生的音频数据，对学生状态进行分析得到分析结果。

示例性地，音频采集设备可以是麦克风，收音器等等，本实施例对此不做限定，本领域技术人员可以根据需要确定。为了能够采集到所有学生的音频数据可以在目标场景设置多组音频采集设备，比如，当目标场景为教室时，可以在教室前后左右四角设置四个麦克风。本实施例采集到的学生的音频数据为经过学生和家长授权的音频数据。

信息处理平台对学生的音频数据进行识别包括提取学生的音频数据中的声纹信息，根据提取出的声纹信息与预先存储的声纹数据进行匹配，确定与该声纹信息对应的学生身份，从而将学生表情特征信息、动作特征信息、学生的体温数据、学生的心率数据与音频数据进行绑定。

信息分析平台，接收信息处理平台发送的对应身份信息的学生表情特征信息、动作特征信息、学生的体温数据、学生的心率数据以及学生的音频数据，对学生状态进行分析得到分析结果。对音频数据进行分析的过程可以是识别出音频数据的具体内容，比如，哭泣、说话，从而对从视频数据获取的哭泣、说话的表情特征信息进行补充识别或者验证，从而提高对哭泣、说话的识别准确率。信息分析平台对学生状态进行分析，得到分析结果的具体方式可以参见公式(1)，在此不再赘述。

作为本实施例一种可选的实施方式，基于视频数据的学生状态分析系统，还包括：

第一通信模块，与信息分析平台连接，用于将分析结果发送至显示终端，显示终端可以是手机终端或者PC端，以实现将学生的分析结果实时/周期性发送给教师或者家长，为教师或家长提供学生的社交焦虑障碍评估参考，以及时发现学生潜在的社交焦虑障碍。

第二通信模块，与信息处理平台连接，用于将在信息处理平台识别出的学生身份信息以及对应身份信息的学生表情特征信息和动作特征信息进行发送。第二通信模块可以将信息处理平台中识别出的学生身份信息以及对应身份信息的学生表情特征信息和动作特征信息发送给其他分析终端，使得其他分析终端能够根据传输来的信息进行分析，当其他分析终端的分析方式与当前信息处理平台的分析方式不同时，可以实现多台分析设备的联合分析，综合多台分析设备的分析结果，使得分析结果更加准确；当其他分析终端的分析方式与当前信息处理平台的分析方式相同时，可以实现多台分析终端并机处理，从而提高分析效率。

作为本实施例一种可选的实施方式，信息分析平台包括：

数据库平台，用于将所述学生的身份信息与数据库中预先存储的学生个人信息数据进行匹配，确定所述学生的身份。学生个人信息数据可以包括人脸信息和声纹信息。

作为本实施例一种可选的实施方式，所述信息分析平台包括：

信息分析模块，用于根据预设的社交焦虑障碍评估指标，计算评估目标的分析结果，预设的社交焦虑障碍评估指标包括说话、举手、哭泣、坐、恐惧、平静、害羞、心率、体温；计算评估目标的分析结果的方式见公式(1)，不再赘述。

根据上述说明，说话、举手为正向指标，哭泣、坐着、恐惧、平静、害羞、心率、体温为负向指标，各指标以次数和时长进行量化，其中次数用n表示，时长用t表示；据此，说话的次数为n

作为本实施例一种可选的实施方式，所述信息分析平台还包括：

多个第一历史数据存储器，分别存储每一个学生在第一预设时长 /第一预设次数的分析结果；

个人综合评估模块，用于根据所述多个第一历史数据存储器中存储的第一预设时长/第一预设次数的分析结果，确定所述每一个学生的综合分析结果。

示例性地，由于每一个学生每天的分析结果得分会受到突发事件等因素影响导致评估结果不稳定，本实施例采用第一预设时长/第一预设次数的平均得分作为学生的以得到更稳定、更准确的社交焦虑障碍评分。第一预设时长可以是5天，预设次数可以理解为对每一节课进行一次分析，第一预设次数可以是10次，也即对10堂课进行分析，本实施例第一预设时长和第一预设次数不做限定，本领域技术人员可以根据需要确定。

根据多个第一历史数据存储器中存储的第一预设时长/第一预设次数的分析结果，确定所述每一个学生的综合分析结果的方式可以是：

其中，

本实施例提供的基于视频数据的学生状态分析系统，通过得到每一个学生在不同第一预设时长/第一预设次数的综合分析结果，可以实现在不同周期之间的分析结果相互比较，纵向分析，分析评价对象的社交焦虑障碍是发展的趋势，还是下降的趋势，还是某一时间周期相较之前的表现突然呈现断崖式下跌，设立阈值进行预警，联动学校的心理老师进行及时的辅导和疏通。

另外，本实施例还可以得到学生在时间间隔几天内第i门课程的综合分析结果，其方式可以是：

其中，

由于创伤性的社交经历往往是社交焦虑障碍患者恐惧的开始，对于儿童来说，他们创伤性的社交经历主要包括被欺侮、取笑、批评、拒绝、忽视、被与他人隔离、在公众面前表现失败、被重要的人排斥等。本实施例提供的基于视频数据的学生状态分析系统，通过分析周期内学生在不同课程的综合分析结果，可以了解学生在各类课程的焦虑程度，帮助家长探究触发孩子走向社交焦虑障碍病症的事件，促进教师教育方式的改变。

作为本实施例一种可选的实施方式，所述信息分析平台还包括：

第二历史数据存储器，存储目标场景下每一个学生在第二预设时长/第二预设次数的分析结果；

集体评估模块，用于根据第二历史数据存储器中存储的目标场景下每一个学生的分析结果，确定所述目标场景下的集体分析结果，第二预设时长可以是一堂课的时间长度，预设次数可以按照课堂进行次数划分，比如，一堂课作为一次。确定所述目标场景下的集体分析结果的方式可以是，假设一个班级有h名学生，则某天某节课的集体分析结果为：

其中，

作为本实施例一种可选的实施方式，所述信息分析模块，包括：

权重系数确定装置，用于根据以下公式确定权重系数：

其中，α

示例性地，本实施例权重系数确定装置利用模糊一致矩阵引入层次分析中，通过建立模糊一致矩阵确定各评价指标权重，即根据模糊层次分析法(FAHP)确定评价指标权重。根据模糊层次分析法确定评价指标的权重时，首先需要建立评价指标体系。

儿童社交焦虑量表(Social Anxiety Scale for Children，SASC) 是La Greca编制的一种儿童社交焦虑症状的筛查量表，该量表由两个因子组成，即社交回避及苦恼、害怕否定评价，其信度与效度好，是一种有效的筛选工具，可为临床儿童社交焦虑性障碍的诊断提供帮助。据此，本实施例的社交焦虑障碍评价指标选取行为特征、表情特征、生理特征共三大类量化特征，具体包括说话、举手、哭泣、坐着、恐惧、平静、害羞、心率、体温共九项指标。因此，建立如图2所示的评价指标体系。

α

模糊一致判断矩阵为

表1

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。