一种基于大数据的智慧校园管理方法及系统

技术领域

本发明涉及大数据分析技术领域，具体而言，涉及一种基于大数据的智慧校园管理方法及系统。

背景技术

智慧校园指的是以物联网为基础的智慧化的校园工作、学习、安全、管理和生活一体化环境，而其中的校园安全更是重中之重，学校中一旦发生危险行为则对学生以及学校造成较大影响，因此，亟需一种基于大数据的智慧校园管理方法，能够对发生的危险行为进行及时的预警，防止更加严重的后果发生，以保证学生的身心安全。

发明内容

本发明的目的在于提供一种基于大数据的智慧校园管理方法及系统，以改善上述问题。

为了实现上述目的，本申请实施例提供了如下技术方案：

一方面，本申请实施例提供了一种基于大数据的智慧校园管理方法，所述方法包括：

获取视频信息、音频信息和人脸图像信息，所述视频信息为在校园内各个监测区域设置的摄像头所拍摄的视频数据，所述音频信息包括每个所述视频信息相匹配的音频数据，所述人脸图像信息包括学校教务系统录入的学生人脸图像以及人事系统录入的学校教职工的人脸图像；

判断所述视频信息和所述人脸图像信息是否匹配，其中，若视频信息中人脸与所述人脸图像信息无法匹配则发送报警信息，若视频信息中的人脸和所述人脸图像信息相匹配，则根据所述视频信息监测区域内是否发生危险行为，判断得到第一判断结果；

根据所述音频信息判断监测区域内是否发生危险行为，得到第二判断结果；

根据所述第一判断结果与所述第二判断结果判断所述监测区域内发生危险行为的概率，得到第三判断结果；

根据所述第三判断结果确定所述监测区域内是否发生危险行为，其中，若发生危险行为则获取监测区域的第一定位信息，并基于所述第一定位信息生成路径信息发送至学生管理终端进行预警。

第二方面，本申请实施例提供了一种基于大数据的智慧校园管理系统，所述系统包括：

获取模块，用于获取视频信息、音频信息和人脸图像信息，所述视频信息为在校园内各个监测区域设置的摄像头所拍摄的视频数据，所述音频信息包括每个所述视频信息相匹配的音频数据，所述人脸图像信息包括学校教务系统录入的学生人脸图像以及人事系统录入的学校教职工的人脸图像；

第一判断模块，用于判断所述视频信息和所述人脸图像信息是否匹配，其中，若视频信息中人脸与所述人脸图像信息无法匹配则发送报警信息，若视频信息中的人脸和所述人脸图像信息相匹配，则根据所述视频信息监测区域内是否发生危险行为，判断得到第一判断结果；

第二判断模块，用于根据所述音频信息判断监测区域内是否发生危险行为，得到第二判断结果；

第三判断模块，用于根据所述第一判断结果与所述第二判断结果判断所述监测区域内发生危险行为的概率，得到第三判断结果；

管理模块，用于根据所述第三判断结果确定所述监测区域内是否发生危险行为，其中，若发生危险行为则获取监测区域的第一定位信息，并基于所述第一定位信息生成路径信息发送至学生管理终端进行预警。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于大数据的智慧校园管理方法的步骤。

本发明的有益效果为：

本发明通过对监测区域的视频信息和音频信息进行采集，并基于采集的视频信息和音频信息对监测区域内是否发生危险行为进行综合的判断，避免了现有技术中容易将学生之间的打闹嬉笑识别为危险行为，导致误报的问题，有效的提高了危险行为识别的准确率，此外，对确定发生危险行为的监测区域进行定位，并生成相应的路径信息发送至学生管理终端，使救护人员或安保人员能迅速前往现场干预危险行为，防止更加严重的后果发生，以保证学生的身心安全。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例中所述的基于大数据的智慧校园管理方法流程示意图。

图2为本发明实施例中所述的基于大数据的智慧校园管理系统结构示意图。

图3为本发明实施例中所述的基于大数据的智慧校园管理设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1：

本实施例提供了一种基于大数据的智慧校园管理方法，可以理解的是，在本实施例中可以铺设一个场景，例如:在学校内各个监测区域安装相应的摄像头以及声音采集装置采集监测区域内的视频信息以及音频信息，通过采集的监测区域内的视频信息以及音频信息对监测区域内是否发生危险行为进行判断的场景。

参见图1，图中示出了本方法包括步骤S1、步骤S2、步骤S3、步骤S4以及步骤S5，其中具体为：

步骤S1、获取视频信息、音频信息和人脸图像信息，所述视频信息为在校园内各个监测区域设置的摄像头所拍摄的视频数据，所述音频信息包括每个所述视频信息相匹配的音频数据，所述人脸图像信息包括学校教务系统录入的学生人脸图像以及人事系统录入的学校教职工的人脸图像；

在本步骤中，在校园内各个监测区域安装有摄像头以及声音采集装置以采集每个监测区域的视频信息和音频信息，其中，监测区域可以是食堂、寝室楼道、教室但不限于食堂、寝室楼道、教室，学校的教务系统中录有所有学生的人脸图像，学校的人事系统中录有所有教职工的人脸图像。

步骤S2、判断所述视频信息和所述人脸图像信息是否匹配，其中，若视频信息中人脸与所述人脸图像信息无法匹配则发送报警信息，若视频信息中的人脸和所述人脸图像信息相匹配，则根据所述视频信息监测区域内是否发生危险行为，判断得到第一判断结果；

在本步骤中，通过判断视频信息中的人脸和人脸图像信息是否匹配可以初步判断监测区域内是否存在校外人员，当视频信息中人脸与人脸图像信息无法匹配，则判断监测区域内存在校园人员，则发送报警信息避免学生发生安全隐患，当视频信息中人脸与人脸图像信息相匹配时，则判断监测区域内无校外人员，再根据视频信息进一步判断监测区域是否发生可能对学生人身安全造成危险的行为。

具体的，在所述步骤S2中还包括步骤S21至步骤S26：

步骤S21、对所述视频信息进行预处理，得到视频帧序列信息；

在本步骤中，对视频信息的预处理包括保留视频信息中每一帧图像的红、绿、蓝3个通道即保留原始的彩色图像，以便保留更多的视频帧图像特征。

步骤S22、根据所述视频帧序列信息确定关键帧信息；

进一步的，在所述步骤22中还包括步骤S221至步骤S223：

步骤S221、将所述视频帧序列信息中的每一帧发送至人体姿态估计模型，得到每一视频帧对应的骨架位置信息；

在本步骤中，人体姿态估计模型的构建为本领域技术人员所熟知的技术方案，故不再赘述，将视频帧序列信息发送至人体姿态估计模型即可得到每一帧关节点的坐标位置。

步骤S222、对每一视频帧对应的骨架位置信息进行特征提取，得到特征序列信息；

在本步骤中，得到特征序列信息的具体计算过程为：

；

上式中，

步骤S223、将所述特征序列信息发送至动作分析模型，得到关键帧信息。

在本步骤中，动作分析模型为ST-LSTM，通过ST-LSTM同时对人体关节点之间的时序依赖关系及空间关系依赖进行建模，完成关键帧的检测，其中，ST-LSTM模型的构建为本领域技术人员所熟知的技术方案，故不在此赘述。

步骤S23、将所述视频帧序列信息发送至三维卷积神经网络，得到第一特征向量；

在本步骤中，三维卷积神经网络采用I3D神经网络，将视频帧序列信息发送至I3D网络进行特征提取，即可得到第一特征向量。

步骤S24、将所述关键帧信息发送至二维卷积神经网络，得到第二特征向量；

步骤S25、将所述第一特征向量和所述第二特征向量进行融合，得到第三特征向量；

由于在校园内极易存在高密度人群的情景，人体目标可能存在人体遮挡、背景与人体肤色相近等问题，使得网络难以学习到有效特征，故而出现较多的漏检和误检问题，本步骤在使用三维卷积网络提取全局时空特征（即第一特征向量）的同时，还并行提取关键帧的二维特征（即第二特征向量，也即局部空间特征），并通过将全局的时空特征和局部的空间特征进行融合，以提高危险行为识别的准确率；

步骤S26、将所述第三特征向量发送至分类模型，得到第一判断结果。

由此，通过将第三特征向量发送至分类模型可以得到第一判断结果，第一判断结果具体为通过视频判断监测区域发生危险行为的概率，需要说明的是，分类模型的训练为本领域技术人员所熟知的技术方案，故不在此赘述。

步骤S3、根据所述音频信息判断监测区域内是否发生危险行为，得到第二判断结果；

进一步的，在所述步骤S3中还包括步骤S31至步骤S35：

步骤S31、将所述音频信息进行傅里叶变换得到所述音频信息对应的频谱信息，所述频谱信息包括所述音频信息对应的频谱图；

步骤S32、利用梅尔尺度滤波器组对所述频谱图进行滤波，得到滤波后的频谱图，所述滤波后的频谱图包括幅值精简后的频域信号；

可以理解的是，滤波的具体过程为：

；

上式中，m表示滤波器的组数，通常取22-26，k表示点的编号，

步骤S33、计算每个滤波器组的输出能量，得到计算结果；

在本步骤中，计算每个滤波器组输出信号能量为本领域技术人员所熟知的技术方案，故不在此赘述。

步骤S34、对所述计算结果进行离散余弦变换，得到音频特征信息；

在本步骤中，通过对输出能量经过离散余弦变换即可得到MFCC参数，即音频特征信息。

步骤S35、将所述音频特征信息发送至情绪分类模型，得到第二判断结果。

情绪分类模型的构建为本领域技术人员所熟知的技术方案，故不在此赘述，通过将音频特征信息发送至情绪分类模型即可得到通过音频判断监测区域发生危险行为的概率。

步骤S4、根据所述第一判断结果与所述第二判断结果判断所述监测区域内发生危险行为的概率，得到第三判断结果；

由于现有技术中通过单一的视频判断监测区域是否发生危险行为，这种方式容易将学生之间的打闹嬉笑误识别为危险行为，造成误报的问题，因此，通过视频信息结合音频信息判断监测区域是否发生危险行为可以有效的避免误报的问题，提高校园内监测区域危险行为识别的准确率。

进一步的，在所述步骤S4中还包括步骤S41至步骤S44：

步骤S41、获取预设的基本分配函数；

由于视频证据对危险行为的支持程度远大于音频证据对危险行为的支持程度，容易将学生之间的打闹误判为危险行为，因此，若直接利用DS融合算法对第一判断结果和第二判断结果进行融合，则最终的危险行为识别结果准确率并不高，因此，本申请重新设置基本分配函数形式，并将其定义为：

；

上式中，N

步骤S42、利用预设的所述基本分配函数和所述第一判断结果进行计算，得到第一计算结果；

具体的，本步骤通过下述公式得到第一计算结果：

；

上式中，I为第一计算结果，r为调节因子，

步骤S43、利用预设的所述基本分配函数和所述第二判断结果进行计算，得到第二计算结果；

在本步骤中，同样利用预设的基本分配函数和第二判断结果进行计算，得到第二计算结果的公式与第一计算结果的计算公式相同。

步骤S44、利用DS融合算法对所述第一计算结果和所述第二计算结果进行计算，得到第三判断结果。

在本步骤中，利用DS融合算法对第一计算结果和第二计算结果进行融合为本领域技术人员所熟知的技术方案，故不在此赘述，通过将第一计算结果和第二计算结果进行融合即可得到监测区域发生危险行为的概率。

步骤S5、根据所述第三判断结果确定所述监测区域内是否发生危险行为，其中，若发生危险行为则获取监测区域的第一定位信息，并基于所述第一定位信息生成路径信息发送至学生管理终端进行预警。

具体的，本步骤中首先预设阈值信息，当第三判断结果大于预设的阈值信息时，判断监测区域发生危险行为，当第三判断结果小于预设的阈值信息时，判断监测区域内未发生危险行为。

进一步的，在所述步骤S5中还包括步骤S51至步骤S54：

步骤S51、获取第二定位信息和校园区域属性信息，所述第二定位信息为学生管理终端的位置信息，所述校园区域属性信息为区域内学生的密度属性；

所述校园区域属性信息包括禁止通行区域、通行区域与易通行区域，根据区域内学生的密度进行划分。

步骤S52、根据所述第一定位信息和所述第二定位信息建立网格模型，所述网格模型包括至少一个网格单元；

步骤S53、将所述校园区域属性信息解析至所述网格模型中，得到解析后的网格模型；

由此，本步骤可将学校内的建筑、道路与网格模型相对应，再将

校园区域属性信息进行解析，并填充至网格单元中，得到解析后的网格模型，需要说明的是，将校园区域属性信息解析为禁止通行区域、通行区域与易通行区域，并分别赋予其不同的值，其中具体为：不通行区域为2、通行区域为1和易通行区0，通过对不同的区域赋予网格不同的值，以有效提高路径规划的精度。

步骤S54、利用Astar算法对所述解析后的网格模型进行搜索，得到路径信息，所述路径信息用于辅助安保人员迅速到达发生危险行为的监测区域，防止更加严重的后果发生，以保证学生的身心安全。

实施例2：

如图2所示，本实施例提供了一种基于大数据的智慧校园管理系统，所述系统包括获取模块901、第一判断模块902、第二判断模块903、第三判断模块904以及管理模块905，其中具体为：

获取模块901，用于获取视频信息、音频信息和人脸图像信息，所述视频信息为在校园内各个监测区域设置的摄像头所拍摄的视频数据，所述音频信息包括每个所述视频信息相匹配的音频数据，所述人脸图像信息包括学校教务系统录入的学生人脸图像以及人事系统录入的学校教职工的人脸图像；

第一判断模块902，用于判断所述视频信息和所述人脸图像信息是否匹配，其中，若视频信息中人脸与所述人脸图像信息无法匹配则发送报警信息，若视频信息中的人脸和所述人脸图像信息相匹配，则根据所述视频信息监测区域内是否发生危险行为，判断得到第一判断结果；

第二判断模块903，用于根据所述音频信息判断监测区域内是否发生危险行为，得到第二判断结果；

第三判断模块904，用于根据所述第一判断结果与所述第二判断结果判断所述监测区域内发生危险行为的概率，得到第三判断结果；

管理模块905，用于根据所述第三判断结果确定所述监测区域内是否发生危险行为，其中，若发生危险行为则获取监测区域的第一定位信息，并基于所述第一定位信息生成路径信息发送至学生管理终端进行预警。

在本公开的一种具体实施方式中，所述第一判断模块902中还包括预处理单元9021、第一处理单元9022、第二处理单元9023、第三处理单元9024、融合单元9025以及第一判断单元9026，其中具体为：

预处理单元9021，用于对所述视频信息进行预处理，得到视频帧序列信息；

第一处理单元9022，用于根据所述视频帧序列信息确定关键帧信息；

第二处理单元9023，用于将所述视频帧序列信息发送至三维卷积神经网络，得到第一特征向量；

第三处理单元9024，用于将所述关键帧信息发送至二维卷积神经网络，得到第二特征向量；

融合单元9025，用于将所述第一特征向量和所述第二特征向量进行融合，得到第三特征向量；

第一判断单元9026，用于将所述第三特征向量发送至分类模型，得到第一判断结果。

在本公开的一种具体实施方式中，所述第一处理单元9022中还包括第四处理单元90221、第五处理单元90222以及第六处理单元90223，其中具体为：

第四处理单元90221，用于将所述视频帧序列信息中的每一帧发送至人体姿态估计模型，得到每一视频帧对应的骨架位置信息；

第五处理单元90222，用于对每一视频帧对应的骨架位置信息进行特征提取，得到特征序列信息；

第六处理单元90223，用于将所述特征序列信息发送至动作分析模型，得到关键帧信息。

在本公开的一种具体实施方式中，所述第二判断模块903中还包括第七处理单元9031、滤波单元9032、第八处理单元9033、第九处理单元9034以及第十处理单元9035，其中具体为：

第七处理单元9031，用于将所述音频信息进行傅里叶变换得到所述音频信息对应的频谱信息，所述频谱信息包括所述音频信息对应的频谱图；

滤波单元9032，用于利用梅尔尺度滤波器组对所述频谱图进行滤波，得到滤波后的频谱图，所述滤波后的频谱图包括幅值精简后的频域信号；

第八处理单元9033，用于计算每个滤波器组的输出能量，得到计算结果；

第九处理单元9034，用于对所述计算结果进行离散余弦变换，得到音频特征信息；

第十处理单元9035，用于将所述音频特征信息发送至情绪分类模型，得到第二判断结果。

在本公开的一种具体实施方式中，所述第三判断模块904中还包括第一获取单元9041、第一计算单元9042、第二计算单元9043以及第十一处理单元9044，其中具体为：

第一获取单元9041，用于获取预设的基本分配函数；

第一计算单元9042，用于利用预设的所述基本分配函数和所述第一判断结果进行计算，得到第一计算结果；

第二计算单元9043，用于利用预设的所述基本分配函数和所述第二判断结果进行计算，得到第二计算结果；

第十一处理单元9044，用于利用DS融合算法对所述第一计算结果和所述第二计算结果进行计算，得到第三判断结果。

在本公开的一种具体实施方式中，所述管理模块905中还包括第二获取单元9051、建立单元9052、解析单元9053以及第十二处理单元9054，其中具体为：

第二获取单元9051，用于获取第二定位信息和校园区域属性信息，所述第二定位信息为学生管理终端的位置信息，所述校园区域属性信息为区域内学生的密度属性；

建立单元9052，用于根据所述第一定位信息和所述第二定位信息建立网格模型，所述网格模型包括至少一个网格单元；

解析单元9053，用于将所述校园区域属性信息解析至所述网格模型中，得到解析后的网格模型；

第十二处理单元9054，用于利用Astar算法对所述解析后的网格模型进行搜索，得到路径信息，所述路径信息用于辅助安保人员迅速达到发生危险行为的监测区域。

需要说明的是，关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

实施例3：

相应于上面的方法实施例，本实施例中还提供了一种基于大数据的智慧校园管理设备，其与上文描述的一种基于大数据的智慧校园管理方法相互对应参照。

图3是根据示例性实施例示出的一种基于大数据的智慧校园管理设备800的框图。如图3所示，该基于大数据的智慧校园管理设备800可以包括：处理器801，存储器802。该基于大数据的智慧校园管理设备800还可以包括多媒体组件803， I/O接口804，以及通信组件805中的一者或多者。

其中，处理器801用于控制该基于大数据的智慧校园管理设备800的整体操作，以完成上述的基于大数据的智慧校园管理方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该基于大数据的智慧校园管理设备800的操作，这些数据例如可以包括用于在该基于大数据的智慧校园管理设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据。

该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。通信组件805用于该基于大数据的智慧校园管理设备800与其他设备之间进行有线或无线通信。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的基于大数据的智慧校园管理方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由基于大数据的智慧校园管理设备800的处理器801执行以完成上述的基于大数据的智慧校园管理方法。

实施例4：

相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，其与上文描述的一种基于大数据的智慧校园管理方法相互对应参照。

上述可读存储介质上存储有计算机程序，计算机程序被处理器执行时，可实现上述基于大数据的智慧校园管理方法的步骤。

该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。