基于多媒体和人像识别的教育巡查管控系统及方法

技术领域

本发明涉及一种基于多媒体和人像识别的教育巡查管控系统及方法，主要用于。本发明专利涉及多媒体技术和人像识别技术等信息计算机手段和方法。更详细的说，本发明涉及基于多媒体技术和人像识别的计算机集成系统，实现了教育教学情况和教师学生课堂表现的精确掌控和管理。

背景技术

多媒体技术是指通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式，并混合音频数据，目前视频流传输中最为重要的编解码标准有国际电联的H.264编码，本系统采用的多媒体编码技术即为H.264编码技术。

人像识别技术特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术，人像识别实际包括构建人像识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人像识别预处理、对象确认以及对象检索等。

P2P技术描述为成千上万台彼此连接的计算机都处于对等的地位，整个网络一般来说不依赖专用的集中服务器，网络中的每一台计算机既能充当网络服务的请求者，又对其它计算机的请求做出响应，提供资源和服务

管理信息系统是一个以人为主导，利用计算机硬件、软件及其他办公设备进行信息的收集、传递、存贮、加工、维护和使用的系统。它以企业战略竞优、提高收益和效率为目的，同时支持企业高层决策、中层控制和基层操作。

业务需求，教育管理机构需要一套有效的管理手段，来自动的解决发现教师上课的异常情况，包括缺课、代课、迟到和早退的情况。同时能够实现教育的优质共享，比如优质教师上课时多个课堂可以同时多地上同样的课，学生课后可以多途径的复习可能内容。另外满足家长想对学生上课情况了解的关切。

目前针对这方面的应用只有日常监控系统和投入比较大的专业录播教室。监控系统只能提供简单的监控查看和回放，不能进行分析教师的上课情况，不能满足对教师教学的精确管理。专业录播教室，需要每次上课时都让学生带着课本去特定教室上课，没法常规使用，而且也只能进行特定的预知的直播和录播，不能随时随地方便使用。

发明内容

本发明旨在提供一种系统和方法，以解决现有技术存在的问题。提供一套系统，首先能巡查管控老师缺课代课、迟到早退、不敬业等，全自动模式实现管控分析，并将结果实时传递到各级管理机构，能实现全县优质课同步听讲，并可支持学生供课后复习，回看点播，解决学生上课不好管理，家长可以远程参与上课听课等，并能管理学校本信息，教师基本信息和课表基本信息，通过这些信息和识别结果进行结合，可以生成多种查询报表，供学校和以及教育局管理者查看对比，关注各个学校的教学情况。同时也能够把教室内的网络摄像头接入校园安防以及公安防中，可以对突发事件做出及时应对，减少校园安全隐患。

本发明的技术方案是：通过在教室安装摄像头、拾音器和巡查管控终端，实现对教室上课情况的音视频信号采集，并进行编码，同时通过实时采集视频中的教师影像，从教师管理系统中取出教师基本信息，更具当前时间从课表管理系统中得到课表信息，分析对比当前上课的老师是否和课表中的定义的科目老师一致，甚至是否是该校管理的老师。将对比信息和巡查管控服务器信息结合存储起来，并将编码的多媒体信息上传并存储。在学校的巡查管控服务器进行初步处理后，经过筛选后，得出识别分析结果，然后将识别分析结果和录制视频一起同步到中心校的巡查管控服务器，在中心校的巡查管控服务中心，经过进一步筛选处理，然后同步到县级巡查管控服务中心，并最终形成形象可视化的分析数据。

教室巡查管控终端编码的多媒体数据上传到学校流媒体服务器进行存储后，提供转发服务，并根据定制的策略，将部分多媒体数据同步到乡镇流媒体服务器中心，提供存储和转发服务，乡镇流媒体服务器再根据县里指定的策略，将符合规则的多媒体数据同步到县级数据中心，提供流媒体转发服务。

通过反向的访问策略处理，当用户经过统一的访问路径访问系统时，根据访问目标的不同，系统会自动分配到实际的巡查管控服务器和流媒体服务器进行响应，解决负载均衡的问题。

本发明的业务流程是通过采集视频和音频实时合成课堂多媒体影像，通过调用教师基本信息和课表信息对多媒体影像进行人像分析，从教师信息中进行比对，分析当前班级教师上课信息是否与原计划上课信息相符，然后记录存储巡查结果，对巡查结果进行处理，通过流媒体服务器并进行音视频流媒体转发，在巡查服务器中进行数据存储和数据分析，提供移动终端和PC终端查看巡查结果和巡查视频的直播点播，并向各级多媒体监视中心展示、查询和分析结果，并进行多级结果反馈。

具体发明的内容和方法如下：

(1)、一种基于多媒体和人像识别技术的教育巡查管控系统，其特征在于，包括影像模块、拾音模块、巡查管控一体终端设备、数据交换模块、巡查控制服务器、流媒体服务器、监控中心模块和集中分析模块，影像模块和拾音模块的输出端与巡查管控一体终端设备的输入端连接，巡查管控一体终端设备的输出端依次连接有数据交换模块、巡查控制服务器、流媒体服务器和监控中心模块，在该巡查控制服务器的输出端与巡查管控一体终端设备的输入端之间连接有集中分析模块；上述系统由供电模块供电。

(2)、根据发明内容(1)所述的基于多媒体和人像识别技术的教育巡查管控系统，其特征在于，所述的影像模块用于采集外部影像数据，并进行编码；影像模块为两个，一个负责教学影像数据的采集，一个负责学生影像的采集；

拾音模块主要用于语音数据的采集，并进行编码，将模拟语音信号转换为数字语音信号，通过网络线路传输到巡查管控一体终端设备，由巡查管控一体终端设备进行混合编码处理；

所述数据交换模块用于实现所有影像数据、计算机数据和控制数据的互联互通，用于实现数据交换；

控制巡查管控一体终端包含的通信管理模块是的一个集成设备，主要负责终端与上层的网络设备连接，包括设备与上层的控制服务器、流媒体服务器连接，监控中心模块与控制服务器、流媒体服务器的连接。

控制巡查管控一体终端中包含有信号输入输出模块，主要用于影像数据和计算机数据的输入输出，采用RS232协议进行传输；语音数据的输入输出，采用RCA信号传输；

(3)、根据发明内容(1)所述的基于多媒体和人像识别技术的教育巡查管控系统，其特征在于，所述的巡查控制服务器采用Intel的高性能CPU和大容量内存，提供硬件设备能力，安装教育巡查管控系统和相应数据库系统，提供相关管理数据和参数数据，并基于这些数据和前端传递过来的对比结果，综合处理这些数据并存储和上传。

(4)、根据发明内容(1)所述的基于多媒体和人像识别技术的教育巡查管控系统，其特征在于，所述的流媒体服务器，具有高性能的运算能力，采用Intel的高性能CPU、大容量内存等，提供硬件设备能力，针对终端传递来的多媒体数据，进行编码、压缩，对外公开内网访问路径和外网访问路径，能被其它各级平台、移动终端、PC终端访问，为他们提供多媒体转发服务。

(5)、根据发明内容(1)所述的基于多媒体和人像识别技术的教育巡查管控系统，其特征在于，所述的监控中心模块以多媒体和报表图表的形式，将各类数据、多媒体、巡查结果集中展示，能够统一的查看和检索各类数据和结果。

(6)、根据发明内容(1)所述的基于多媒体和人像识别技术的教育巡查管控系统，其特征在于，所述的巡查管控一体终端设备，其外部输入输出接口包括RS232接口，220V供电输入接口，USB输入输出接口，VGA接口，HDMI接口；其内部安装操作系统，并安装智能人像识别软件系统，多媒体数据编码系统，以及数据上传系统。

(7)、根据发明内容(6)所述的方法，其特征在于，所述的智能人像识别软件系统，对巡查管控一体终端设备接收到的影像数据，根据特征点算法，能够检测出影像数据中人脸数据，并可以与预先预置的相关人像数据进行实时比对，实时甄别出影像数据中的人脸为某个已预置人像，或者非预置人像，并将检测到的人脸数据和识别出的对比结果数据进行本地存储和输出。

(8)、(7)中的特征点算法采用一种改进的ORB算法，标准ORB算法使用的是FAST算法提取的特征点。FAST算法是一种非常快的特征点算法，但有两种不足，提取到的特征点没有方向，提取到的特征点不满足尺度变化，ORB的算法的思想是把特征点的邻域范围看成一个patch，然后求取这个patch的质心，最后把该质心与特征点进行连线，求出该直线与横坐标轴的夹角，即为该特征点的方向。ORB中可以指定需要提取到的角点的数量N，然后对FAST提取到的角点分别计算Harris响应值，选择前N个具有最大响应值的角点作为最终提取到的特征点集合。ORB生成的特征描述子为二进制码串形式，使用Hamming距离实现对特征点的匹配比较合适。ORB算法原理可以看出，ORB虽然具有旋转不变性，但却并不具备尺度不变性，其根本原因在于FAST检测出的特征点不含尺度不变信息，从而使得描述子不具备尺度不变性，改进ORB算法的解决方法是使检测出的特征点具备尺度不变信息。通过Hessian矩阵检测特征点，设图像I中某点P＝(x，y)，则尺度为σ的Hessian矩阵定义为：H(P，σ)＝Lxx(P，σ)Lxy(P，σ)Lxy(P，σ)Lyy(P，σ)，其中Lxx(P，σ)是高斯滤波后的图像点P在x方向的二阶导数；同理，可求得Lxy(P，σ)、Lyy(P，σ)。由于求Hessian时要先高斯滤波，然后求二阶导数，在离散的像素点中，可以用一个模板代替，如图1所示。此模板可以极大程度地提高计算速度，计算Hessian矩阵行列式的比较精确的近似公式为：det(H)＝DxxDxx-(0.9Dxy)，进而得到每个像素点的Hessian矩阵行列式的近似值，提高算法的稳定性。采用比率测试，查这两个距离的比值，以除去不安全的匹配，因此对当前的匹配进行筛选，去除最有匹配和次优匹配强度响应强度大于设定阈值的匹配以及孤立的匹配，提高识别的匹配度的正确性和性能。

标准ORB算法步骤如下：

首先构造尺度金字塔；

金字塔共n层，与SIFT不同，每层仅有一副图像；

第s层的尺度为scale

第s层图像大小:

在不同尺度上采用Fast检测特征点；在每一层上按公式计算需要提取的特征点数n，在本层上按Fast角点响应值排序，提取前2n个特征点，然后根据Harris角点响应值排序，取前n个特征点，作为本层的特征点；

通过质心法计算每个特征点的主方向；

旋转每个特征点的Patch到主方向，采用上述步骤的方法选取的最优的256对特征点做τ测试，构成256维描述子，占32个字节；

然后采用Hamming距离做特征点匹配。

本发明提出的改进ORB算法，在上述标准ORB算法框架基础上，保持ORB基本流程不变，而是对标准算法的尺度不变形和匹配精度进行改进,然后采用区域模块分割的标准ORB特征提取算法。标准ORB算法是由检测特征点、计算特征点描述符、匹配特征点，等三部分组成。首先构造多尺度空间，在每层尺度空间通过改进FAST算法来检测特征点。然后用具有旋转的BRIFE来生成图像局部特征的二值描素值，最后用汉明距离进行相似性匹配。针对标准ORB算法不具备尺度不变性和误匹配率高的问题，改进ORB算法匹配正确率，采用双向匹配和RANSAC算法来提高匹配正确率。

采用标准ORB算法中的Rotated BRIEF二进制特征点描述子对检测到的特征点进行描述，得到描述特征点。标准ORB算法效率通常是通过所获取到的特征数目的多少来决定算法的准确性，特征数目越多，计算结果越准确，特征数目越少，结果越不准确,。过多的特征点将提高算法计算量，影响识别速度。改进的ORB算法能够尽可能在提取足够多的特征点情况下，保证特征点能均匀的分布到识别图像上，改进ORB算法将采用区域模块分割的标准ORB特征提取算法。

改进ORB算法步骤如下：

1:先对图像构建金字塔，金字塔包含普通层和中间层，数量各位5个，各层的缩放尺度如下t(c

得到8层结构的图像金字塔，普通层之间缩放因子是2倍关系，中间层之间的缩放因子也是2倍关系。图像的显着性是整个图像的连续量，也是沿着尺度维度变化的，算法对每个检测到的最大值进行亚像素和连续比例细化，解决尺度不变形。利用FAST特征点不具有方向性，使用角度变量-强度质心。假设角的强度偏离其中心，并且矢量可以计算方向。对于一个特征点P来说，定义p的领域像素的矩为：

2：尽可能在提取足够多的特征点情况下，保证特征点能均匀的分布到识别图像上，算法将采用区域模块分割的标准ORB特征提取算法。步骤如下：先将得到的图像分割成大小均匀的子区域，将图像划分成M×N个子区域，这样图片区域中的特征点信息就会随机分布，将模块化子区域先行后列表示为{a1,a2,…,am}。然后将检测不到的特征点的区域ai设为不感兴趣区域，且在后面检测中不再考虑该区域。将检测到的nj个候选点的区域hj设为感兴趣，判断nj与j的大小(j的设置依据经验值，这里设为5)。如果前者不大于后者则将子区域的候选特征点设为检测点，若前者大于后者，再进一步做Harris角点检测排序操作，选出表现最好的j个点，其余的作为候选检测点kj。最后遍历图像帧的特征直到满足选取的特征个数

3：得到特征点后我们需要已某种方式描述这些特征点的属性，这些属性称之为该特征点的描述子。算法采用BRIEF算法来计算一个特征点的描述子。

4：计算每个特征点的主方向，灰度质心法，计算特征点半径为r的圆形邻域范围内的灰度质心位置。从中心位置到质心位置的向量，定义为该特征点的主方向。

5：采用Hamming距离做特征点匹配，通过匹配可以得出两个特征点有多少个相对位，通过对两个特征点进行异或操作可以计算出两个特征点的相似度，设定一个阀值，如果两个特征点的描述子大于这个阀值，就能确定两个特征点是匹配的。

(9)、根据发明内容(6)所述的方法，其特征在于，所述的多媒体数据编码系统，将巡查管控一体终端设备接收到影像数据、语音数据，通过CPU运算，进行混合编码，再用视频编码格式H.264对视频进行核心算法帧内压缩，输出标准的RSTP视频流和其它标准格式的多媒体数据。

(10)、根据发明内容(6)所述的方法，其特征在于，所述的数据上传系统，当判断本地特定位置下有数据文件和多媒体文件时，通过通信模块将数据文件上传到上层的巡查控制服务器；通过通信模块将多媒体文件上传到上层的流媒体服务器。

(11)、根据发明内容(6)所述的方法，其特征在于，当上层的控制服务器下达更新相关设置或者参数时，巡查管控一体终端设备的设置和参数将会被更新；当上层的控制服务器对巡查管控一体终端设备下达开始和停止某个工作指令时，巡查管控一体终端设备会运行和停止某个工作服务。

(12)、根据发明内容(6)所述的方法，其特征在于，当上层的控制服务器无法连接时，所述的巡查管控一体终端设备进入独立运行模式；在该模式下，对接收到的影像数据和语音数据进行混编处理，并进行人像甄别；将混编处理的多媒体数据存储在本地，待网络连通时，将数据同步到上层的流媒体服务器；将人像甄别的结果存储在本地，待网络连通时，将数据同步到上层的控制服务器；当本地的网络信号为无法连接或者上层的控制服务器的IP地址无法检测时，或者上层的流媒体服务器的IP地址无法检测时，则将对巡查管控一体终端设备进行独立运行。

(13)、一种基于发明内容(1)所述的教育巡查管控系统的应用方法，其特征在于，包括以下步骤：

1：使用前，通电，有供电模块给对应的相关子系统模块进行供电。

2：通过所述的影像模块采集到教师上课教学影像，送往巡查管控一体终端设备；

3：通过所述的影像模块采集到学生上课影像，送往巡查管控一体终端设备；

4：通过所述的拾音模块采集教室的语音信息，送往巡查管控一体终端设备；

5：流媒体服务器，通过调取学校教师信息和课表信息，对识别系统进行数据完善，并向巡查管控一体终端中的人像识别系统发送比对人员信息库。

6：上述5中的比对人员信息库，采用高清数码相机采集，能够完全展现人像面目各种特征点，做到拉伸不变形，采取8张人像面部照片，左侧、右侧、正面以及上侧各2张照片，这样识别系统能人像识别库训练对比得出更精确的识别的点，结合权利要求8中的特征点改进的ORB算法，提高识别结果的精确度。

7：巡查管控一体终端设备使用集成安装的人像识别系统进行智能识别，从人像识别库中赛选出结果，得到教师上课比对信息，通过通信模块将识别结果传送到上层的巡查控制服务器，巡查控制服务器将传送过来的识别结果存入数据库中，结合教师信息和课表信息、以及学校信息，生成教师正常上课信息、教师缺课信息、教师替课信息和教师代课信息的统计表；

8：巡查管控一体终端设备使用安装的巡查管控客户端软件将影像数据和语音数据进行混合编码，通过通信模块将多媒体数据传送到上层的流媒体服务器，流媒体服务器将视频存入本地磁盘中，结合学校信息、教师信息、课表信息按班级、课程、教师、节次和时间生成视频点播列表，存入数据库中；

9：流媒体服务器通过接收集成的通讯模块接受来自上层的控制服务器的控制指令，进行设备的电源、工作状态控制，进行相关运行参数的设置、更新。

10：流媒体服务器将合成更新的巡查结果数据发送到学校、乡镇和县级，合成的新的多媒体视频、巡查结果和管理数据等信息，提供学校、乡镇中心校、县级教育局在线查看学校识别数据信息，在线观看教室课堂直播信息和管理本地磁盘视频数据。

本发明的优点是：通过该发明，可以实现教师上课情况的精确管理和控制，实现教学课堂情况实时直播和课后的按需点播播放。满足了教育局的管理需求，学生的课后需求和家长的优质教育需求。满足了校园安全监控的需求。

附图说明

图1是本发明系统的结构框图；

图2是本发明方法的业务流程图；

图3是本发明系统的数据流程图。

图4是本发明识别特征点的业务流程图。

图5是本发明识别算法流程图。

具体实施方式

参见图1-图3，本发明的具体思路如下：

以一个县、包括一个乡镇，该乡镇有一个学校，该校有6个教室为例进行说明，其它县，以及包括多个乡镇，每个乡镇包括多个学校，每个学校的教室数不同时，巡查管控系统及方法类似，都被认可在本发明的范围之内。

在每个教室，需要安装2个高清摄像头，摄像头的参数1080p分辨率为标准配置，一个安装在正对着讲台的位置，根据焦距情况选择合适的位置，能完整显示讲台、黑板区域，并能清晰看清上课教师的面部为参考；另外一个摄像头安装在教室的前方，以能全部照进上课学生为参考。在教室的合适位置安装一个全向拾音器，以拾取教师的讲课声音为主要依据，根据教室的布局选择合适的位置，兼顾学生的声音拾取。在教室中安装教育巡查管控终端一台，将全向拾音器通过音频线和巡查管控终端连接，作为巡查管控终端的音频输入。将两个摄像头通过网络和巡查管控终端通过双绞线连接到同一个网络交换机上，并设定各自的IP地址进行连接。IP地址设定时全校考虑，每个地址不能重复。再将网络交换机连接到校内的千兆交换机上。

教室中安装的教育巡查管控终端通过网络设备连接，组成局域网，通过内置的智能人像识别软件提供的摄像机信息设置，输入对应的班级高清摄像头的网络IP地址，软件可以根据教室课表信息，自动获取摄像机视频流，通过识别系统的特征点识别算法ORB算法，将视频流中的平面视频按像素分割成圆形区域，抓取人脸位置，将人脸范围内的成圆形区域作为识别区域，在圆形区域中选取一个像素点，作为比较点，根据识别系统设置的人像识别参数，和周围的N个点进行对，如果有连续多个识别点相同，即找到一个人像特征点，依次类推在不同的位置，即可找到多个人像特征点。然后把这些人像特征点与人像识别库的特征点进行比对，比如如果我们设置识别阙值为80％，则特征点相似度大于80％即匹配人脸成功。匹配成功后，通过录入的识别库的教师编号，可以在教师信息中查到该教师的基本信息，并生成该教师的上课识别信息，来记录教师正常上课、缺课、替课、代课等信息，发送的巡查控制服务器中的数据库信息中。

教室中安装的教育巡查管控终端将教室内的两个摄像头的视频信息和拾音器中的声音信息合成为视频流信息，通过网络传输到巡查管控服务器和流媒体转发服务器中。在每个学校需要部署巡查管控服务器和流媒体转发服务器，教育巡查服务器上安装得教育巡查管控系统，包含有数据库，在教育巡查管控服务器上配置好各个教师的基本信息，包括每个老师多个角度的照片，和学校本学期上课的课表。并将各个教室的教育巡查管控终端，通过IP在巡查管控服务器上进行注册。巡查管控服务器能控制各个终端的工作时间设定、启动、关闭等。并设定好多媒体视频的存储位置、命名规则、视频格式、压缩比率、码流等。根据课表自动同步巡查开始结束的时间、视频直播和录制的启动和关闭时间等参数。以及向上级巡查管控服务器同步的选择参数、时间和内容。巡查服务器把教室内的教育巡查管控终端传输的视频流已MP4文件的形式保存到磁盘中，通过巡查管控系统，把视频的详细包括文件名、学校、班级、科目、节次、任课教师、日期等信息存储到数据中，通过巡查管控系统可以根据上面的条件快速查询所需要查找的视频信息。在每个学校的流媒体服务器上安装流媒体转发系统，并启动P2P模式，设定多媒体信息的存储关联关系，并配置好巡查管控服务器和流媒体服务器的外网映射关系，能够通过外网访问教育巡查管控系统和流媒体服务器转发的流媒体信息。并通过千兆交换机相互连通，对外网通信，保证最低10M的上传速率网络。通过流媒体转发，学校管理人员、学生家长和学生，都可以通过外网和学校局域网实时查看课堂直播的图像和声音。

在乡镇中心校部署教育巡查管控系统服务器和流媒体服务器，教育巡查管控服务器安装乡镇版的教育巡查管控系统，对乡镇所辖区内所有学校的教育巡查情况进行统一管理，配置IP地址和访问路径等参数，将全乡镇内的教育巡查管控系统组成一个环网，实现各类资料、档案数据和多媒体视频的同步共享。流媒体服务器对乡镇内最优秀的教学多媒体视频进行存储和转发，各设备之间通过千兆交换机组网。并提供外部互联网网络，并具有至少50M的上传速率网络性能。并在乡镇内建立小型监控中心，在该监控中心，能够实时展示和分析乡镇内的教育巡查管控情况和各类分析数据，安装监控拼接屏、功放、音箱、操控台、控制电脑等相关设备。通过配置实现客户端集中访问，应用系统各自响应的模式。

在县教育局指定位置建设机房、部署应用服务器和存储服务器，建立监控中心，安装县级教育巡查管控系统和多媒体转发系统。通过IP组网，对各乡镇、各学校的教育巡查管控服务器和流媒体服务器进行管理，能够上下同步全县的教师数据、学生数据、课表数据、分析数据和学校数据，成为全县的数据管理中心，并对来自各个用户的访问响应，配置访问规则，实现所有的访问都有一个最优的响应。监控中心部署拼接屏、操控台、操控电脑、音箱、拾音器、摄像头等，实现对全县的教育情况的集中展现和分析，并可以进行双向的实时交流和培训。