基于视频监控的校园一卡通智能预警方法及系统

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种基于视频监控的校园一卡通智能预警方法及系统。

背景技术

在人们生活成长的过程中，校园生活是每个人必不可少的一个环节。而学生作为一个弱势群体在校园中进行集体生活，校园的安全就显得极为重要。为了防止外界非相关人员的入校，所以大多数学校在考虑成本的基础上采取了基于一卡通的刷卡入校制度。但是，单纯的利用一卡通进行刷卡进校园存在较大的安全隐患，例如非校内人员非法持有校内人员的一卡通即可完成刷卡入校，例如在人员进出入校园较为密集时刻，因为闸机具有一定的机械延迟从而导致非刷卡人员的混入等相关的安全因素。校园监控视频辅助一卡通进行预警的目的是防止入校人员非法持卡利用一卡通通过校园门禁进入，故利用监控视频对其持卡人员进行身份识别，根据实际情况判断预警条件从而使得非法持卡人员在进入校园时进行预警。

现有的人脸识别技术多数是针对于高清相机所拍摄的约束条件下的人脸图像进行识别，但是因为约束条件下的高清相机的局限性，即成本太高、不符合大规模人口密集场所等因素，导致校园闸机高清相机人脸识别技术不够普及。因此，需要利用校园门口的监控设备所采集的监控视频进行辅助一卡通刷卡入校。监控设备所采集的监控视频不同于约束条件下的高清相机，其采集的监控视频在受到复杂的环境光时人脸识别的正确性影响更为严重，而人脸识别正确率低下对于校园的预警有着较为严重的影响。现有技术中，组织一个人脸样本集，提取图片的特征，随后通过Adaboost算法挑选出合适的特征来组成检测器，对输入的含人脸图像进行人脸检测，得到人脸图像；没有分析采集环境对人脸图像的细节影响容易造成误差，减少识别的准确性。在进行人脸定位后对人脸进行光照复杂度计算，仅通过设定复杂度阈值选择不同的光照处理方法对人脸进行光照处理，对人脸图像光照处理的误差较大且效率较低，无法根据具体环境的光照效果对人脸图像进行分析，减少识别的准确性。

发明内容

为了解决现有技术中没有分析具体环境的光照效果对人脸图像的细节影响，导致降低识别的准确性的技术问题，本发明的目的在于提供一种基于视频监控的校园一卡通智能预警方法及系统，所采用的技术方案具体如下：

本发明提出了一种基于视频监控的校园一卡通智能预警方法，该方法包括：

获得每个刷卡人员的至少两个连续帧图像；根据每个所述刷卡人员的所有所述连续帧图像的信息变化程度筛选出对应刷卡人员的人脸识别图像；

根据每个所述人脸识别图像在RGB图像内颜色通道的像素点灰度值获得混合单通道图像；将所述混合单通道图像进行均匀分割，分别获得至少两个分割区域；

预设至少两个参考方向，对任意一个参考方向，根据每个所述分割区域的邻域区域内像素点在所述参考方向上的灰度分布获得所述分割区域在所述参考方向的拟合向量；根据每个所述分割区域与其邻域区域内像素点在所述参考方向上的相似程度获得所述分割区域在所述参考方向的置信度；对任意一个参考方向，根据所有所述分割区域在所述参考方向的所述拟合向量和所述置信度获得每个所述参考方向的光照向量参数；

将最大所述光照向量参数对应的所述参考方向作为光照方向；根据所述光照方向和所述人脸识别图像获得去光照人脸图像；对所述去光照人脸图像进行人脸识别，构建预警条件函数；根据所述预警条件函数进行智能预警。

进一步地，所述人脸识别图像的获取方法包括：

对任意一个刷卡人员，将对应刷卡人员的每个所述连续帧图像的信息熵作为对应所述连续帧图像的信息变化程度；将最小所述信息变化程度对应的连续帧图像作为对应刷卡人员的人脸识别图像。

进一步地，所述混合单通道图像的获取方法包括：

对所述人脸识别图像中任意一个像素点，分别获得每个像素点在R通道、G通道和B通道的灰度值；将每个像素点在R通道、G通道和B通道的灰度值中的最大值作为对应像素点的通道灰度值；根据所述人脸识别图像中所有像素点的像素值替换为所述通道灰度值，获得所述混合单通道图像。

进一步地，所述分割区域在所述参考方向的拟合向量的获取方法包括：

对任意一个参考方向，将每个所述分割区域和所述分割区域在所述参考方向上的邻域区域作为所述分割区域在所述参考方向的向量区域；

按照所述参考方向，依次将所述向量区域内关于所述参考方向对称的像素点和所述参考方向上的像素点组成所述向量区域的对称组；将所述向量区域的每个对称组内像素点的灰度均值作为对应对称组的向量值；按照所述参考方向将所述向量区域的所有对称组的向量值组成对应所述分割区域在所述参考方向的拟合向量。

进一步地，所述分割区域在所述参考方向的置信度的获取方法包括：

对任意一个所述参考方向，将每个所述分割区域内所有像素点的灰度均值作为第一均值；将对所述分割区域的每个所述向量区域内所有像素点的灰度均值作为对应向量区域的区域均值；

获得所述分割区域除自身以外的每个所述向量区域的区域均值与对应所述分割区域的第一均值的余弦相似度，将所述余弦相似度作为所述分割区域在所述参考方向的子相似度；将每个所述分割区域在所述参考方向的所有子相似度的均值作为所述分割区域在所述参考方向的置信度。

进一步地，所述每个所述参考方向的光照向量参数的获取公式包括：

式中，

进一步地，所述去光照人脸图像的获取方法包括：

利用自适应伽马校正算法对所述人脸识别图像沿所述光照方向进行人脸识别图像的自适应矫正，获得去光照人脸图像。

进一步地，所述预警条件函数的构建方法包括：

式中，

本发明还提出了一种基于视频监控的校园一卡通智能预警系统，包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现如上述的一种基于视频监控的校园一卡通智能预警方法。

本发明具有如下有益效果：

本发明实施例首先根据每个刷卡人员的所有连续帧图像的信息变化程度获取对应刷卡人员的人脸识别图像，人脸识别图像的信息变化程度越低，在后续过程中对人脸识别图像进行分析，获得的识别结果更加准确。其次，获得混合单通道图像并将其均匀分割，混合单通道图像能够表示人脸识别图像受到的光照影响情况，后续对混合单通道图像中的每个分割区域进行光照影响的分析，结果会更加准确。对任意一个参考方向，通过构建拟合向量用于表示参考方向下的灰度变化特征，方便后续对光照方向的选取。置信度表示在边缘或背景的角度每个分割区域与其邻域区域内像素点在参考方向上的相似程度，通过置信度消除背景或者边缘影响因素，来提升后续获取光照方向的准确性。根据拟合向量和置信度获得每个参考方向的光照向量参数，筛选出光照方向。根据光照方向和人脸识别图像获得去光照人脸图像并对其进行人脸识别，构建预警条件函数，进而进行智能预警。本发明通过利用混合单通道图像特征获取人脸识别图像的光照方向，并进行基于光照方向的去光照影响处理，增强去光照的准确性，提高去光照的效率，而后进行人脸识别，对非法闯入人员进行预警。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于视频监控的校园一卡通智能预警方法流程图；

图2为本发明一个实施例所提供的分割区域m在参考方向315°的向量区域示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于视频监控的校园一卡通智能预警方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于视频监控的校园一卡通智能预警方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种基于视频监控的校园一卡通智能预警方法流程图，该方法包括：

步骤S1：获得每个刷卡人员的至少两个连续帧图像，根据每个刷卡人员的所有连续帧图像的信息变化程度筛选出对应刷卡人员的人脸识别图像。

本发明实施例所针对的具体场景为：在利用视频监控辅助一卡通进行校园预警时需要对人脸进行识别，而校园监控视频中的人脸图像因为监控设备的原因受到光照影响较大，使得人脸识别的准确率下降。因此，本发明通过对视频监控中的人脸图像进行基于光照方向的去光照处理，来提升视频监控中的人脸图像识别的准确性，利用视频监控辅助一卡通实现校园预警。

校园门禁系统在进行人员出入的时候，需要利用一卡通进行刷卡进入，但是这种机制实质上为非实名制，即非一卡通的所有人员进行非法持卡时也能够通过一卡通进行刷卡进入，无法保障校园的安全。由于每个学校的校园门口都具有监控设备，本发明通过利用校园门口的监控设备所采集的监控视频进行辅助一卡通进行入校人员的识别，对于非法持有一卡通的入校人员在非法入校时进行预警。

为了达到预警的目的，需要对持卡人员在利用一卡通进行刷卡的时候进行基于监控设备的监控视频中的人脸识别，在采集过程中采集的监控视频中人脸信息的质量可能不足以支撑信息的识别。因此需要利用监控设备在持卡人员进行刷卡时进行相应的视频信息的采集，设置一个信息采集区域，能够在提高工作效率的同时提高采集的监控视频的清晰度，在本发明实施例中信息采集区域具体包括：

将闸机阻拦体至闸机边缘的距离作为第一距离；将闸机外侧距离位于校外闸机边缘的第一距离的位置作为起始线，由于本发明实施例中是对进入校园的人员进行信息采集，因此起始线位于校外的一侧；将起始线与闸机阻拦体之间的区域作为信息采集区域；信息采集区域的长度为第一距离的二倍值。设置信息采集区域长度为第一距离的二倍值，是为了使起始线距离闸机阻拦体的距离较短，能够减少对经过闸机的非刷卡人员的误判，对持卡人员在进行刷卡的整个过程进行持续拍摄。

进一步地，获得每个刷卡人员的至少两个连续帧图像，在本发明实施例中具体包括：当监控设备所采集到的监控视频中有人经过信息采集区域的起始线时，开始采集刷卡人员进行人脸信息，直至接收对应刷卡人员对闸机刷卡的高电平信号，停止采集对应刷卡人员的人脸信息。在整个信息采集区域内对每个刷卡人员继续监控视频采集，获得每个刷卡人员的所有连续帧图像。

在每个刷卡人员的所有连续帧图像中，包含待验证的刷卡人员的帧图像，而由于存在位置空间的变化，每个连续帧图像其受到的光照影响大小是不相同，需要对每个刷卡人员的所有连续帧图像进行筛选，选择受到光照影响最小的连续帧图像，才能使提高后续操作的精确度，进而使每个刷卡人员的人脸识别更加精确。由于在相应同一个背景下的同一个目标，若某个连续帧图像收到光照的影响越大，对应连续帧图像的信息变化更为丰富，对应连续帧图像的信息熵越大；若某个连续帧图像收到光照的影响越小，对应连续帧图像的信息变化更为简单，对应连续帧图像的信息熵越小。因此，根据每个刷卡人员的所有连续帧图像的信息变化程度筛选出对应刷卡人员的人脸识别图像，在本发明实施例中具体包括：对任意一个刷卡人员，将对应刷卡人员的每个连续帧图像的信息熵作为对应连续帧图像的信息变化程度。需要说明的是，图像信息熵的获取方法为本领域技术人员熟知的技术手段，在此不多赘述，在此仅简述本发明一个实施例提供的信息熵计算公式：

式中，

信息变化程度反映了连续帧图像上的像素信息变化，若连续帧图像上的像素信息变化越大，则对应连续帧图像收到光照的影响越大，即对应连续帧图像的信息变化程度越高；若连续帧图像上的像素信息变化越小，则对应连续帧图像收到光照的影响越小，对应连续帧图像的信息变化程度越低。

将最小信息变化程度对应的连续帧图像作为对应刷卡人员的人脸识别图像，人脸识别图像收到光照的影响越小，人脸识别图像的信息变化程度越低，因此后续过程中对人脸识别图像进行分析，获得的识别结果更加准确。

步骤S2：根据每个人脸识别图像在RGB图像内颜色通道的像素点灰度值获得混合单通道图像；将混合单通道图像进行均匀分割，分别获得至少两个分割区域。

经过步骤S1的分析，对任意一个刷卡人员均获得一个对应的人脸识别图像。由于在具体的环境中，光的方向不同对人脸识别图像的影响形式也就不同，需要对人脸识别图像进行混合单通道的提取，对混合单通道进行光照影响分析获得光照方向，而后根据光照方向对图像进行去光照影响。

由于常规算法中对环境光影响下的图像进行光线特征的获取时，一般是根据RGB图像转换为灰度图进行获取的。灰度图是一个加权平均的过程，在灰度图的生成过程中会丢失一部分的光照影响特征，使得后续的光照特征的量化不够精确，尤其是对于极易受光照影响的监控视频图像而言，后续的去光照影响较大。以不同颜色通道对光照的敏感性和反射的不同提取混合单通道，进行才能在后续过程中提取更准确的光照特征。因此，根据每个人脸识别图像在RGB图像内颜色通道的像素点灰度值获得混合单通道图像，在本发明实施例中具体包括：

对人脸识别图像中任意一个像素点，分别获得每个像素点在R通道、G通道和B通道的灰度值。在人脸识别图像中，不同的颜色通道对于光照的敏感性和反射是不一样，每个通道中的像素点对于光照的敏感性以及反射越大，在人眼中对应像素点的亮度更明显。因此，将每个像素点在R通道、G通道和B通道的灰度值中的最大值作为对应像素点的通道灰度值。根据人脸识别图像中所有像素点的像素值替换为通道灰度值，获得混合单通道图像。混合单通道图像能够表示人脸识别图像受到的光照影响情况。

进一步地，将混合单通道图像进行均匀分割，分别获得至少两个分割区域。在本发明实施例中，根据预设区域尺寸对混合单通道图像进行均匀分割，预设区域尺寸为3*3，即将混合单通道图像均匀分为多个3*3的区域，具体预设区域尺寸可根据具体实施方式具体设置，后续步骤中需要对每个分割区域进行分析。

步骤S3：预设至少两个参考方向，对任意一个参考方向，根据每个分割区域的邻域区域内像素点在参考方向上的灰度分布获得分割区域在参考方向的拟合向量；根据每个分割区域与其邻域区域内像素点在参考方向上的相似程度获得分割区域在参考方向的置信度；对任意一个参考方向，根据所有分割区域在参考方向的拟合向量和置信度获得每个参考方向的光照向量参数。

为了获得准确的光照方向，需要从多个方向对混合单通道图像的分析，需要预设参考方向，基于每个参考方向获得混合单通道图像内每个分割区域在对应参考方向上的数据特征。在本发明实施例中，设置参考方向包括：0°、45°、90°、135°、180°、225°、270°和315°。根据八个参考方向依次对混合单通道图像内每个分割区域进行分析，进而获得准确的光照方向，提高去光照的准确性。

首先，对混合单通道图像内任意一个分割区域，获得对应分割区域在预设邻域范围内的其他分割区域。在本发明实施例中，预设邻域区域为八邻域，具体数值可根据具体实施方式具体设置。因此，对任意一个参考方向，根据每个分割区域的邻域区域内像素点在参考方向上的灰度分布获得分割区域在参考方向的拟合向量，在本发明实施例中具体包括：

对任意一个参考方向，将每个分割区域和对应分割区域在参考方向上的邻域区域作为分割区域在参考方向的向量区域。对每个分割区域在参考方向的向量区域进行分析，能够获得每个分割区域在参考方向的光照影响程度。由于在本发明实施例中设置有八个参考方向，因此，任意一个分割区域均对应八个向量区域，且每个向量区域对应一个参考方向。

由于混合单通道图像通过均匀分割后，每个分割区域中不是一个像素点，而是存在多个像素点。而沿着光照的方向进行变化时，在与光照的正交方向的像素点受到的光照影响应该是相同的。因此，本发明通过对每个分割区域的像素点在以某个参考方向作为基础，对其进行正交方向上的拟合，在对应分割区域的邻域区域内在某个参考方向的拟合方向向量。由于沿着光照的方向进行变化时，在光照方向上像素点与光照的正交方向的像素点受到的光照影响应该是相同的。因此，按照参考方向，依次将向量区域内关于参考方向对称的像素点和参考方向上的像素点组成向量区域的对称组。请参阅图2，其示出了本发明一个实施例所提供的分割区域m在参考方向315°的向量区域的示意图，在图2中一共有九组对称组，分别是

进一步地，将向量区域的每个对称组内像素点的灰度均值作为对应对称组的向量值；按照参考方向将向量区域的所有对称组的向量值组成对应分割区域在参考方向的拟合向量。同样以分割区域m在参考方向315°的向量区域为例，分割区域m在参考方向315°的拟合向量为：

式中，

为了消除每个分割区域在某个参考方向上由于边缘或者背景对获取的拟合向量造成的误差，根据每个分割区域与其邻域区域内像素点在参考方向上的相似程度获得分割区域在参考方向的置信度，在本发明实施例中具体包括：

对任意一个参考方向，将每个分割区域内所有像素点的灰度均值作为第一均值；将对分割区域的每个向量区域内所有像素点的灰度均值作为对应向量区域的区域均值。获得分割区域除自身以外的每个向量区域的区域均值与对应分割区域的第一均值的余弦相似度，将余弦相似度作为分割区域在参考方向的子相似度。将每个分割区域在参考方向的所有子相似度的均值作为分割区域在参考方向的置信度。仍然以图2出示的分割区域m在参考方向315°的向量区域为例，分割区域m在参考方向315°的置信度公式具体包括：

式中，

置信度表示在边缘或背景的角度每个分割区域与其邻域区域内像素点在参考方向上的相似程度。若置信度越小，则对应分割区域与其邻域区域内像素点在参考方向上的相似程度越低，即对应分割区域在参考方向上获得的光照方向越不准确；若置信度越大，则对应分割区域与其邻域区域内像素点在参考方向上的相似程度越高，即对应分割区域在参考方向上获得的光照方向越准确。对任意一个参考方向，每个分割区域均有每个参考方向上的置信度。

进一步地，对任意一个参考方向，每个分割区域在对应参考方向的置信度越大，说明对应分割区域在参考方向上获得的光照方向越准确，对应参考方向为光照方向的可能性越大。且每个分割区域在对应参考方向的拟合向量内向量数值越均匀，说明对应参考方向为光照方向的可能性越大。因此，对任意一个参考方向，根据所有分割区域在参考方向的拟合向量和置信度获得每个参考方向的光照向量参数，在本发明实施例中具体包括：

式中，

在参考方向

每个参考方向均有对应的一个光照向量参数，光照向量参数表示对应参考方向为光照方向的可能性。若光照向量参数越大，则混合单通道图像在对应参考方向上获取光照方向的可能性越大，即对应参考方向为光照方向的可能性越大；若光照向量参数越小，则混合单通道图像在对应参考方向上获取光照方向的可能性越小，即对应参考方向为光照方向的可能性越小。

步骤S4：将最大光照向量参数对应的参考方向作为光照方向；根据光照方向和人脸识别图像获得去光照人脸图像；对去光照人脸图像进行人脸识别，构建预警条件函数；根据预警条件函数进行智能预警。

经过步骤S1、S2和S3的分析，每个参考方向均有对应的一个光照向量参数，在本发明实施例中参考方向有八个，因此根据光照向量参数可以从所有参考方向中筛选出光照方向，由于光照向量参数越大说明对应参考方向为光照方向的可能性越大。因此，将最大光照向量参数对应的参考方向作为光照方向。

进一步地，根据光照方向和人脸识别图像获得去光照人脸图像，在本发明实施例中具体包括：利用自适应伽马校正算法对人脸识别图像沿光照方向进行人脸识别图像的自适应矫正，获得去光照人脸图像。需要说明的是，自适应伽马校正算法为本领域技术人员熟知的技术手段，在此不多赘述，在此仅简述本发明一个实施例提供的去光照过程：首先以光照方向作为基础方向，利用光照方向的正交方向对人脸识别图像的所有像素点进行分类；接着以每一类像素点作为一个独立的个体进行自适应伽马矫正去光照处理；最后获得去光照人脸图像。

进一步对去光照人脸图像进行人脸识别，需要说明的是，人脸识别为本领域技术人员熟知的技术手段，在此不再赘述。进而获得每个刷卡人员的人脸识别结果。

需要构建预警条件函数对人脸识别结果进行分析，优选地，在本发明实施例中的预警条件函数公式具体为：

式中，

进而，根据预警条件函数和获取的人脸识别结果进行智能预警，本发明一个实施例中具体的预警过程为：

对任意一个刷卡人员的人脸识别结果，将人脸识别结果输入预警条件函数并输出对应预警函数值，当

综上所述，本发明实施例首先根据每个刷卡人员的所有连续帧图像的信息变化程度获取对应刷卡人员的人脸识别图像。其次，获得混合单通道图像并将其均匀分割。对任意一个参考方向，根据每个分割区域的邻域区域内像素点在参考方向上的灰度分布获得拟合向量，进而根据每个分割区域与其邻域区域内像素点在参考方向上的相似程度获得置信度。根据拟合向量和置信度获得每个参考方向的光照向量参数，筛选出光照方向。根据光照方向和人脸识别图像获得去光照人脸图像并对其进行人脸识别，根据构建的预警条件函数进行智能预警。本发明通过利用混合单通道图像特征获取人脸识别图像的光照方向，并进行基于光照方向的去光照影响处理，增强去光照的准确性，提高去光照的效率，而后进行人脸识别，对非法闯入人员进行预警。

本发明还提出了一种基于视频监控的校园一卡通智能预警系统，包括存储器和处理器，处理器执行存储器存储的计算机程序，以实现如上述的一种基于视频监控的校园一卡通智能预警方法。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。