一种基于多数据源的人员行为异常快速识别系统

技术领域

本发明涉及安全监控技术领域，具体为一种基于多数据源的人员行为异常快速识别系统。

背景技术

对监管区域进行监控是用于实时应对突发事件以及事后的追溯参看，确定监管区域内的人员是否存在异常行为，从而提高安全性。这种监管在很多领域颇为重要，例如火电厂输煤系统，其不仅关系着工人安全还牵涉到社会用电运行的问题，目前，传统主要依靠人工巡检，效率低下，且存在漏检和误检的问题。因此，需要一种能够快速准确地识别人员行为异常的方法。而且现有的识别系统一般分为基于单一数据源的方法和基于多数据源的方法，前者仅使用图片，依赖机器视觉分析，但效果有限，易受光照、遮挡等影响。后者使用多数据源(如图片、视频、声音)，通过数据融合技术分析，效果较好，但实现复杂，需大量计算资源和存储空间，且速度慢。另外现在的监控系统最多能做到实时监控的目的，无法实现预警等高安全等级的目的，除此之外监控分析的时候如果逐帧进行识别鉴定，当数据较多时对硬件的要求会非常之大，而如果选择分析则有可能漏掉一些潜在风险。

为此，本申请提供一种基于多数据源的人员行为异常快速识别系统，以克服现有系统的不足，提高系统利用率，并提供预警功能。

发明内容

本发明的目的在于提供一种基于多数据源的人员行为异常快速识别系统，通过多数据融合提高识别效率，并且利用多线程技术进行动态调节，在利用现有硬件的基础上提高系统利用率，同时提供预警风险提示。为了实现上述目的，本发明提供了如下技术方案：

一种基于多数据源的人员行为异常快速识别系统，包括数据源模块、数据分析模块、特定数据模块以及警示模块，

所述数据源模块用于获取原始数据信息，其获取的数据为图像、视频、音频中两种或者两种以上；

数据分析模块用于对获取的数据信息进行解析、降维以及比对；

特定数据模块用于录入事先预设的异常情况数据，异常情况数据包括环境状态异常、人体状态异常、人体行为异常数据；

警示模块用于提示风险，其包括实时模式和预警模式，

所述识别系统运行包括以下步骤：

M0、特定数据模块中事先录入预设的异常情况数据DA0；

M1、数据源模块通过硬件设备获取原始数据DA1；

M2、数据源模块将原始数据进行拆解并重新整合分组形成数据DA2，根据实际情况，此处如果限于实际传输带宽的原因，可以采取隔帧采集的方式，例如将采用隔帧采集方式并通过视频解码为可识别的码流接入系统；

M3、数据分析模块获取数据DA2，对其进行解析，然后将解析后的数据与数据DA0进行比对；

M4、当数据DA2与DA0比对超过设定的阈值，警示模块进行工作。

优选的，所述数据源模块包括数据储存器，并将获取的原始数据至少备份一份。

优选的，所述M1中的硬件设备包括摄像头、麦克风、传感器。

优选的，所述数据分析模块中还包括情绪识别模块。

优选的，所述M1中原始数据DA1的获取包括以下步骤：

M101、硬件设备进行数据采集，且每个硬件均附带唯一身份ID；

M102、数据源模块将同区域内硬件获取的数据进行合并打包在一个数据集中；

M103、将上一步骤中获得的数据集以设定单位时间进行分割；

M104、将上一步骤的数据集进行打包形成原始数据DA1。

优选的，数据源模块、数据分析模块运行中采用多线程模式。

优选的，步骤M3中数据分析模块对数据DA2的解析中，数据DA2为片段数据，

优选的，当某一区域的硬件获取的数据经过比对后超过阈值时，步骤M3中的数据分析模块增加数据容量，并且为了让数据源模块能够实现多数据的并行介入，应用Nginx反向代理与系统多开的多层叠加并行处理架构(如图1所示)，从而实现多目标硬件的动态自适应数据的快速接入。

优选的，当步骤M4中警示模块的相应低时，数据源模块将部分提取备份数据进行复检工作。

优选的，所述特定数据模块包括可更新加入的知识库。

与现有技术相比，本发明的有益效果是：一种基于多数据源的人员行为异常快速识别系统，利用现有的硬件对多种数据进行收集整理，通过动态调整的多线程模式能够有效提高系统工作效率，从而增加安全监控的管理效果和水平；另外本申请的警示模块包含实时模式和预警模式，在完成实时监控的情况下，能够进行预警从而提高安全性，同时引入了情绪识别模块模块，能够辅助提高预警的准确率，除此之外系统运行中能够根据实际情况，进行复检工作，从而减少系统风险。

附图说明

图1为本发明的系统流程图。

具体实施方式

下面结合具体实施例对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例，如图1所示，一种基于多数据源的人员行为异常快速识别系统，包括数据源模块、数据分析模块、特定数据模块以及警示模块，所述数据源模块用于获取原始数据信息，其获取的数据为图像、视频、音频、温度、湿度、环境烟尘度、环境指标数据中两种或者两种以上；

数据分析模块用于对获取的数据信息进行解析、降维以及比对；

特定数据模块用于录入事先预设的异常情况数据，特定数据模块是包含可更新的知识库，能够不断进行数据的更新填充，异常情况数据包括环境状态异常、人体状态异常、人体行为异常数据，即本申请的系统不仅能够检测人体行为的异常，还能够对环境分析，例如有火灾点、漏水点等情况；

警示模块用于提示风险，其包括实时模式和预警模式。

实施例1

以某电厂的输煤系统场景为例，整个场景分为50个数据位置，数据来源有摄像头、麦克风，另外还可以有湿度传感器、烟雾传感器、温度传感器。

第一步，系统的特定数据模块中事先录入了具有奉献的异常情况数据，例如事先将被监控者的各个动作分解为不同的姿势，再从不同的姿势中提取行为特征序列，可利用Baum-welch算法进行处理，得到各个动作HMM模型，从而方便之后的各项数据的比对。

第二步，50个数据位置的硬件设备采集的数据均附带自身的唯一身份ID，硬件设备采集数据，形成数据集{ID

同时数据源模块将采集的所有的{ID

第三步，数据分析模块将数据DA2即复合数据集包进行拆解，并抽取部分数据进行分析，具体的以时间轴作为抽取坐标依据，例如每5s的数据抽取1s的数据，并且抽取的复合数据集的顺序是依据编码m的大小进行的，从而保证数据分析的逻辑准确性，抽取部分数据能够节省资源，提高系统利用率；

数据分析模块将复合数据集的中的DBm进行提取并进行分析，具体的分析方式根据数据源的类型进行调整，例如视频类，是进行视频帧的方式转换成图像，然后利用现有的卷积神经网络(CNN)或者循环神经网络等算法进行分析，并与DA0进行比较，

例如麦克风获取的语音数据，同样也是按帧进行处理，利用傅里叶变换形成声音图谱，然后再进行语言内容分析，之后再通过卷积神经网络进行语音内容的识别，对比DA0的异常库；

第四步，数据分析模块每分析对比一个DBm数据，都会得出一个积分为Sn，其中n仍然为相同数据位置的识别数字，警示模块会给每个位置设置一个阈值，当然每个位置的阈值可以是相同的也可以是不同的，当相同n的Sn的和，当然不限于和的形式也可以是加权的数据统计，这个可以根据目前现有的统计学进行选择使用，也可以根据用户的情况进行自定义；

当∑DBm≥设定Yn(即设定阈值)时，警示模块工作进行预警，预警的方式不限于声、光警报、通知相关安全人员等；

例如当系统发现，现场人员未佩戴安全帽，则立刻通过现场的喇叭进行提醒，同时系统提示安全员进行干预；

当然同一个位置的阈值可是多个，例如较低的预警阈值，例如系统发现有关人员在监控场所虽然没有吸烟，但是经过分析发现其携带了香烟，这种情况警示模块进行预警模式，提示安全员存在潜在的风险。

实施例2

在实施例1的基础上数据源模块、数据分析模块运行中采用多线程模式，以50个场景为例，可以是开启50个线程进行并行处理，但碍于一些实际问题，可能会导致硬件增加，使用者无法负担，此种情况可酌情选择减少，例如场景邻近的共用一个线程，进行排序处理。

实施例3

在实施例2的基础上，警示模块设置至少3个阈值，其中第一阈值为增加识别阈值，当某一或多场景下的∑DBm≥设定Yn

同样的当某一或多场景下的∑DBm远小于Yn

即为一种智能调度的方式，当需要高访问识别量时增加线程数，低访问量时能够释放过多的空闲进程，从而实现短时间内能够快速处理大量目标识别请求。

实施例4

在以上实施例的基础上，当大部分场景的∑DBm都远小于Yn

实施例5

针对以上实施例，本系统数据分析模块中还包括情绪识别模块，即不仅对现场人员的行为进行分析，还会对其情绪进行分析，从而提前判断，减少突发事件，

例如：

1、现场人员之间存在矛盾，则可能出现危害现场情况的问题；

2、现场人员情绪低落，则可能会影响其判断力；

3、现场人员感到不适时，影响其工作标准度，可能触发相关风险。

所以对情绪的分析虽然不是起到对实时的异常行为发出警报的，但是其能够起到预警作用。

具体的情绪分析可通过以下形式，

通过摄像头、麦克风提取现场的视频和语音数据；

其中图像处理：

将视频进行帧化获取图像帧；

将图像帧进行灰度处理；

将处理后的灰度图利用卷积神经网络进行分析，获取情绪数据；

语音数据处理：

将语音数据进行切分；

对切分后的数据进行卷积神经网络分析，获取情绪数据；

将以上数据进行融合，然后对比情绪数据标准库，获得情绪识别登记判定，为警示模块提供数据支持。

本申请的系统利用数据源模块能够将多数据进行融合处理，从而提高判断准确度以及系统的鲁棒性，并且采用动态的多线程处理，提高系统利用率和可靠性，同时引入了情绪识别模块模块，能够辅助提高预警的准确率，除此之外系统运行中能够根据实际情况，进行复检工作，从而减少系统风险。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。