一种建筑施工地的异常行为检测方法和相关装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种建筑施工地的异常行为检测方法和相关装置。

背景技术

建筑行业发展快速，建设工程体量与日俱增。与建筑业快速发展不相匹配的是，建筑工程普遍存在信息化、数据化程度不高的情况，智慧化仍停留于理论水平，建筑事故时有发生，阻碍了建筑工程安全管理水平的发展。工程建设行业长期存在行业发展方式粗放、建筑工人技能素质不高、监管体系不完善和技术装备落后等问题，对施工效率和管理流程产生负面影响。

当前常见的举措是利用新一代信息技术，如建筑信息模型(BIM)、移动通讯、智能化、物联网等进行生产和管理流程的改进，以保障建筑从业人员的生命和财产安全、降低生产成本、提升企业利润率。现有的建筑施工安全监控方案将视频传感器模块经过走线布置在施工现场，对现场视频或图片进行采集，并对图像特征进行提取；视频传感器模块将采集到的视频和图像数据进行压缩处理，减少传输的数据量，并通过线路将数据发送给终端系统。终端系统旁的操作员通过分析接收到的视频数据，判断施工现场是否出现安全问题，并提出警告。该方案在传感器获得的视频中，重复的施工画面较多，长时间传输相同的视频或图像易造成数据冗余，使得能耗较高，缩短监控设备的使用寿命。

发明内容

本申请提供了一种建筑施工地的异常行为检测方法和相关装置，用于解决现有技术中的传感器获得的视频中，重复的施工画面较多，长时间传输相同的视频或图像造成数据冗余，使得能耗较高，监控设备的使用寿命较短的技术问题。

有鉴于此，本申请第一方面提供了一种建筑施工地的异常行为检测方法，包括：

获取建筑施工地的监控视频；

通过帧间差分算法提取所述监控视频的若干第一关键帧；

基于感知哈希算法提取各所述第一关键帧的指纹字符串，并基于所述指纹字符串对所述第一关键帧进行筛选，得到第二关键帧；

将所述第二关键帧发送到边缘服务器，使得所述边缘服务器通过预置判别模型对所述第二关键帧进行异常行为检测，得到检测结果。

可选的，所述通过帧间差分算法提取所述监控视频的若干第一关键帧，包括：

对所述监控视频中的连续两帧或三帧视频图像进行差分运算，得到灰度差；

判断所述灰度差的绝对值是否大于第一阈值，若是，则将该灰度差对应的连续两帧或三帧视频图像作为第一关键帧，若否，则仅将该灰度差对应的连续两帧或三帧视频图像中的首帧视频图像作为第一关键帧。

可选的，所述基于感知哈希算法提取各所述第一关键帧的指纹字符串，包括：

缩小各所述第一关键帧的尺寸；

对缩小后的各所述第一关键帧进行灰度化处理，得到灰度关键帧；

逐行比较各所述灰度关键帧中的相邻像素点的像素值大小，若前一像素点的像素值小于后一像素点的像素值，则记为1，若前一像素点的像素值大于或等于后一像素点的像素值，则记为0，生成各所述第一关键帧的指纹字符串。

可选的，所述基于所述指纹字符串对所述第一关键帧进行筛选，得到第二关键帧，包括：

计算连续的两帧所述第一关键帧的指纹字符串之间的汉明距离；

判断所述汉明距离是否大于第二阈值，若是，则将该汉明距离对应的连续的两帧所述第一关键帧作为第二关键帧，若否，则仅将该汉明距离对应的连续的两帧所述第一关键帧中的前一帧作为第二关键帧。

可选的，所述边缘服务器通过预置判别模型对所述第二关键帧进行异常行为检测，得到检测结果，之前还包括：

所述边缘服务器通过预置对抗生成网络模型对所述第二关键帧进行重构处理，得到重构图像，所述重构图像包括重构出的无遮挡施工人员；

相应的，所述边缘服务器通过预置判别模型对所述第二关键帧进行异常行为检测，得到检测结果，包括：

所述边缘服务器通过预置判别模型对所述重构图像中的无遮挡施工人员进行异常行为检测，得到检测结果。

本申请第二方面提供了一种建筑施工地的异常行为检测装置，包括：

获取单元，用于获取建筑施工地的监控视频；

提取单元，用于通过帧间差分算法提取所述监控视频的若干第一关键帧；

筛选单元，用于基于感知哈希算法提取各所述第一关键帧的指纹字符串，并基于所述指纹字符串对所述第一关键帧进行筛选，得到第二关键帧；

发送单元，用于将所述第二关键帧发送到边缘服务器，使得所述边缘服务器通过预置判别模型对所述第二关键帧进行异常行为检测，得到检测结果。

可选的，所述提取单元具体用于：

对所述监控视频中的连续两帧或三帧视频图像进行差分运算，得到灰度差；

判断所述灰度差的绝对值是否大于第一阈值，若是，则将该灰度差对应的连续两帧或三帧视频图像作为第一关键帧，若否，则仅将该灰度差对应的连续两帧或三帧视频图像中的首帧视频图像作为第一关键帧。

可选的，所述筛选单元具体用于：

缩小各所述第一关键帧的尺寸；

对缩小后的各所述第一关键帧进行灰度化处理，得到灰度关键帧；

逐行比较各所述灰度关键帧中的相邻像素点的像素值大小，若前一像素点的像素值小于后一像素点的像素值，则记为1，若前一像素点的像素值大于或等于后一像素点的像素值，则记为0，生成各所述第一关键帧的指纹字符串；

计算连续的两帧所述第一关键帧的指纹字符串之间的汉明距离；

判断所述汉明距离是否大于第二阈值，若是，则将该汉明距离对应的连续的两帧所述第一关键帧作为第二关键帧，若否，则仅将该汉明距离对应的连续的两帧所述第一关键帧中的前一帧作为第二关键帧。

本申请第三方面提供了一种建筑施工地的异常行为检测设备，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的建筑施工地的异常行为检测方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面任一种所述的建筑施工地的异常行为检测方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供了一种建筑施工地的异常行为检测方法，包括：获取建筑施工地的监控视频；通过帧间差分算法提取监控视频的若干第一关键帧；基于感知哈希算法提取各第一关键帧的指纹字符串，并基于指纹字符串对第一关键帧进行筛选，得到第二关键帧；将第二关键帧发送到边缘服务器，使得边缘服务器通过预置判别模型对第二关键帧进行异常行为检测，得到检测结果。

本申请中，在获取到监控视频后，通过帧间差分算法和感知哈希算法对监控视频中重复的视频帧进行筛选，提取关键帧，将关键帧发送到边缘服务器中进行异常行为检测，减少了传输数据的冗余性，降低了能耗，解决了现有技术中的传感器获得的视频中，重复的施工画面较多，长时间传输相同的视频或图像造成数据冗余，使得能耗较高，监控设备的使用寿命较短的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种建筑施工地的异常行为检测方法的一个流程示意图；

图2为本申请实施例提供的一种建筑施工地的异常行为检测装置的一个结构示意图。

具体实施方式

本申请提供了一种建筑施工地的异常行为检测方法和相关装置，用于解决现有技术中的传感器获得的视频中，重复的施工画面较多，长时间传输相同的视频或图像造成数据冗余，使得能耗较高，监控设备的使用寿命较短的技术问题。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在施工现场的监控视频中，建筑安全视频监控回传流量大，且大部分监控画面价值低，因此对所有监控数据进行实时回传的意义不大。尽管现有数据压缩技术可以对视频或图像数据进行压缩，但压缩率不高，且视频数据采集和数据压缩并行，抢占视频传感器的性能。

为了减少施工现场视频监控网络的数据传输，降低传输成本，延长监控网络的寿命，本申请实施例在不改变原始视频或图像信息的前提下，使用5G结合移动边缘计算，利用边缘计算平台对视频数据进行分析和处理，过滤掉低价值或无价值的数据，将高价值数据回传至云中心进行存储与利用，更好地保障信息的安全性和隐私性。将视频传感器连接的嵌入式智能处理设备作为边缘服务器；边缘服务器存储视频或图像，并使用训练好的网络模型对视频/图像进行测试，将检测到的异常情况通过5G网络自动传回云中心服务器。

为了便于理解，请参阅图1，本申请提供的一种建筑施工地的异常行为检测方法的一个实施例，包括：

步骤101、获取建筑施工地的监控视频。

本申请实施例通过布置在建筑施工地的视频传感器获取施工地的监控视频。

步骤102、通过帧间差分算法提取监控视频的若干第一关键帧。

本申请实施例考虑到，监控视频中的视频帧之间具有时间的冗余性，相邻帧之间很大可能包含相同的信息，可以依据最大不相关原则来分类是否为关键帧，同时保视频帧的多样。在分析视频帧时，可以通过图像特征提取对比来分析前后帧的相似度，以判断视频帧的信息结构是否改变，没有改变则抛弃该帧，反之则保留。

具体的，对监控视频中的连续两帧或三帧视频图像进行差分运算，得到灰度差；判断灰度差的绝对值是否大于第一阈值，若是，则将该灰度差对应的连续两帧或三帧视频图像作为第一关键帧，若否，则仅将该灰度差对应的连续两帧或三帧视频图像中的首帧视频图像作为第一关键帧。监控视频中的连续两帧或三帧视频图像的灰度差的绝对值大于第一阈值，说明这几帧视频图像发生了明显的变化，监控画面内出现了明显的运动，则保留这几帧视频图像，否则说明这几帧视频图像没有发生明显变化，只保留这几帧视频图像中的首帧，其他帧视频图像则是冗余的。

步骤103、基于感知哈希算法提取各第一关键帧的指纹字符串，并基于指纹字符串对第一关键帧进行筛选，得到第二关键帧。

为了进一步判断上述保留的第一关键帧中是否还存在冗余的视频帧，本申请实施例基于感知哈希算法提取各第一关键帧的指纹字符串，以便进行相似度判断。具体的，缩小各第一关键帧的尺寸，降低第一关键帧的分辨率；对缩小后的各第一关键帧进行灰度化处理，得到灰度关键帧；逐行比较各灰度关键帧中的相邻像素点的像素值大小，若前一像素点的像素值小于后一像素点的像素值，则记为1，若前一像素点的像素值大于或等于后一像素点的像素值，则记为0，生成各第一关键帧的指纹字符串，该指纹字符串由0、1组成。

计算连续的两帧第一关键帧的指纹字符串之间的汉明距离；判断汉明距离是否大于第二阈值，若是，说明该连续的两帧第一关键帧相似度不高，则将该汉明距离对应的连续的两帧第一关键帧作为第二关键帧，若否，说明该连续的两帧第一关键帧相似度较高，则仅将该汉明距离对应的连续的两帧第一关键帧中的前一帧作为第二关键帧。

步骤104、将第二关键帧发送到边缘服务器，使得边缘服务器通过预置判别模型对第二关键帧进行异常行为检测，得到检测结果。

通过上述两种方式检测得到第二关键帧后，视频传感器通过施工现场的5G基站将第二关键帧发送到边缘服务器，使得边缘服务器通过预置判别模型对第二关键帧进行异常行为检测，得到检测结果。

进一步，本申请实施例考虑到施工环境存在很多遮挡的情况，直接将第二关键帧输入到网络中进行异常行为检测会影响检测效果。因此，本申请通过训练对抗生成网络，使得对抗生成网络中的生成器可以根据输入的第二关键帧重构出无遮挡的图像，再通过预置判别模型对重构图像进行异常行为检测，通过提高预置判别模型的输入图像的质量，以提高检测精度。具体的，边缘服务器通过预置对抗生成网络模型对第二关键帧进行重构处理，得到重构图像，重构图像包括重构出的无遮挡施工人员；边缘服务器通过预置判别模型对重构图像中的无遮挡施工人员进行异常行为检测，得到检测结果。

边缘服务器内置有预置对抗生成网络模型和预置判别模型，预置对抗生成网络模型为训练好的对抗生成网络模型，用于重构图像；预置判别模型为训练好的判别网络，判别网络优选采用GANomlay，用于异常行为检测。

进一步，预置对抗生成网络模型的配置过程为：获取原始训练图像，筛选出部分无遮挡的训练图像，再添加随机遮挡，组合成有遮挡与无遮挡的图像对，一起送入到对抗生成网络中进行训练。

对抗生成网络包括生成器G和判别器D，生成器G包括4个卷积层、3个残差块以及3个反卷积层，每个卷积层和反卷积层后跟着一个实例规范化层和激活层，激活函数均采用Leaky ReLU函数。判别器D的结构为4个卷积层，每个卷积层后跟一个批量归一化层和激活层，前三层激活层使用ReLU函数，最后一层激活层使用Tanh函数。

生成器G的损失函数为：

L

式中，X为无遮挡训练图像，Z为有遮挡训练图像，E(·)为重构映射变化函数，|| ||

判别器D的损失函数为：

L

式中，Ex～p[D(X)]为无遮挡训练图像X的数据分布，Ex～p[G(Z)]为有遮挡训练图像Z的数据分布。

对抗生成网络的总体损失函数可以表示为：

L＝λL

式中，λ为权重参数，优选为10。

通过交替训练生成器G和判别器D，最终训练好的生成器G可以重构出无遮挡无遮挡施工人员。

通过将重构图像输入到GANomlay，可以得到异常得分，根据设置好的阈值φ与异常得分对比，判断是否出现异常行为，异常行为可以包括施工人员未佩戴安全帽、未佩戴安全带等。如果出现异常行为，将该重构图像对应的第二关键帧发送给云中心并标注示警，以提高施工现场的安全系数，保障施工人员的安全。

本申请实施例中，在获取到监控视频后，通过帧间差分算法和感知哈希算法对监控视频中重复的视频帧进行筛选，提取关键帧，将关键帧发送到边缘服务器中进行异常行为检测，减少了传输数据的冗余性，降低了能耗，解决了现有技术中的传感器获得的视频中，重复的施工画面较多，长时间传输相同的视频或图像造成数据冗余，使得能耗较高，监控设备的使用寿命较短的技术问题。

以上为本申请提供的一种建筑施工地的异常行为检测方法的一个实施例，以下为本申请提供的一种建筑施工地的异常行为检测装置的一个实施例。

请参考图2，本申请实施例提供的一种建筑施工地的异常行为检测装置，包括：

获取单元，用于获取建筑施工地的监控视频；

提取单元，用于通过帧间差分算法提取监控视频的若干第一关键帧；

筛选单元，用于基于感知哈希算法提取各第一关键帧的指纹字符串，并基于指纹字符串对第一关键帧进行筛选，得到第二关键帧；

发送单元，用于将第二关键帧发送到边缘服务器，使得边缘服务器通过预置判别模型对第二关键帧进行异常行为检测，得到检测结果。

作为进一步地改进，提取单元具体用于：

对监控视频中的连续两帧或三帧视频图像进行差分运算，得到灰度差；

判断灰度差的绝对值是否大于第一阈值，若是，则将该灰度差对应的连续两帧或三帧视频图像作为第一关键帧，若否，则仅将该灰度差对应的连续两帧或三帧视频图像中的首帧视频图像作为第一关键帧。

作为进一步地改进，筛选单元具体用于：

缩小各第一关键帧的尺寸；

对缩小后的各第一关键帧进行灰度化处理，得到灰度关键帧；

逐行比较各灰度关键帧中的相邻像素点的像素值大小，若前一像素点的像素值小于后一像素点的像素值，则记为1，若前一像素点的像素值大于或等于后一像素点的像素值，则记为0，生成各第一关键帧的指纹字符串；

计算连续的两帧第一关键帧的指纹字符串之间的汉明距离；

判断汉明距离是否大于第二阈值，若是，则将该汉明距离对应的连续的两帧第一关键帧作为第二关键帧，若否，则仅将该汉明距离对应的连续的两帧第一关键帧中的前一帧作为第二关键帧。

作为进一步地改进，发送单元具体用于：

将第二关键帧发送到边缘服务器，使得边缘服务器通过预置对抗生成网络模型对第二关键帧进行重构处理，得到重构图像，重构图像包括重构出的无遮挡施工人员，通过预置判别模型对重构图像中的无遮挡施工人员进行异常行为检测，得到检测结果。

本申请实施例中，在获取到监控视频后，通过帧间差分算法和感知哈希算法对监控视频中重复的视频帧进行筛选，提取关键帧，将关键帧发送到边缘服务器中进行异常行为检测，减少了传输数据的冗余性，降低了能耗，解决了现有技术中的传感器获得的视频中，重复的施工画面较多，长时间传输相同的视频或图像造成数据冗余，使得能耗较高，监控设备的使用寿命较短的技术问题。

本申请实施例还提供了一种建筑施工地的异常行为检测设备，设备包括处理器以及存储器；

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令执行前述方法实施例中的建筑施工地的异常行为检测方法。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行前述方法实施例中的建筑施工地的异常行为检测方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。