一种基于机器视觉的施工场景智慧安全监控方法

技术领域

本发明属于模式识别技术领域，具体涉及一种基于机器视觉的施工场景智慧安全监控方法。

背景技术

安全监控技术主要是指利用视频技术探测、监视施工场景并实时显示、记录现场图像，是为了方便监控施工场景的相关信息，做到实时监控录像，同时可以随时调出记录，实现有据可查。但是目前相关企业的安全监控技术大多数采用人工巡查或视频监管，并且视频监管需要人工不间断去观看监控视频，监控系统只是起到电子眼的作用，显然工人在长期执行这种单调乏味的例行监视工作很容易产生懈怠，从而影响工作质量。据调查，在占建筑行业全部事故死亡人数的90％以上的五大伤害高处坠落、物体打击、机械伤害、触电和坍塌的背后大部分都是由施工人员的不安全(违规)行为引发，最终酿成大祸。因此，严格遵守安全技术规范和安全操作规程，是预防施工安全事故的首要前提，企业有关部门需要格外注意安全监管问题。

随着现代技术的不断发展，传统的安全监控方式已经无法满足事故频发的施工场景需求，人们越来越关注人工智能技术在安全监控系统的实际应用。如今安全监控技术的发展趋势可分为两类：基于可穿戴传感器的方法和基于机器视觉的方法。虽然许多基于可穿戴传感器的方法使用接触式传感器可以有效地收集数据，但是这些传感器大多都是很昂贵的，这阻碍了这种方法的广泛应用。相反，基于机器视觉的方法是一种非接触式光学途径，它以十分经济的方法来完成长期的远程监测，同时具有鲁棒性。在基于机器视觉的方法方面，在公开号为“CN112911255A”的中国专利中，公开了一种建筑工地安全状态检测系统，为建筑工地的智慧安全监控提供了一种解决方案，但是其仅仅对安全状态中的安全帽的佩戴做了检测，同时也存在着因为光照、遮挡物等原因导致检测精度不足以应用到实际场景等缺陷。

发明内容

为了克服现有技术的不足，本发明提供了一种基于机器视觉的施工场景智慧安全监控方法，首先采集施工场景实时视频图像，获取智能处理模块的数据来源；然后对采集到的视频进行施工人员实时检测与轨迹跟踪；接下来根据检测结果图像对施工人员进行安全状态识别；之后对检测、识别和跟踪的信息进行融合处理；最后将实时处理得到的结果输出到设备进行可视化显示。本发明在减少安全监控系统人工成本的同时保证了安全监管的效果，促进了人工智能算法在工业安全实际场景中的应用。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：构建施工场景智慧安全监控系统；采集施工场景实时视频图像，获取智能处理模块的数据来源；

所述施工场景智慧安全监控包括视频监控摄像机、服务器和移动显示器；所述视频监控摄像机通过局域网与服务器相连接，所述服务器与移动显示器通过网络连接；所述服务器中搭载视频图像智能处理模块；

所述监控摄像头通过RTSP协议将采集到的施工场景实时视频图像发送到服务器，通过服务器处理后的监控画面通过网络发送到移动显示器上显示；

步骤2：视频图像智能处理模块对采集到的视频进行施工人员实时检测与轨迹跟踪；

步骤2-1：在人员检测部分，利用在数据集上预先训练好的目标检测器对采集到的实际施工场景视频图像进行施工人员的检测，并在图像上利用锚框标注所检测到的施工人员；

步骤2-2：在轨迹跟踪部分，基于两个特征进行跟踪：一是运动特征，根据检测到的施工人员连续帧的锚框位置，计算马尔可夫距离，并通过卡尔曼滤波得到目标的运动特征，通过匈牙利匹配算法进行相邻两帧的匹配；二是表观特征，每个人的姿态、穿着是有差异的，所以其对应也有不同的表观特征信息，通过卷积神经网络模型来进行表观特征信息的提取，最后通过表观特征与运动特征级联匹配结果相结合得到最终的跟踪结果，并分配ID，实现施工人员的计数与轨迹的跟踪；

步骤3：根据步骤2的检测和轨迹跟踪结果对施工人员进行安全状态识别；

将施工人员的安全作业状态作为一种图像的语义属性来识别，根据目标检测的结果锚框将各个施工人员的图像进行裁剪，得到单个人员的具体图像；

将施工人员图像送入训练好的属性识别分类器，通过提取图像的特征判别施工人员的安全作业状态，并输出所识别到的违规行为；在训练属性识别分类器时，将输入的施工人员单张图像根据纵向总体比例分为两部分，分别代表上半身和下半身，通过分别提取上下两部分局部特征辅以全局特征进行网络训练；

步骤4：对检测、识别和跟踪的信息进行融合处理；

构建检测、识别和跟踪信息融合处理模块，将步骤2和步骤3的检测结果与属性识别结果放在多目标跟踪的轨迹上进行监督；使用投票法对跟踪显示的信息进行平滑，即如果一帧的识别信息与前面5帧相比发生了突变，则通过前三十帧的检测状态对本帧状态进行判别，如果前三十帧中未检测到目标的帧数比检测到目标的帧数要多，则判定为目标已经消失，反之则认定为目标存在，根据多目标跟踪轨迹对识别结果进行修正，完成对结果信息显示的平滑；

步骤5：将实时处理得到的结果输出到移动显示器进行可视化显示；

将服务器与移动显示器通过网络连接，服务器实时处理收到的施工场景视频图像，并将处理后的结果送给移动显示器，由移动显示器进行显示；

设计人机交互界面在移动显示器上显示，包括六个功能，分别是：

人员计数：显示曾出现在画面中的总人数与当前画面中的人数；

人员跟踪：实时跟踪画面中人员并定位；

场景切换：包含两种工作模式：日常施工与高空作业；两种模式的不同之处在于日常施工模式，检测到工人未戴安全帽会引起报警，未系安全带则不会报警；高空作业模式，检测到工人未戴安全帽或者未系安全带时都会报警；

信息显示：显示识别的人员安全作业状态、作业画面显示与视频流控制；

查看按钮：查看指定施工人员的具体施工画面。

优选地，所述步骤2-1的人员检测具体为：

选取YOLOv3网络作为检测器，引入头部解耦合、数据增强、Anchor Free和SimOTA样本匹配方法构建anchor-free的端到端的目标检测框架；将摄像机网络采集到的视频序列通过服务器送入预训练好的YOLOv3网络进行施工人员检测，检测结果包括工人的位置信息，并在视频图像上利用锚框标注所检测到的施工人员。

优选地，所述步骤2-2的轨迹跟踪具体为：

通过相邻帧的施工人员检测结果，包括位置信息即工人锚框和特征信息即工人特征图进行级联匹配，实现多目标跟踪的效果；

在对位置信息进行处理时，使用8维状态空间

对于运动信息，使用马氏距离描述卡尔曼滤波预测结果和检测器结果的关联程度，如公式所示：

式中，d

匈牙利算法所用的代价矩阵包括两部分：一部分通过运动模型计算轨迹和观测结果的边界框距离；另一部分通过外观模型衡量轨迹和观测框特征的相似度；最后对运动模型和外观模型进行加权求和得到轨迹和观测的综合匹配度，继而通过综合匹配程度进行数据关联。

优选地，所述步骤3包括如下步骤：

步骤3-1：根据目标检测的结果锚框将各个施工人员的图像进行识别并裁剪，得到单个人员的具体图像，把得到的每张图像定义为

步骤3-2：训练属性识别分类器；

在训练属性识别分类器时，将输入的施工人员单张图像根据纵向总体比例分为两部分，分别代表上半身和下半身，即每张图像的输入纵向区分为不同粒度的区域，分别定义为

步骤3-3：将处理过的图像输入到训练好的模型进行特征提取，得到输出张量定义为

output＝σ(FC(avgpool(Q)))

其中，avgpool代表平均池化层，FC代表全连接层，σ代表sigmoid激活函数，再根据输出各类安全属性的概率判别施工人员的安全作业状态并输出所识别到的违规行为。

本发明的有益效果如下：

目前相关企业的安全监控技术大多数采用人工巡查或视频监管，并且视频监管需要人工不间断去观看监控视频，由于监控视频的数量庞大以及长期观看易造成视觉疲劳等原因，难免会发生疏漏。本发明针对现有安全监控方案需要大量的人力投入以及效率不高的缺陷，根据实际的监控场景需求，提出了一种基于检测、跟踪与属性识别的施工场景智慧安全监控系统，同时引入属性识别算法来进行施工人员安全作业状态的识别，一定程度上大大减轻了由于光照、遮挡物造成的检测困难问题。系统通过网络摄像头采集施工场景现场实时视频图像，将视频图像发送到服务器进行后端AI智能分析处理，一旦发现违规行为则进行报警，实现了对施工人员安全作业状态的远程监管，并且在减少安全监控系统人工成本的同时保证了安全监管的效果，为机器视觉在工业安全中更好地发挥作用提供了新的方案。

附图说明

图1为本发明智慧安全监控系统总体方案图。

图2为本发明工人轨迹跟踪算法流程图。

图3为本发明安全状态识别算法流程图。

图4为本发明信息融合处理模块示意图。

图5为本发明针对建筑施工场景设计的人机交互界面。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明针对现有安全监控方案需要大量的人力投入以及效率不高的缺陷，根据实际的监控场景需求，提出了一种基于检测、跟踪与属性识别的施工场景智慧安全监控系统，能够采用电子化的模式实现对施工人员安全作业状态的远程监管，针对人员在现场作业中的危险动作以及防护不到位情况，通过算法识别分析预警，使得机器视觉在工业安全中更好地发挥作用，从而在减少安全监控系统人工成本的同时保证了安全监管的效果。系统可以分为两个模块，硬件模块与视频图像智能处理模块。在视频图像智能处理模块首先通过目标检测技术检测施工人员的位置，然后将安全作业状态作为人体属性来识别施工人员的不安全行为，譬如不戴安全帽，高空作业未佩戴安全带等，最后通过多目标跟踪技术对不遵守安全条例的人员进行跟踪报警。总体系统方案设计包括以下步骤：

步骤1：采集施工场景实时视频图像，获取智能处理模块的数据来源；

步骤2：对采集到的视频进行施工人员实时检测与轨迹跟踪；

步骤3：根据检测结果图像对施工人员进行安全状态识别；

步骤4：对检测、识别和跟踪的信息进行融合处理；

步骤5：将实时处理得到的结果输出到设备进行可视化显示。

其中步骤1、5属于硬件模块，步骤2、3、4属于视频图像智能处理模块。

步骤1具体过程为：将工地视频监控摄像机网络通过局域网与服务器相连接，这样监控摄像头和服务器处于同一局域网下。监控摄像头通过RTSP协议将采集到的施工场景实时视频图像发送到搭载有视频图像智能处理模块的服务器，服务器不断接收监控摄像头传来的施工场景视频图像并进行处理。

步骤2具体过程为：

步骤2-1：在人员检测部分，利用在数据集上预先训练好的目标检测器对采集到的实际施工场景视频图像进行施工人员的检测，并在图像上利用锚框(矩阵框)标注所检测到的施工人员。

步骤2-2：在轨迹跟踪部分，本发明主要基于两个特征来进行跟踪，一是运动特征，根据检测到的施工人员连续帧的锚框位置，计算马尔可夫距离，并通过卡尔曼滤波来得到目标的运动特征，通过匈牙利匹配算法进行相邻两帧的匹配；二是表观特征，因为每个人的姿态、穿着等都是有差异的，所以其对应也有不同的表观特征信息，本发明通过卷积神经网络模型来进行表观特征信息的提取，最后通过表观特征与运动特征级联匹配结果相结合得到最终的跟踪结果，并分配ID，以实现施工人员的计数与轨迹的跟踪。

步骤3具体过程为：为了进一步降低光照、遮挡等原因造成的影响，提升识别准确率，本发明将施工人员的安全作业状态作为一种图像的语义属性来识别。首先根据目标检测的结果锚框将各个施工人员的图像进行裁剪，以得到单个人员的具体图像，本发明对单个人员的具体图像进行识别可以排除一些场景中安全属性因素造成的干扰，使得系统更加关注于施工人员自身的安全作业状态，符合实际施工场景的需求；然后将施工人员的图像送入训练好的属性识别分类器，通过提取图像的特征来判别施工人员的安全作业状态，并输出所识别到的违规行为，例如未按规定穿戴工服、未佩戴安全帽、高空作业未佩戴安全带、抽烟等多种违规行为。目前属性识别算法大部分是通过提取图像全局特征进行识别，无法解决施工人员防护不规范的问题，例如在施工人员图像中出现了安全带，但是没有正确佩戴在胸部位置。为了解决这个问题以得到更为准确的识别效果，本发明在训练属性识别分类器时，将输入的施工人员单张图像根据纵向总体比例分为两部分，分别代表上半身和下半身，通过分别提取上下两部分局部特征辅以全局特征进行网络的训练，这样一方面通过提取更为细粒度的局部信息使安全作业状态的识别结果更为精确，另一方面一定程度上避免了因为防护不规范造成的问题。

步骤4具体过程为：为了解决在识别过程中无法避免的误检漏检造成的在显示界面存在某一帧突然报警的问题，本发明构建了一个检测、识别和跟踪信息融合处理模块，将检测结果与属性识别结果放在多目标跟踪的轨迹上进行监督。本发明使用了一种投票法对显示的信息进行平滑，即如果此帧的识别信息与前面数帧相比发生了突变，则通过前面多帧的检测状态对本帧状态进行一个判别，成功做到了对于结果信息显示的平滑。

步骤5具体过程为：将服务器与移动显示器相连接，服务器实时处理收到的施工场景视频图像，并将处理后的结果通过TCP协议传送给移动显示器，由移动显示器进行显示。为了将识别结果更好更直观的可视化显示，本发明设计了一个人机交互界面。设计的界面一共有六个功能，分别是人员计数，显示曾出现在画面中的总人数与当前画面中的人数；人员跟踪，实时跟踪画面中人员并定位；场景切换，包含两种工作模式：日常施工与高空作业，两种模式的不同之处在于当日常施工时，检测到工人未带安全帽会引起报警，未带安全带则不会报警；当高空作业时，检测到工人未带安全帽或者安全带时都会报警；信息显示，显示识别的人员安全作业状态；还有作业画面显示与视频流控制。同时增加了查看按钮，可以通过此按钮来查看某个施工人员的具体施工画面。

具体实施例：

参见图1，本发明针对现有安全监控方案需要大量的人力投入以及效率不高的缺陷，提出了一种基于检测、跟踪与属性识别的施工场景智慧安全监控系统，系统可以分为两个模块，硬件模块与视频图像智能处理模块，系统能够采用电子化的模式实现对施工人员安全作业状态的远程监管。

1、采集施工场景实时视频图像，获取智能处理模块的数据来源

本实施例将工地视频监控摄像机网络通过局域网与服务器相连接，这样监控摄像头和服务器处于同一局域网下。监控摄像头通过RTSP协议将采集到的施工场景实时视频图像发送到搭载有视频图像智能处理模块的服务器，此协议支持对流媒体的播放、暂停、后退、前进等操作，服务器不断接收监控摄像头传来的施工场景视频图像信息并进行处理。

2、对采集到的视频图像进行施工人员实时检测与轨迹跟踪

在人员实时检测方面，本实施例选取YOLOX网络作为检测器，其是在YOLOv3的基础上，引入头部解耦合、数据增强、Anchor Free和SimOTA样本匹配等方法构建的一种anchor-free的端到端的目标检测框架。本实施例将摄像机网络采集到的视频序列通过服务器送入预训练好的YOLOX检测器进行施工人员的检测，检测结果主要包括工人的位置信息，并在视频图像上利用锚框(矩阵框)标注所检测到的施工人员。

在人员轨迹跟踪部分，参见图2，本实施例通过相邻帧的施工人员检测结果，包括位置信息(工人锚框)和特征信息(工人特征图)进行级联匹配，实现多目标跟踪的效果。在对位置信息进行处理时，使用8维状态空间

式中，d

3、根据检测结果图像对施工人员进行安全状态识别

参见图3，本实施例将施工人员的安全作业状态作为一种图像的语义属性来识别，进一步降低了光照、遮挡等原因造成的影响，提升了识别准确率。具体过程如下：

步骤3-1：处理状态识别数据输入，目前的安全监控系统很少有考虑到场景因素的干扰，例如在工地场景中出现了安全帽的放置但是并没有佩戴在人体上。为了解决这个问题，本实施例首先根据目标检测的结果锚框将各个施工人员的图像进行裁剪，以得到单个人员的具体图像，通过对单个人员的具体图像进行识别可以排除场景中安全属性因素造成的干扰，使得系统更加关注于施工人员自身的安全作业状态，符合实际施工场景的需求，最终把得到的每张图像定义为

步骤3-2：训练属性识别分类器，目前属性识别算法大部分是通过提取图像的全局特征进行识别，无法解决施工人员防护不规范的问题，例如在施工人员图像中出现了安全带，但是没有正确佩戴在胸部位置，或者出现了安全帽，但是没有正确佩戴在头部位置。为了解决这个问题以得到更为准确的识别效果，本实施例在训练属性识别分类器时，将输入的施工人员单张图像根据纵向总体比例分为两部分，分别代表上半身和下半身，即每张图像的输入纵向区分为不同粒度的区域，定义为

步骤3-3：将处理过的图像输入到本实施例训练好的模型进行特征提取，可以得到输出张量定义为

output＝σ(FC(avgpool(Q)))

其中，avgpool代表平均池化层，FC代表全连接层，σ代表sigmoid激活函数，最终根据输出各类安全属性的可能概率来判别施工人员的安全作业状态并输出所识别到的违规行为，例如未按规定穿戴工服、未佩戴安全帽、未佩戴安全带、未穿戴绝缘鞋以及抽烟等多种违规行为。

步骤4：对检测、识别和跟踪的信息进行融合处理

在得到检测、识别与跟踪的结果之后，为了解决识别过程中出现的误检漏检导致显示界面存在某一帧突然报警的状态的问题，本发明构建了一个检测、识别和跟踪信息融合处理模块，参见图4，将检测结果与属性识别结果放在多目标跟踪轨迹上进行监督。本实施例使用了一种投票法对显示的信息进行平滑，即如果此帧的识别信息与前面5帧相比发生了突变，例如出现了目标未检测到，则通过前三十帧的检测状态对本帧状态进行一个判别，如果前三十帧中未检测到的帧数比检测到的帧数要多，则认定为目标已经消失，反之则认定为目标存在，根据多目标跟踪轨迹对识别结果进行修正，成功做到了对于结果信息显示的平滑。

步骤5：将实时处理得到的结果输出到设备进行可视化显示

本实施例将服务器与控制室的移动显示器相连接，服务器实时处理收到的施工场景视频图像，并将处理后的结果通过TCP协议传送给移动显示器，由移动显示器进行显示，供管理人员查看，当处理结果出现作业人员出现违规行为时，操作系统立刻控制施工作业现场硬件设备进行声光警报并发送短信通知安全负责人员。服务器将处理后的检测结果标注在视频图像上，然后将实时场景图像发送到手机、笔记本等移动显示器终端，使得安全负责人员可以查看作业现场的实时情况。

参见图5，为了将识别结果更好更直观的可视化显示，本发明实施例设计了一个人机交互界面。设计的界面一共有六个功能，分别是人员计数、人员跟踪、场景切换、信息显示、画面显示与视频流控制，下面分别介绍具体功能。人员计数，显示曾出现在画面中的总人数与当前画面中的人数；人员跟踪，实时跟踪画面中人员并定位；场景切换，包含两种工作模式：日常施工与高空作业，两种模式的不同之处在于当日常施工时，检测到工人未戴安全帽会引起报警，未系安全带则不会报警；当高空作业时，检测到工人未戴安全帽或者未系安全带时都会报警；信息显示，显示识别的人员安全作业状态；还有作业画面显示与视频流控制。同时本实施例增加了查看按钮，可以通过此按钮来查看某个施工人员的具体施工画面。