一种发电厂工作人员不安全行为的识别方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种发电厂工作人员不安全行为的识别方法。

背景技术

传统的人的不安全行为识别，是人工现场巡视或在监控室浏览视频的方式进行。该方式虽然识别准确率非常高，但效率极低、覆盖面小，难以全面、实时识别所有不安全行为，因此电厂不安全行为仍时有发生。

近年来，随着计算机视觉技术的发展，入侵检测技术开始应用到不安全行为识别中。入侵检测技术的特征是通过计算两个连续视频帧的帧差，通过统计方式确定是否有目标。该方法对移动目标较为有效，但对静态目标无法识别，且仅能检测是否有入侵，无法确定入侵的具体类型。

目前，随着人工智能技术的发展，也有使用深度学习方法进行不安全行为检测的技术。但目前采用的技术，都是直接检测任务目标，对于更深层次语义的目标任务无能为力。

发明内容

本发明的目的在于弥补现有方法的不足，针对现有技术的缺点，本发明提供了一种发电厂工作人员不安全行为的识别方法。本发明采用发电厂现有的安防摄像机采集图像，利用深度学习技术检测目标，同时加入各种语义规则，实现了操作简单，易于控制，价格低廉的人的不安全行为识别方法。

为实现上述目的，本发明提供如下技术方案：一种发电厂工作人员不安全行为的识别方法，包括：

预设若干中工作人员不安全行为，将所述不安全行为对应的视频图像的信息作为数据集；

获取现场视频图像；

通过改进的YOLOv4算法的卷积神经网络对所述视频图像进行分析并识别不安全行为，包括：

单帧图像不安全行为分析，所述单帧图像不安全行为包括是否戴安全帽、是否佩戴安全带、是否使用移动设备；

视频序列不安全行为分析，所述视频序列不安全行为包括是否在移动中使用移动设备；

特定任务、场景不安全行为分析，所述特定任务、场景不安全行为包括是否正确佩戴安全带、是否跨越周界线、是否翻越栏杆、是否跨越皮带、是否在运行皮带上作业、开关室是否单人作业。

作为本发明的一种优选技术方案，所述改进的YOLOv4算法的改进方法是：使用变尺度感兴趣区域全连接层代替RoIPooling层，具体为，所述视频图像的源尺寸为H

其中

作为本发明的一种优选技术方案，所述预设若干中工作人员不安全行为步骤中，包括对所述卷积神经网络进行训练，训练方法是通过人工标注的方式用标注框标注出所述标注框内的视频图像的以下信息：是否佩戴安全帽以及安全帽的类别、是否佩戴安全带、人员图像、周界线图像、栏杆图像、皮带图像、开关室的人脸以及标注框的坐标。

作为本发明的一种优选技术方案，所述单帧图像不安全行为分析步骤中，对于是否戴安全帽具体为检测视频图像中的人员图像位置，并分析该位置下是否有红、蓝、黄、白、黑的安全帽以进行判定。

作为本发明的一种优选技术方案，所述单帧图像不安全行为分析以及所述特定任务、场景不安全行为分析步骤中，对于是否佩戴安全带具体为检测视频图像中的人员图像位置，安全带的挂钩设置区别颜色的标记，通过识别所述标记并于人员图像比对，如果所述标记高于人员肩部或与人员腰部重合则为正确佩戴，否则为不正确。

作为本发明的一种优选技术方案，所述单帧图像不安全行为分析步骤中，对于是否使用移动设备为具体检测人员图像的像素。

作为本发明的一种优选技术方案，所述视频序列不安全行为分析步骤中，具体为采用行人重识别技术，识别两个图像帧中使用移动设备的人员是否为同一人员；具体方法是使用两个卷积神经网络子网，同时输入两张使用移动设备人员的图像，输出为是否同一人员的结果；对于同一人员使用移动设备，根据不同图像帧中位置，计算人员是否有移动，从而判断是否是在移动中使用移动设备。

作为本发明的一种优选技术方案，所述特定任务、场景不安全行为分析步骤中，对是否跨越周界线、是否翻越栏杆、是否跨越皮带、是否在运行皮带上作业、开关室是否单人作业的具体方法是对所述周界线、所述栏杆、所述皮带进行画线标记，检测图像中人员图像是否与画线标记重叠；识别开关室内的人员图像并计算人员图像数量，小于等于1为不安全行为。

与现有技术相比，本发明的有益效果是：

本发明提供的此方法基于计算机视觉技术，改进现有YOLOv4算法，基于基础网络的精度和速度都有极大保障结合不安全行为语义信息对不安全行为进行识别。本发明通过人工智能的手段提升发电厂视频监控系统对工作人员的不安全行为主动监控能力，及时发现事故隐患。通过识别工作人员不安全行为，精准地发现发出报警提示，做到防患于未然，保障安全生产。相比现有的方案，具有价格低廉、效率高、实时检测、不漏死角的优势，节省了大量人力，物力，财力。此方法可推广运用于所有工业领域不安全行为识别的场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例中一种发电厂工作人员不安全行为的识别方法的任务组成示意图；

图2为本发明实施例中单帧视频不安全行为的识别流程示意图。

图3为本发明实施例中视频序列不安全行为的识别流程示意图。

图4为本发明实施例中特定任务、场景不安全行为分析的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅附图1至4，本发明实施例提供的一种发电厂工作人员不安全行为的识别方法具体为：

S1：预设若干中工作人员不安全行为，将所述不安全行为对应的视频图像的信息作为数据集。

其中包括对所述卷积神经网络进行训练，训练方法是通过人工标注的方式用标注框标注出所述标注框内的视频图像的以下信息：是否佩戴安全帽以及安全帽的类别、是否佩戴安全带、人员图像、周界线图像、栏杆图像、皮带图像、开关室的人脸以及标注框的坐标。具体是通过以对历史监控视频的视频图像进行人工标注，如标注出各类的安全帽图像、人员图像等上述信息，形成数据集，当然，对于上述信息，可以根据实际情况进行灵活调整，以提高系统对监控对象的识别精度。

S2：获取现场视频图像。

具体是从安防摄像机中，根据摄像机公开协议获取视频图像。

S3：通过基于YOLOv4算法的卷积神经网络对所述视频图像进行分析并识别不安全行为，包括：

S31：单帧图像不安全行为分析，所述单帧图像不安全行为包括是否戴安全帽、是否佩戴安全带、是否使用移动设备。具体是采用基于深度学习的YOLOv4目标检测技术，对于是否戴安全帽具体为检测视频图像中的人员图像位置，并分析该位置下是否有红、蓝、黄、白、黑的安全帽以进行判定；

检测并识别是否佩戴安全带，若未佩戴则记录；若佩戴，进一步识别挂钩位置。其中安全带的挂钩设置区别颜色的标记，一般采用区别颜色的泡沫球，通过识别泡沫球并于人员图像比对，如果泡沫球高于人员肩部或与人员腰部重合则为正确佩戴，否则为不正确；

采用基于深度学习的YOLOv4目标检测技术具体检测人员图像的像素，检测并识别是否使用移动设备，若使用则记录。

在本发明实施例中，上述YOLOv4算法的改进方法是使用变尺度感兴趣区域全连接层代替目前常用的RoIPooling层，以适应源候选区域尺寸小于目标区域尺寸的问题。具体做法为，如果源尺寸为H

其中

S32：视频序列不安全行为分析，所述视频序列不安全行为包括是否在移动中使用移动设备。

具体是采用行人重识别技术，识别两个图像帧中使用移动设备的人员是否为同一人员；具体方法是使用两个卷积神经网络子网，同时输入两张使用移动设备人员的图像，输出为是否同一人员的结果；对于同一人员使用移动设备，根据不同图像帧中位置，计算人员是否有移动，从而判断是否是在移动中使用移动设备。操作步骤为：

(1)获取第一次和最近一次记录的，未带清除标识的使用移动设备的视频帧。

(2)采用行人重识别技术，识别两个帧中使用移动设备的人员是否为同一人员，若是则继续；若不是，则添加清除记录，结束。

(3)对于同一人员使用移动设备，根据不同帧中位置，计算是否有移动，从而判断是否是在移动中使用移动设备，若是则记录。

S33：特定任务、场景不安全行为分析，所述特定任务、场景不安全行为包括是否正确佩戴安全带、是否跨越周界线、是否翻越栏杆、是否跨越皮带、是否在运行皮带上作业、开关室是否单人作业。

具体来说，此步骤为对是否跨越周界线、是否翻越栏杆、是否跨越皮带、是否在运行皮带上作业、开关室是否单人作业的具体方法是对所述周界线、所述栏杆、所述皮带进行画线标记，检测图像中人员图像是否与画线标记重叠；识别开关室内的人员图像并计算人员图像数量，小于等于1为不安全行为。具体步骤为：

(1)检测挂钩位置，对于挂钩不高于肩部，且与人员检测框重合的情况，记录不正确佩戴安全带。

(2)检测周界线与人员检测框的交叠，如有交叠则记录跨越周界。

(3)检测栏杆线与人员检测框的交叠，如有交叠则记录跨越栏杆。

(4)检测皮带封闭线与人员检测框的交叠，如有交叠则记录跨越皮带。

(5)检测运行皮带封闭线与人员检测框的交叠，如有交叠则记录在运行皮带上作业。

(6)计算一个开关室内是否只有一个人作业，若是则记录开关室内单人作业。

本发明的算法首先利用安防摄像机获取图像数据，进行单帧图像任务不安全行为识别，然后在利用多帧进行视频序列任务识别，最后进行场景任务识别。该方法不但适用于发电厂人的不安全行为识别，解决人工方法和传统方法不及时、不全面的问题。该方法同样适用于其它场景需求，例如其它工业生产中的人员不安全行为识别等。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。