违章作业行为智能识别方法及系统

技术领域

本发明涉及作业识别技术领域，具体为违章作业行为智能识别方法及系统。

背景技术

在基础设施的建设、能源的开发过程中，需要施工人员做好完善的防护措施并严格按照规定进行操作，特别是在化工园区的高危作业过程中，除了存在的物理上的安全风险，还有一些化学方面的安全隐患，而施工人员的不规范操作，不仅会造成经济财产的损失，更严重的还会对操作人员的生命健康造成伤害，特别是在化工园区中出现热源时，更会存在较为严重的安全隐患，因此在施工过程中，及时准确的判断施工人员是否违章作业意义重大。

随着AI技术及智能硬件技术的快速发展，施工过程的监控也越来越智能化；在施工区域采用摄像装置采集施工区域的影像信息，通过对影像信息的分析，进而能够对施工人员的状态进行判断。

现有的影像分析过程主要通过机器学习的方式通过海量样本对学习模型进行训练，进而能够根据影像信息中的图像帧来识别人员是否出现违规操作，此种方式在学习模型完成训练后能够快速的进行判断，但由于实际施工环境的复杂性及人员工作状态的不固定性，因此其效果在实际工程中会大打折扣，对违规操作的识别结果也存在准确性低的问题。

发明内容

本发明的目的在于提供违章作业行为智能识别方法，解决以下技术问题：

如何提高违章作业行为识别的准确性。

本发明的目的可以通过以下技术方案实现：

违章作业行为智能识别方法，所述方法包括：

步骤一、采集作业区域的影像信息，按预设切分策略获取影像信息中的图像帧，对图像帧进行识别，获取人员识别区域；

步骤二、将人员识别区域内的图像输入至分析模型，获取人员头部关键框及手部关键框；

根据头部关键框内图像信息的颜色特征判断人员是否佩戴安全帽；

步骤三、将头部关键框中心与手部关键框中心之间的距离与预设阈值进行比对，当距离小于预设阈值时进行烟雾分析，根据分析的结果判断人员是否存在抽烟的问题。

在一个实施例中，烟雾分析的过程为：

将人员识别区域周向扩展特定像素值，获取烟雾分析区域；

获取当前帧图像烟雾分析区域的图像的灰度值函数grey

获取上一帧图像烟雾分析区域的图像的灰度值函数grey

通过公式grey

其中，x、y分别表示图片帧像素的横坐标及纵坐标；

对灰度差分函数grey

在一个实施例中，步骤三还包括：

当头部关键框中心与手部关键框中心之间的距离小于预设阈值时，记作关键位置点并统计对应时间点，根据特定时长内关键位置点出现的频率判断是否存在抽烟。

在一个实施例中，当头部关键框中心与手部关键框中心之间的距离小于预设阈值时，将预设切分策略中获取图像帧的时间间隔缩短。

在一个实施例中，所述人员识别区域获取的过程为：

将图像帧输入至识别模型中，通过识别模型获取人员识别区域；

所述识别模型基于卷积神经网络通过正负样本训练获得。

在一个实施例中，所述分析模型还用于分析人员的体型姿态；

根据体型姿态预测获取头部倾斜角度，根据头部关键框及头部倾斜角度获取安全帽预测区域；

按均匀排布的点阵采集区域内若干个像素点的RGB数据；

将各个像素点的RGB数据颜色分量分别与对应的色值区间进行比对：

若像素点的各个颜色分量均落入至对应的色值区间内，则将该像素点标记为合格点；

获取相邻合格点的组成的最大区域并对其进行分析：

若0≤S

否则，将最大区域与安全帽预测区域进行重合度比对：

若重合度≥预设阈值，则判断人员佩戴安全帽方式合格；

若重合度＜预设阈值，则判断人员佩戴安全帽方式不合格。

在一个实施例中，所述方法还包括：

步骤四、根据分析模型对人员物体搬运过程进行违章识别；

所述违章识别的过程为：

获取人员搬运物体时的图像帧F

根据F

在一个实施例中，根据姿态变化数据判断的过程为：

通过公式

其中，H

将违章系数V与预设阈值V

若V≥V

若V＜V

违章作业行为智能识别系统，所述系统包括：

采集处理模块，用于采集作业区域的影像信息，按预设切分策略获取影像信息中的图像帧，对图像帧进行识别，获取人员识别区域；

分析模型，用于根据人员识别区域内的图像获取人员头部关键框及手部关键框；

违章判断模块，用于根据头部关键框内图像信息的颜色特征判断人员是否佩戴安全帽；及将头部关键框中心与手部关键框中心之间的距离与预设阈值进行比对，当距离小于预设阈值时进行烟雾分析，根据分析的结果判断人员是否存在抽烟的问题。

本发明的有益效果：

(1)本发明通过烟雾分析的方式，能够减少全部进行烟雾分析所带来的较大的计算量；同时基于是否进行烟雾分析的结果，能够对烟雾分析的结果进行核对，提高对人员是否抽烟判断的准确性。

(2)本发明通过对灰度差分函数对应的图像进行边缘轮廓识别，将识别到的轮廓形状与预设形状库中的形状进行比对，根据对比的结果，进而能够判断是否有烟雾产生，进而判断是否存在抽烟的状况；同时结合人员头部关键框及手部关键框的状态，进而准确的判断出人员是否抽烟。

(3)本发明通过违章系数的计算与判断过程，能够判断用户是否搬运过程是否违章及违章的类型，进而方便及时采用对应的指导、督促方法。

附图说明

下面结合附图对本发明作进一步的说明。

图1是本发明违章作业行为智能识别方法的步骤流程图；

图2是本发明违章作业行为智能识别系统的概要框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，在一个实施例中，提供了违章作业行为智能识别方法，方法包括：

步骤一、采集作业区域的影像信息，按预设切分策略获取影像信息中的图像帧，对图像帧进行识别，获取人员识别区域；

步骤二、将人员识别区域内的图像输入至分析模型，获取人员头部关键框及手部关键框；

根据头部关键框内图像信息的颜色特征判断人员是否佩戴安全帽；

步骤三、将头部关键框中心与手部关键框中心之间的距离与预设阈值进行比对，当距离小于预设阈值时进行烟雾分析，根据分析的结果判断人员是否存在抽烟的问题。

通过上述技术方案，本实施例在机器识别的基础上，通过图像帧识别内容进行特征分析，进而提高了对违章作业行为判断识别的准确性，具体地，通过识别获取人员头部关键框及手部关键框，当人员头部关键框及手部关键框靠近时，说明存在抽烟的几率，此时进行烟雾分析，通过烟雾分析的结果进而能够判断人员是否存在抽烟的问题；此种方式相对于直接进行烟雾分析的方式，能够减少全部进行烟雾分析所带来的较大的计算量；另外，基于是否进行烟雾分析的结果，加上烟雾分析的具体结果，能够对烟雾分析的结果进行核对，提高对人员是否抽烟判断的准确性。

另外，本实施例在判断出头部关键框的基础上，基于头部关键框内图像信息的颜色特征判断人员是否佩戴安全帽，而颜色特征可根据施工现场实际的状况选定颜色区间，显然，此种方式能够使用不同场景的同时，也提高了对人员是否佩戴安全帽判断的准确性。

作为本发明的一种实施方式，烟雾分析的过程为：

将人员识别区域周向扩展特定像素值，获取烟雾分析区域；

获取当前帧图像烟雾分析区域的图像的灰度值函数grey

获取上一帧图像烟雾分析区域的图像的灰度值函数grey

通过公式grey

其中，x、y分别表示图片帧像素的横坐标及纵坐标；

对灰度差分函数grey

通过上述技术方案，本实施例提供了一种烟雾分析的方法，具体地，本实施例通过采集相邻图像帧的灰度值函数grey

需要说明的是，上述方案中的边缘识别可通过现有技术中常见的边缘识别算法实现，利如canny算法、Roberts边缘检测算法等，在此不作赘述。

作为本发明的一种实施方式，步骤三还包括：

当头部关键框中心与手部关键框中心之间的距离小于预设阈值时，记作关键位置点并统计对应时间点，根据特定时长内关键位置点出现的频率判断是否存在抽烟。

通过上述技术方案，本实施例在烟雾分析未判断出烟雾时，还会根据特定时段内人员的状态变化进行判断，具体地，当头部关键框中心与手部关键框中心之间的距离小于预设阈值时，记作关键位置点，同时统计对应时间点，根据特定时长内关键位置点出现的频率判断，显然，当关键位置点出现的频率较高时，说明存在抽烟的几率较大，因此通过此种判断方式，能够在一些无法清洗判断烟雾的特殊环境状态下实现对人员是否抽烟的判断。

作为本发明的一种实施方式，当头部关键框中心与手部关键框中心之间的距离小于预设阈值时，将预设切分策略中获取图像帧的时间间隔缩短。

本实施例中的预测切分策略采用设定的时间段进行切分，同时，通过上述技术方案，头部关键框中心与手部关键框中心之间的距离小于预设阈值时，将预设切分策略中获取图像帧的时间间隔缩短，显然此种方式能够动态的调整获取切分图像帧的时间间隔，当存在违规风险时，提高获取图像帧的频率，进而提高分析的准确想，当不存在违规风险时，按照阈值的切分时间间隔进行，减少整体分析的运算量占用。

作为本发明的一种实施方式，人员识别区域获取的过程为：

将图像帧输入至识别模型中，通过识别模型获取人员识别区域；

识别模型基于卷积神经网络通过正负样本训练获得。

通过上述技术方案，本实施例中对人体识别区域获取的方式是基于卷积神经网络训练获取的识别模型实现的，通过将人员不同工作时动作的图像作为样本进行训练，进而能够通过识别模型实现对人员各个身体部位的识别。

需要说明的是，具体的训练过程通过现有技术中卷积神经网络的常规方式实现，在此不做赘述。

作为本发明的一种实施方式，分析模型还用于分析用户的体型姿态；

根据体型姿态预测获取头部倾斜角度，根据头部关键框及头部倾斜角度获取安全帽预测区域；

按均匀排布的点阵采集区域内若干个像素点的RGB数据；

将各个像素点的RGB数据颜色分量分别与对应的色值区间进行比对：

若像素点的各个颜色分量均落入至对应的色值区间内，则将该像素点标记为合格点；

获取相邻合格点的组成的最大区域并对其进行分析：

若0≤S

否则，将最大区域与安全帽预测区域进行重合度比对：

若重合度≥预设阈值，则判断人员佩戴安全帽方式合格；

若重合度＜预设阈值，则判断人员佩戴安全帽方式不合格。

通过上述技术方案，本实施例基于对分析模型对于人员体型及姿态的获取，进而能够根据姿态预测获得人员的头部倾斜角度，之后根据头部关键框及头部倾斜角度进而能够获取安全帽预测区域；之后利用安全帽的颜色特征进行判断，具体地，按均匀排布的点阵采集区域内若干个像素点的RGB数据；将各个像素点的RGB数据颜色分量分别与对应的色值区间进行比对：显然，若像素点的各个颜色分量均落入至对应的色值区间内，说明该位置点的颜色正确，因此将该像素点标记为合格点；之后获取相邻合格点的组成的最大区域并对其进行分析：若0≤S

作为本发明的一种实施方式，方法还包括：

步骤四、根据分析模型对人员物体搬运过程进行违章识别；

违章识别的过程为：

获取人员搬运物体时的图像帧F

根据F

通过上述技术方案，本发明中的识别方法还根据分析模型对人员物体搬运过程进行违章识别；具体地，获取人员搬运物体时的图像帧F

作为本发明的一种实施方式，根据姿态变化数据判断的过程为：

通过公式

其中，H

将违章系数V与预设阈值V

若V≥V

若V＜V

通过上述技术方案，本实施例提供了一种根据姿态变化数据判断的过程，具体的，通过公式

需要说明的是，识别模型通过将人员标准工作状态下的图像信息作为正样本进行机器学习训练，通过识别到人员的姿态，进而判断重合度百分比，而重合度百分比即为评价系数；另外，人体整体的重心下移距离能够表示人员是否将物体平稳放下，而人员下半身重心下移距离能够表示人员放下的过程是否标准，当上半身的重心调整而下半身的重心未调整时，人员搬运较重的物体容易对人员的腰部造成损伤，因此通过违章系数V的计算与判断过程，能够判断用户是否搬运过程是否违章及违章的类型，进而方便及时采用对应的指导、督促方法。

请参阅附图图2所示，本实施例给出了违章作业行为智能识别系统，系统包括：

采集处理模块，用于采集作业区域的影像信息，按预设切分策略获取影像信息中的图像帧，对图像帧进行识别，获取人员识别区域；

分析模型，用于根据人员识别区域内的图像获取人员头部关键框及手部关键框；

违章判断模块，用于根据头部关键框内图像信息的颜色特征判断人员是否佩戴安全帽；及将头部关键框中心与手部关键框中心之间的距离与预设阈值进行比对，当距离小于预设阈值时进行烟雾分析，根据分析的结果判断人员是否存在抽烟的问题。

通过上述技术方案，本实施例在机器识别的基础上，通过图像帧识别内容进行特征分析，进而提高了对违章作业行为判断识别的准确性，具体地，通过分析模型识别获取人员头部关键框及手部关键框，当人员头部关键框及手部关键框靠近时，说明存在抽烟的几率，此时进行烟雾分析，通过烟雾分析的结果进而能够判断人员是否存在抽烟的问题；此种方式相对于直接进行烟雾分析的方式，能够减少全部进行烟雾分析所带来的较大的计算量；另外，基于是否进行烟雾分析的结果，加上烟雾分析的具体结果，能够对烟雾分析的结果进行核对，提高对人员是否抽烟判断的准确性。

另外，本实施例在判断出头部关键框的基础上，基于头部关键框内图像信息的颜色特征判断人员是否佩戴安全帽，而颜色特征可根据施工现场实际的状况选定颜色区间，显然，此种方式能够使用不同场景的同时，也提高了对人员是否佩戴安全帽判断的准确性。

以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。