安全帽佩戴检测识别方法和系统

技术领域

本发明涉及计算机视觉的目标检测技术领域，具体地，涉及安全帽佩戴检测识别方法和系统，尤其涉及一种基于改进PP-PicoDet目标检测模型的安全帽佩戴检测方法和系统。

背景技术

高电压检修人员通常在距离地面10米以上的铁塔或者电线上进行高空作业，安全帽自然成为了作业人员的安全保障。最近，由于没有佩戴安全帽所引发的事故频发，对高空作业人员有无佩戴头盔的监控成为单位关注的焦点。在大多数场景下，人工对高空作业人员的监控成为主流，当遇到雨雪、大风等恶劣环境下，会影响监测员的身体状态和身心健康，和当现场环境恶劣时，会对监测人员的身心健康和主观情绪有所影响，监测员也很难目不转睛的监测高空作业人员，降低了人工监测方法的效率且成本较高。随着硬件技术和人工智能的发展，基于无人机的高空目标检测算法为有无佩戴安全帽的检测提供了新的方向。

PP-PicoDet目标检测算法是目前较先进的深度学习轻量级算法，该目标检测算法以卷积神经网络为基础，在模型大小不足1M的基础上拥有较高的检测精度，适配类似无人机等AI算法模块，以其快速的检测速度能够达到实时的识别效果。PP-PicoDet借鉴了YOLO单阶段目标检测算法的网络架构，由于没有预设先验框，所以也是基于无先验框的目标检测算法。相比于其他的轻量级目标检测模型，虽然PP-PicoDet在大目标的检测精度上处于先进水平，但是对于远处小目标的检测没有达到较好的精度。

综上所述，高空安全帽检测存在两大问题：第一、高空作业时，无人机拍摄到的安全帽面积占比小，PP-PicoDet等先进的目标检测算法的识别精度较差，缺少多尺度目标检测的能力。其次、为了满足低功耗硬件设备的需求，需要将模型轻量化来降低模型的参数量提高模型的推理速度，使得小目标安全帽的识别效果变得更差，检测丢失的情况也频繁发生。

专利号为201910307891.8的专利文献CN110119686A公开了一种基于卷积神经网络的安全帽实时检测方法，它采用多线程提取I帧的方式对视频解码；通过YOLOv3卷积神经网络算法实现端到端的安全帽和人脸实时检测；提出了基于安全帽和人脸实时检测的结果判断是否佩戴安全帽的方法；对于未佩戴安全帽的人通过FaceNet算法实现了人脸识别来对他们进行智能语音提醒；采用了通道剪枝和量化的方法对模型进行了压缩，更加利于模型在SoC系统上的集成。该专利文献CN110119686A结合了YOLOv3和FaceNet来检测头盔是否被佩戴。但随着深度学习的发展，YOLOv3和FaceNet并不是目前最好的检测算法，对多尺度目标的检测效果较差。同时该专利文献CN110119686A并没有提高模型的精度，只是缩小了模型的尺寸。

本发明提供了基于轻量级目标检测模型PP-PicoDet的改进，在保证模型参数量不变的情况下，提高了模型对安全帽的识别精度，使得模型在适配硬件的同时增加了检测的能力。

专利申请号202210495891.7的专利文献CN114581860A涉及一种基于改进的YOLOv5模型的安全帽检测算法，其引入注意力机制的思想，将其与特征点的描述方式相结合，抓取更有效的信息，从而提升描述符的鲁棒性；通过k means++算法在三个不同尺度上聚类生成锚框作为模型的初始框并在模型中加入ARM，再通过BFF将ARM与YOLOv5主干网络链接起来，加上FSM和DRH使其能够动态的进行预测，更好的锁定目标，采用WBF算法，通过加权框融合得到最终的候选框，提升目标检测精度；采用加速模型提升模型的检测性能；本发明提升了小尺寸目标检测的精度，降低了漏检误检的概率，满足实时检测的需求，图片数据背景复杂等情况下，精度也能保证，更加贴近实际的应用场景。该专利文献CN114581860A通过在YOLOv5网络中增加多个模块来提高模型的检测能力，并且没有创新的网络结构设计。此外，该专利文献CN114581860A引入了模型压缩，但没有具体说明如何压缩模型。

本发明通过改进PP-PicoDet算法，在网络结构上进行改进,在保持模型轻量化的同时提高了安全帽的识别精度，同时也提高了模型的推理速度，在Head部分的改进中增加了模型的小目标检测能力，提高了分类精度。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种安全帽佩戴检测识别方法和系统。

根据本发明提供的一种安全帽佩戴检测识别方法，包括：

步骤S1：将原始输入图片输入已训练模型，利用网络架构W-PicoDet对有无佩戴安全帽进行检测识别，得到安全帽的检测结果；其中，网络架构W-PicoDet采用RepVGG结构作为主干特征网络中的卷积结构，让单个的卷积具有残差边；采用步长为2的ESBlock，增加通道分组和通道混淆操作，使得不同通道的特征相融合；

步骤S2：对检测结果坐标进行解码和尺度变换，再映射到原始输入图片上。

优选地，网络架构W-PicoDet在Head结构中用两个5×5RepVGGBlock卷积结构，在分类分支部分，增加一层注意力机制sSE结构。

优选地，还包括测试模型训练步骤：

步骤SA：将安全帽数据集分为两类：戴安全帽和不戴安全帽的数据集；通过诸如仿射变换的数据增强操作来丰富数据集类型，降低训练数据中无佩戴安全帽数据的比例，得到新的安全帽数据集：

式(6)中，I(x)表示原始安全帽图像，

步骤SB：用图像标注工具LabelImg对新的安全帽数据集进行VOC格式数据集的标注，之后再将标注好的数据集分为训练集、验证集和测试集；

步骤SC：将训练集输入W-PicoDet模型进行训练；权重更新方法使用Lookahead算法，将训练权重w设置为两组权重，即快速权重和慢速权重；使用adamw更新优化程序。对于慢速权的每次更新，快速权重被重置为当前慢速权重；

步骤SD：训练完成后将最终训练模型保存，将其作为测试的模型。

优选地，所述网络架构W-PicoDet通过如下构建方式得到：

步骤S01：构造W-PicoDet卷积神经网络模型主干特征网络，

采用卷积块结构RepVGGBlock，RepVGGBlock包含两个并联的卷积块和一个残差边：

y＝x+g(x)+f(x) (1)

g(x)表示1×1卷积实现的残差边，f(x)表示串联结构中的3×3卷积和批量正则化结构，三者相加的结果y再输入到SiLU激活函数中；

采用DPooling结构让模型自己选择池化的方式，得到输出图：

其中，k

将输出图输入到ESIBlock中，ESIBlock分为步长为1和步长为2的网络，首先对输入的输出图的特征图遍历三次ESIBlock，前两次经过步长为1，输出特征图大小不变，再经过步长为2的ESIBlock；其中，将输入的通道数减半后分别输出到1×1pw conv和3×3dwconv中进行特征提取，分别得到特征图；输出图的特征图经过3×3dw conv后特征图大小减半，再经过SE block和1×1pw conv进行特征重组后得到特征图后与右半部分相加得到输出特征图，再额外加入通道混淆操作：

F

F

reshape表示将指定的矩阵变换成特定维数矩阵的操作；

表示原特征图；

F

permute表示维度转换操作；

遍历完第一组3次ESIBlock后，继续遍历第二组7次ESIBlock，输出特征图减半，通道数翻倍输出特征图，最后遍历最后一组3次ESIBlock得到特征图，最后将三组ESIBlock输出的特征图作为有效特征图输入到特征融合模块中；

步骤S02：将三个有效特征图进行1×1卷积块的特征提取，分别得到通道数相同的三个有效特征图，再通过特征融合网络输出Head1、Head2、Head3和Head4，分别对应特征融合网络的输出；

步骤S03：对输出的Head结构进行修改，通过增大感受野来提高小目标识别的精度，并且使特征图大小减半；在分类分支部分，增加sSE注意力机制通过增加参数来提高模型分类效果，sSE注意力机制的结构由上下两部分构成，上部分为：

F′表示输出的特征图；Conv

通过通道数为1的卷积块得到注意力特征图，再与下部分的F做矩阵乘法得到注意力重组后的特征图，最后经过卷积核为1的卷积块Conv

根据本发明提供的一种安全帽佩戴检测识别系统，包括：

模块M1：将原始输入图片输入已训练模型，利用网络架构W-PicoDet对有无佩戴安全帽进行检测识别，得到安全帽的检测结果；其中，网络架构W-PicoDet采用RepVGG结构作为主干特征网络中的卷积结构，让单个的卷积具有残差边；采用步长为2的ESBlock，增加通道分组和通道混淆操作，使得不同通道的特征相融合；

模块M2：对检测结果坐标进行解码和尺度变换，再映射到原始输入图片上。

优选地，网络架构W-PicoDet在Head结构中用两个5×5RepVGGBlock卷积结构，在分类分支部分，增加一层注意力机制sSE结构。

优选地，还包括测试模型训练步骤：

模块MA：将安全帽数据集分为两类：戴安全帽和不戴安全帽的数据集；通过诸如仿射变换的数据增强操作来丰富数据集类型，降低训练数据中无佩戴安全帽数据的比例，得到新的安全帽数据集：

式(6)中，I(x)表示原始安全帽图像，

模块MB：用图像标注工具LabelImg对新的安全帽数据集进行VOC格式数据集的标注，之后再将标注好的数据集分为训练集、验证集和测试集；

模块MC：将训练集输入W-PicoDet模型进行训练；权重更新方法使用Lookahead算法，将训练权重w设置为两组权重，即快速权重和慢速权重；使用adamw更新优化程序。对于慢速权的每次更新，快速权重被重置为当前慢速权重；

模块MD：训练完成后将最终训练模型保存，将其作为测试的模型。

优选地，所述网络架构W-PicoDet通过如下模块构建方式得到：

模块M01：构造W-PicoDet卷积神经网络模型主干特征网络，

采用卷积块结构RepVGGBlock，RepVGGBlock包含两个并联的卷积块和一个残差边：

y＝x+g(x)+f(x) (1)

g(x)表示1×1卷积实现的残差边，f(x)表示串联结构中的3×3卷积和批量正则化结构，三者相加的结果y再输入到SiLU激活函数中；

采用DPooling结构让模型自己选择池化的方式，得到输出图：

其中，k

将输出图输入到ESIBlock中，ESIBlock分为步长为1和步长为2的网络，首先对输入的输出图的特征图遍历三次ESIBlock，前两次经过步长为1，输出特征图大小不变，再经过步长为2的ESIBlock；其中，将输入的通道数减半后分别输出到1×1pw conv和3×3dwconv中进行特征提取，分别得到特征图；输出图的特征图经过3×3dw conv后特征图大小减半，再经过SE block和1×1pw conv进行特征重组后得到特征图后与右半部分相加得到输出特征图，再额外加入通道混淆操作：

F

F

reshape表示将指定的矩阵变换成特定维数矩阵的操作；

表示原特征图；

F

permute表示维度转换操作；

遍历完第一组3次ESIBlock后，继续遍历第二组7次ESIBlock，输出特征图减半，通道数翻倍输出特征图，最后遍历最后一组3次ESIBlock得到特征图，最后将三组ESIBlock输出的特征图作为有效特征图输入到特征融合模块中；

模块M02：将三个有效特征图进行1×1卷积块的特征提取，分别得到通道数相同的三个有效特征图，再通过特征融合网络输出Head1、Head2、Head3和Head4，分别对应特征融合网络的输出；

模块M03：对输出的Head结构进行修改，通过增大感受野来提高小目标识别的精度，并且使特征图大小减半；在分类分支部分，增加sSE注意力机制通过增加参数来提高模型分类效果，sSE注意力机制的结构由上下两部分构成，上部分为：

F′表示输出的特征图；Conv

通过通道数为1的卷积块得到注意力特征图，再与下部分的F做矩阵乘法得到注意力重组后的特征图，最后经过卷积核为1的卷积块Conv

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现权所述的安全帽佩戴检测识别方法的步骤。

根据本发明提供的一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现所述的安全帽佩戴检测识别方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

1、本发明通过改进PP-PicoDet主干特征网络中第一层的普通卷积块和第二层的池化层让模型在训练过程中更有效，提高了安全帽的识别精度。对步长为2的ESBlock进行修改，使用了通道分组和通道混淆融合了不同通道的特征，在不改变模型参数量的情况下进一步提高了安全帽的识别精度。

2、本发明在Head部分也使用2个RepVGGBlock替代2个普通卷积块，进一步提高了模型的精度，同时使用5×5的大卷积核来提高感受野，增加了模型对小目标的识别效果，最后利用sSE结构对输入特征图进行特征注意力重组，更趋向于对应类别的关注，提高了模型的分类精度。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为W-PicoDet卷积神经网络模型结构示意图。

图2为步长为2的ESIBlock模块结构示意图。

图3为sSE结构示意图。

图4为测试结果对比图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明提出了一种新型网络架构W-PicoDet，要解决的技术难题体现在以下几点：

1)针对安全帽检测模型轻量化后精度降低的问题，本发明用RepVGG结构替代原来主干特征网络中的3×3卷积，让单个的卷积也具有了残差边，使得网络在推理时重参化提高模型的推理速度同时结合动态池化DPooling结构能让模型自动趋于好的方向训练；再将步长为2的ESBlock替换为ESIBlock，增加了通道分组和通道混淆操作，使得不同通道的特征相融合，提高了安全帽的识别精度。

2)为了解决小目标安全帽检测和提高分类精度，在Head结构中用两个5×5RepVGGBlock替代原始Head2个普通卷积来提高小目标检测精度，在分类分支部分，增加一层轻量型注意力机制sSE结构，通过注意力的方式让模型更注重对应类别的识别，提高了模型的分类精度。

下面对本发明进行具体说明。根据本发明提供的一种安全帽佩戴检测识别方法，利用网络架构W-PicoDet对有无佩戴安全帽进行检测识别，具体步骤包括：

步骤S1、在训练之前，对采集到的安全帽数据集进行预处理。安全帽数据集分为两类：戴安全帽和不戴安全帽的数据集。在原始安全帽数据集中，没有佩戴安全帽的数据所占比例较大，影响了模型训练的收敛和检测精度。因此，在原始安全帽数据集中删除部分没有佩戴安全帽的图片的同时保证无佩戴安全帽的个数与佩戴安全帽的个数之比不超过3倍，通过降低无佩戴安全帽数据的比例，平衡了类别，提高了训练模型的效率。

如公式(6)所示，通过诸如仿射变换的数据增强操作来丰富数据集类型。

式(6)中，I(x)表示原始安全帽图像，

步骤S2、用图像标注工具LabelImg对新的安全帽数据集进行VOC格式数据集的标注，之后再将标注好的数据集分为训练集、验证集和测试集。

步骤S3、将训练集输入W-PicoDet模型进行训练。权重更新方法使用Lookahead算法。首先，将训练权重w设置为两组权重，即快速权重和慢速权重。前者更新一次，后者更新五次。使用adamw更新优化程序。对于慢速权重的每次更新，快速权重被重置为当前慢速权重。图3展示了YOLOX-W模型在测试集上的测试结果。

不同灰度值的目标框代表不同的类别，共包含佩戴安全帽helmet和没有佩戴安全帽Head两个类别。

步骤S4、训练完成后将最终训练模型保存，将其作为测试的模型。

步骤S5、原始输入图片通过最终训练模型检测出结果后，对结果坐标进行解码和尺度变换再映射到原始输入图片上。

与之前的PP-PicoDet相比，检测精度有所提升，如图4所示，左侧为之前PP-PicoDet的检测效果，右侧为本发明的检测效果，helmet数值表示安全帽的检测精度，对比可知，本发明的检测精度高于原算法的检查精度。

网络架构W-PicoDet的构建方法包括：

步骤S01、构造W-PicoDet卷积神经网络模型主干特征网络，如图1中主干特征网络部分所示，虚线部分为改进的结构。以输入图像大小416×416×3为例，替代原有的普通卷积块结构为RepVGGBlock，RepVGGBlock包含2个并联的卷积块和一个残差边，如式(1)所示。g(x)表示1×1卷积实现的残差边，f(x)表示串联结构中的3×3卷积和批量正则化(BN)结构，三者相加的结果y再输入到SiLU激活函数中。原先的单个3×3卷积块分支加上1×1卷积块分支和Identity残差分支让网络具有多分支结构，输出特征图为208×208×24。

y＝x+g(x)+f(x)(1)

之后用DPooling替代原MaxPooling结构让模型自己选择池化的方式，如式(2)所示。其中l是当前应用池化的卷积层的数量，L是网络中卷积层的总数；k

其中，k

104×104×24输入到改进的ESBlock即ESIBlock中，ESIBlock分为步长为1和步长为2的网络，首先对输入的104×104×24的特征图遍历三次ESIBlock，前两次经过步长为1，输出特征图大小不变为104×104×24，再经过步长为2的ESIBlock，如图2所示。这里将输入的通道数减半后分别输出到1×1pw conv和3×3dw conv中进行特征提取，分别得到104×104×24和52×52×24的特征图，104×104×24的特征图经过3×3dw conv后特征图大小减半，为52×52×24，再经过SE block和1×1pw conv进行特征重组后得到52×52×24大小的特征图后与右半部分相加得到52×52×48的输出特征图，再额外加入通道混淆操作，如式(3)所示，根据分组数G对原特征图

F

F

reshape表示将指定的矩阵变换成特定维数矩阵的操作；

表示原特征图；

F

permute表示维度转换操作；

遍历完第一组3次ESIBlock后，继续遍历第二组7次ESIBlock，同样输出特征图减半，通道数翻倍输出为26×26×192大小的特征图，最后遍历最后一组3次ESIBlock得到13×13×384大小的特征图，最后将三组ESIBlock输出的特征图作为有效特征图输入到特征融合模块中，分别为52×52×96、26×26×192和13×13×384。

步骤S02、将3个有效特征图进行1×1卷积块的特征提取，得到52×52×96、26×26×96和13×13×963通道数相同的有效特征图，再通过特征融合网络输出Head1、Head2、Head3和Head4，分别对应7×7×96、13×13×96、26×26×96和52×52×96的特征融合网络的输出。

步骤S03、对输出的Head结构进行修改，以Head4结构为例，输入为52×52×96的有效特征图，再通过一系列卷积块，原始的卷积块结构为5×5的dw conv，这里将其替换为卷积核为5的RepVGGBlock,即RepVGGBlock第一个分支的3×3卷积替换为5×5的卷积块，通过增大感受野来提高小目标识别的精度，并且使特征图大小减半，为26×26×96，再通过一次替换的卷积核为5的RepVGGBlock使得特征图大小减半，为13×13×96。在分类分支部分，增加sSE注意力机制通过增加少量的参数来提高模型分类效果，sSE注意力机制的结构如图3所示，由上下两部分构成，上部分如式(5)所示，F表示输入的特征图，通过通道数为1的卷积块得到13×13×1的注意力特征图，再与下部分的F做矩阵乘法得到注意力重组后的13×13×96大小的特征图，最后经过卷积核为1的卷积块Conv

F′表示输出的特征图；

Conv

本发明还提供一种安全帽佩戴检测识别系统，通过执行所述安全帽佩戴检测识别方法的流程步骤可以实现所述安全帽佩戴检测识别系统，本领域技术人员可以将所述安全帽佩戴检测识别方法理解为所述安全帽佩戴检测识别系统的优选实施方式。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

根据本发明提供的一种安全帽佩戴检测识别系统，包括：

模块M1：将原始输入图片输入已训练模型，利用网络架构W-PicoDet对有无佩戴安全帽进行检测识别，得到安全帽的检测结果；其中，网络架构W-PicoDet采用RepVGG结构作为主干特征网络中的卷积结构，让单个的卷积具有残差边；采用步长为2的ESBlock，增加通道分组和通道混淆操作，使得不同通道的特征相融合；

模块M2：对检测结果坐标进行解码和尺度变换，再映射到原始输入图片上。

优选地，网络架构W-PicoDet在Head结构中用两个5×5RepVGGBlock卷积结构，在分类分支部分，增加一层注意力机制sSE结构。

优选地，还包括测试模型训练步骤：

模块MA：将安全帽数据集分为两类：戴安全帽和不戴安全帽的数据集；通过诸如仿射变换的数据增强操作来丰富数据集类型，降低训练数据中无佩戴安全帽数据的比例，得到新的安全帽数据集：

式(6)中，I(x)表示原始安全帽图像，

模块MB：用图像标注工具LabelImg对新的安全帽数据集进行VOC格式数据集的标注，之后再将标注好的数据集分为训练集、验证集和测试集；

模块MC：将训练集输入W-PicoDet模型进行训练；权重更新方法使用Lookahead算法，将训练权重w设置为两组权重，即快速权重和慢速权重；使用adamw更新优化程序。对于慢速权的每次更新，快速权重被重置为当前慢速权重；

模块MD：训练完成后将最终训练模型保存，将其作为测试的模型。

优选地，所述网络架构W-PicoDet通过如下模块构建方式得到：

模块M01：构造W-PicoDet卷积神经网络模型主干特征网络，

采用卷积块结构RepVGGBlock，RepVGGBlock包含两个并联的卷积块和一个残差边：

y＝x+g(x)+f(x)(1)

g(x)表示1×1卷积实现的残差边，f(x)表示串联结构中的3×3卷积和批量正则化结构，三者相加的结果y再输入到SiLU激活函数中；

采用DPooling结构让模型自己选择池化的方式，得到输出图：

其中，k

将输出图输入到ESIBlock中，ESIBlock分为步长为1和步长为2的网络，首先对输入的输出图的特征图遍历三次ESIBlock，前两次经过步长为1，输出特征图大小不变，再经过步长为2的ESIBlock；其中，将输入的通道数减半后分别输出到1×1pw conv和3×3dwconv中进行特征提取，分别得到特征图；输出图的特征图经过3×3dw conv后特征图大小减半，再经过SE block和1×1pw conv进行特征重组后得到特征图后与右半部分相加得到输出特征图，再额外加入通道混淆操作：

F

F

reshape表示将指定的矩阵变换成特定维数矩阵的操作；

表示原特征图；

F

permute表示维度转换操作；

遍历完第一组3次ESIBlock后，继续遍历第二组7次ESIBlock，输出特征图减半，通道数翻倍输出特征图，最后遍历最后一组3次ESIBlock得到特征图，最后将三组ESIBlock输出的特征图作为有效特征图输入到特征融合模块中；

模块M02：将三个有效特征图进行1×1卷积块的特征提取，分别得到通道数相同的三个有效特征图，再通过特征融合网络输出Head1、Head2、Head3和Head4，分别对应特征融合网络的输出；

模块M03：对输出的Head结构进行修改，通过增大感受野来提高小目标识别的精度，并且使特征图大小减半；在分类分支部分，增加sSE注意力机制通过增加参数来提高模型分类效果，sSE注意力机制的结构由上下两部分构成，上部分为：

F′表示输出的特征图；Conv

通过通道数为1的卷积块得到注意力特征图，再与下部分的F做矩阵乘法得到注意力重组后的特征图，最后经过卷积核为1的卷积块Conv

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。