电力生产中检测违规穿戴的方法、装置及存储介质

技术领域

本发明涉及计算机领域，特别是涉及一种电力生产中检测违规穿戴的方法、装置及存储介质。

背景技术

在现有的电力系统中，施工人员在现场施工时未穿戴防护设备具有较高的危险性。目前对施工人员护具佩戴检测主要是通过人力监督的方式，然而在目前各类变电站等电力施工场景中，依靠人工监督预警效率极低，且滞后性较高。为降低人力成本并提高检测的实时性，已有一些相关的研究以监控摄像头为载体，结合人工智能技术，利用目标检测系统对电力施工场景中的人员进行穿戴检测识别。然而，由于实际场景中要检测的物体种类以及数量的快速增长，尤其是对于密集和不规则形状的物体，现有技术的方法很难取得令人满意的效果。

发明内容

本发明的实施例提供了一种电力生产中检测违规穿戴的方法、装置及存储介质，以更好地实现对密集和不规则形状物体的检测，从而在电力生产场景的违规穿戴检测任务中获得更好的检测效果。

为了实现上述目的，一方面，提供一种电力生产中检测违规穿戴的方法，包括：

使用预先获得的、用于在电力生产中检测违规穿戴的训练数据集来训练改进的YOLOv5检测模型，所述训练数据集包括针对预先设定的、用于检测违规穿戴的项目的图形标注数据，其中，所述改进的YOLOv5检测模型是基于YOLOv5、通过在骨干网络中使用非对称卷积块ACB及在骨干网的输出层和Neck层中应用Transformer模块来获得的，其中，每一所述Transformer模块包括多头交叉注意力层和全连接层；

获得待检测的图像，使用经过训练的所述改进的YOLOv5检测模型检测对所述图像进行违规穿戴检测。

优选地，所述的方法，其中，所述预先设定的、用于在电力生产中检测违规穿戴的项目包括如下中的一项或多项：是否存在行人、是否佩戴安全袖章、是否佩戴绝缘手套、是否使用操作栏、是否使用绝缘棒、是否使用验电笔、是否发现烟头。

优选地，所述的方法，其中，所述图像标注数据包括如下中的一项或多项：

绝缘手套标签、未佩戴绝缘手套标签、验电笔标签、安全袖章标签、操作栏标签、烟头标签、行人标签。

优选地，所述的方法，其中，所述Transformer模块中采用patch方式来对输入特征的区域进行编码。

优选地，所述的方法，其中，训练改进的YOLOv5检测模型包括：

选择YOLOv5s和YOLOv5m作为训练的基础模型；

将权重从零开始进行训练。

优选地，所述的方法，其中，训练改进的YOLOv5检测模型还包括：

选择Adam优化器进行训练，并将学习率设置为1e-3，并采用余弦模拟退火算法来对学习率进行动态衰减。

优选地，所述的方法，其中，在选择YOLOv5s和YOLOv5m作为训练的基础模型之前还包括：

将原始图像的原始分辨率下采样到低于所述原始分辨率的预定分辨率。

优选地，所述的方法，还包括：

使用不同颜色的边界框来标示检测出来的不同物体。

另一方面，提供了一种电力生产中检测违规穿戴的装置，包括存储器和处理器，所述存储器存储有至少一段程序，所述至少一段程序由处理器执行以实现如上文任一所述的方法。

又一方面，提供了一种计算机可读存储介质，该存储介质中存储有至少一段程序，所述至少一段程序由处理器执行以实现如上文任一所述的方法。

上述技术方案具有如下技术效果：

本发明实施例的技术方案基于包含注意力与中心增强机制的改进的YOLOv5检测模型(CATYOLOv5，Center weight And TansformerYOLOv5)，可以实现对违规穿戴检测的多尺度特征融合，如实时地多尺度特征融合；通过引入的中心权重增强卷积，可以让网络的学习权重集中于检测目标；通过在多尺度特征融合过程中使用了自注意力机制模块来学习到兴趣区域，能够提升对密集的小物体例如绝缘手套和/或烟头等检测的精确率；总体提高了电力场景违规穿戴场景中对小型和不规则物体检测的鲁棒性，具有更强的泛化性。

附图说明

图1为本发明一实施例的电力生产中检测违规穿戴的方法的流程示意图；

图2为本发明一实施例的方法中使用的改进的YOLOv5检测模型的整体框架示意图；

图3为本发明一实施例的方法中使用的ACB模块示意图；

图4为本发明一实施例的方法中使用的Transformer模块示意图；

图5为本发明一实施例的方法中，用不同颜色的边界框标示的部分检测结果示意图；

图6为本发明一实施例的电力生产中检测违规穿戴的装置的结构示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

图1为本发明一实施例的电力生产中检测违规穿戴的方法的流程示意图。在该实施例的方法，包括：

S1，基于YOLOv5、通过在骨干网络中使用非对称卷积块ACB及在骨干网的输出层和Neck层中应用Transformer模块来获得改进的YOLOv5检测模型；

S2，使用预先获得的、用于在电力生产中检测违规穿戴的训练数据集来训练改进的YOLOv5检测模型，其中，训练数据集包括针对预先设定的、用于检测违规穿戴的项目的图形标注数据，其中，每一Transformer模块包括多头交叉注意力层和全连接层；

示例性地，上述针对预先设定的、用于检测违规穿戴的项目包括：人员、物品和/或行为；

示例性地，预先设定的、用于在电力生产中检测违规穿戴的项目或类别包括如下中的一项或多项：是否存在行人、是否佩戴安全袖章、是否佩戴绝缘手套、是否使用操作栏、是否使用绝缘棒、是否使用验电笔、是否发现烟头等；但上述示例不作为限制,根据实际的电力生产场景，可以预先设定其它的待检项目、类别或目标；

S3，获得待检测的图像，使用经过训练的上述改进的YOLOv5检测模型对所述图像进行违规穿戴检测。

具体实现中，可以对电力生产进行实时监控，获取实时监控摄像头拍摄的图像，采用上述经过训练的模型对实时监控摄像头拍摄的图像进行上述预先设定的与人员、物品和/或行为相关的目标的检测。

示例性地，当出现如下一项或多项时，可以确定为存在电力生产中的违规穿戴：电力生产操作时存在行人；电力生产操作时未佩戴安全袖章；电力生产操作时未佩戴绝缘手套；电力生产操作时未使用操作栏；电力生产操作时未使用绝缘棒；电力生产操作时未使用验电笔；电力生产操作时发现烟头。针对这些示例性的违规穿戴，检测目标可以对应包括：行人、安全袖章、绝缘手套、操作栏、绝缘棒、验电笔、烟头等。

实施例二：

本发明实施例的电力生产中检测违规穿戴的方法基于改进的YOLOv5检测模型来实现对图像中、预设的用于判断电力生产中是否存在违规穿戴的目标进行检测。YOLOv5包含四个版本，包括YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x，它们主要的区别在于深度和广度的不同。一般情况下YOLOv5采用CSPDarknet53作为主架构，以SPP层为骨干，PANet作为Neck模块，使用YOLO检测头。

图2为本发明该实施例的方法中使用的改进的YOLOv5检测模型的整体框架示意图；本发明实施例中也将该改进的YOLOv5也称为CATYOLOv5。在YOLOv5中，骨干网络CSPDarknet53通过对输入的图像进行采样以及多个不同卷积模块的特征提取获得了三个不同尺度的图像特征，之后在Neck中通过简单的拼接或相加操作进行特征融合。为了更有效地利用多尺度的图像特征，CATYOLOv5中采用注意力模块以在Neck层中进行多尺度的特征融合。此外，为了提高模型对不规则物体的检测性能，CATYOLOv5在骨干网络(Backbone)中融入了一种中心权重增强机制；具体地，在一实施例中通过在骨干网络中使用非对称卷积块(ACB，Asymmetric Convolution Block)来实现中心权重的增强，以提高对不规则形状物品的识别准确率。

在计算机视觉领域中，卷积神经网络(CNN)已被证明可以通过获取卷积核大小的区域信息以得到视觉特征，能够在不同的视觉任务中获得令人满意的效果。但是，在电力生产场景中，由于要面对包含太多背景信息的不规则物体，例如绝缘棒和验电笔，普通卷积网络可能表现不佳，其视觉特征存在背景冗余的现象。为了解决这个问题，本发明的实施例使用ACB替换了传统的卷积模块。在每个ACB层中，水平和垂直卷积核作为额外的模块被添加到普通卷积中，这显式地增强了中心位置的权重，使中心十字区域与物体相关性更高的部分得到了更多的关注。如图3所示，ACB模块包含三个并行层，分别具有d×d、1×d和d×1的卷积核。在Darknet5的主干网络中用ACB结构替换了正常的卷积操作，以更多地关注中心权重，本发明的实施例将融合ACB的主干网络称为ACDarknet，它能够更灵活地检测不同形状的物体。

为了更好的融合并处理不同尺度下的特征，本发明实施例在Neck层中融入Transformer模块以更好地捕捉全局依赖信息。Transformer已证明其在提取全局信息方面的能力，并已成功应用于许多计算机视觉(CV)和自然语言处理(NLP)任务。因此，为了使模型在小而密集的物体上更加鲁棒，本发明实施例将注意力机制集成到YOLOv5中。如图4所示，每个Transformer层包含两个子模块。其中第一个子模块是多头交叉注意力层，后面紧随的是全连接层(MLP)，相较于NLP中的一维文字特征，图像当中的二维空间信息更需要采用位置编码进行描述，在该例中采用patch的方式来对输入特征的区域进行编码。注意机制的公式如下：

MultiHead(Q，K，V)＝Concat(head

其中Q、K、V分别是查询矩阵Query、键矩阵Key和值矩阵Value，

基于YOLOv5，本发明的实施例在Backbone的输出层以及Neck的融合操作中应用了Transformer模块，以便能够在多级融合特征当中更好的筛出与检测结果高度相关的特征区域。

在一实施例中，为了对改进的目标检测模型进行训练，获取的针对电力生产场景的关于违规穿戴的数据示例性地包括：行人、安全袖章、绝缘手套、未佩戴手套、操作栏和验电笔。为了能够更好的模型训练结果进行验证，将获取的数据集随机分成两组。具体而言，使用90％样本当作训练集，剩余10％的样本则作为测试集。具体来说，该数据集总共有2561张图像，在所有的图像当中有5094个绝缘手套标签(正例)、1871个为佩戴绝缘手套标签(负例)、801个验电笔标签、796个安全袖章标签、863个操作杆标签和4732个行人标签。示例性地，数据集当中的数据如图片和标注采用Pascal VOC的组成格式。

实施例中，使用Pytorch 1.7.0实现了CAFYOLOv5，并在NVIDIA RTX2080Ti GPU上完成了对模型的训练。显存大小的限制，先将原始图像的高分辨率下采样到预定的分辨率，如1280*1280。在训练阶段，采用YOLOv5s和YOLOv5m作为基础模型。由于在Backbone模块采用ACB代替卷积操作，因此没有使用预训练的权重，从零开始重新进行训练。

该例中，由于训练集很小，模型大概只需要150个epoch就能够收敛。在优化器的选择上，采用Adam优化器进行训练，并将学习率设置为1e-3。还采用了余弦模拟退火算法来对学习率进行动态衰减，在最后一个epoch时学习率衰减至3e-4。训练模型的批次大小设置为2，NMS和mAP计算的IOU阈值分别设置为0.3和0.5。图5示出了检测结果的部分。图5中，使用不同的颜色来对不同物体的检测结果进行标注。具体地，使用不同颜色的边界框如矩形框来标注检测出来的不同物体，如安全袖章、绝缘棒、安全手套等。从图中可以观察到，本发明实施例的方法即使在小物体例如绝缘手套或不规则物体如绝缘棒上仍然可以具有很高的精度。

通过对比实验可以证明，与一系列现有的目标检测方法如单阶段方法(YOLO、SSD、EfficientDet和CenterNet)和两阶段方法(Faster-RCNN)相比，当使用同样的数据对待比较的模型进行训练时，利用本发明实施例的检测方法对目标进行检测具有更高的平均精确度(mAP)。

通过消融实验可以证明本发明采用的改进模型CATYOLOv5中通过ACB模块实现的中心权重增强策略可以增强视觉表示，并有助于精确检测小且不规则的物体；Transformer模块通过捕捉全局信息，可以使模型在小而密集的物体上的检测鲁棒性提高。

总之，本发明实施例的技术方案，采用CNN+transformer的结构，在保留卷积神经网络归纳偏置特性的同时加入全局注意力特征，可以在Neck模块中能够更好地提取不同尺度下特征的全局信息；全transformer结构的目标检测模型容易在小规模数据集中出现过拟合现象，在电力违规场景检测的任务中由于数据采集本身存在一定的瓶颈，因此属于小样本检测任务，此种i情况下采用本发明实施例的CNN+transformer方案能够取得更好的结果；本发明实施例的技术方案除了在neck模块当中添加了全局注意力，同时也在backbone部分融入了中心增强机制，这属于一种经验性手工特征加强的方式，由于原始标注框大多属于矩形框，对于不规则物体的鲁棒性较差，本发明实施例的技术方案通过融入中心增强机制避免了该情况下直接采用注意力机制可能导致网络学习到更多的背景信息而降低检测准确率的问题。

实施例三：

本发明还提供一种电力生产中检测违规穿戴的装置，如图6所示，该装置包括处理器601、存储器602、总线603、以及存储在所述存储器602中并可在所述处理器601上运行的计算机程序，处理器601包括一个或一个以上处理核心，存储器602通过总线603与处理器601相连，存储器602用于存储程序指令，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。

进一步地，作为一个可执行方案，所述电力生产中检测违规穿戴的装置可以是计算机单元，该计算机单元可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机单元可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述计算机单元的组成结构仅仅是计算机单元的示例，并不构成对计算机单元的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件。例如所述计算机单元还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机单元的控制中心，利用各种接口和线路连接整个计算机单元的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机单元的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

实施例四：

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。

所述计算机单元集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。