一种带电作业人员行为识别方法

技术领域

本发明涉及带电作业技术领域，尤其是指一种带电作业人员行为识别方法。

背景技术

带电作业逐渐成为电网检修作业的主要方式，但作业地点通常位于高处，作业环境复杂，为了防止作业人员发生违规操作等事故，目前除了对作业人员加强技术规范培训外，还广泛采用视频监控或使用智能监控设备的方法，但现有方式下可能存在许多问题：人工监控视频往往需要一人同时观看多个监控窗口，无法完整获取每个监控窗口内的全部信息；作业过程长时间处于正常工作状态，此时监控人员易发生疲劳或分心；智能监控设备基于目标检测的原理，实现的功能往往是人脸识别、危险区域误入或安全帽佩戴状态检测等，并不能识别作业人员的具体动作。

在现有技术CN112183317A中，公开了一种基于时空图卷积神经网络的带电作业现场违章行为检测方法，包括：采集带电作业监控视频；总结带电作业过程中常见的违章行为，并提取对应的视频片段，对违章行为片段中的作业人员进行标记；采用时空图卷积神经网络进行训练学习；使用训练好的模型对带电作业现场的监控视频自动进行违章行为检测，作业人员存在违章行为时报警；该方法通过人员姿态识别等深度视觉技术，提取带电作业人员的行为信息，当作业人员出现违章操作时，及时发出警告，可以大大减少电力安全监管的工作量，保障电力作业的安全，但不足之处在于，该带电作业人员行为识别方法没有将行为识别算法进行融合，降低了识别带电作业行为的种类和识别速度。

发明内容

本发明的目的是克服现有技术中，带电作业人员行为识别方法没有将行为识别算法进行融合，降低了识别带电作业行为的种类和识别速度的缺点，提供一种带电作业人员行为识别方法，标定带电作业监控视频的目标检测区域，使用图卷积网络模型和目标检测模型对目标检测区域进行融合，当目标检测区域中的带电作业行为违反规定的带电作业操作程序时，发出警告提示，能够快速有效地监测和识别带电作业的行为，提升带电作业的安全性。

本发明的目的是通过下述技术方案予以实现：

一种带电作业人员行为识别方法，包括以下步骤：

S1、标定带电作业监控视频中的目标检测区域；

S2、通过图卷积网络模型对目标检测区域进行处理，识别出带电作业人员的带电作业行为信息；

S3、通过目标检测模型对目标检测区域进行处理，识别出带电作业工器具的状态信息；

S4、对带电作业行为信息和状态信息进行融合，当目标检测区域中的带电作业行为信息违反规定的带电作业操作程序时，发出警告提示。

在本方案中，通过标定目标检测区域，减少处理的数据量，提高处理效率，同时聚焦于关注的区域，降低误报率，提高目标检测的准确性和效率；通过图卷积网络模型对目标检测区域进行处理，可以提取出带电作业人员的行为信息，例如操作姿势、工作流程等，有助于判断带电作业人员是否按照规定的带电作业操作程序进行操作，从而提高带电作业的安全性和规范性；通过目标检测模型对目标检测区域进行处理，可以检测和识别带电作业工器具的状态信息，例如是否损坏、是否正常工作等，有助于发现潜在的安全问题，及时修复或更换不合格的工器具，确保带电作业的可靠性和稳定性；将带电作业行为信息和状态信息进行融合，可以实现对带电作业的综合监测和评估，当检测到目标检测区域中的带电作业行为信息违反规定的带电作业操作程序时，系统可以发出警告提示，提醒操作人员及时调整行为，避免潜在的安全风险，从而能够快速有效地监测和识别带电作业的行为，提升带电作业的安全性。

进一步地，所述S1具体包括以下步骤：

S11、在带电作业监控视频中确定目标检测区的曲线轮廓；

S12、对曲线轮廓进行标定，得到目标检测区域。

在本方案中，带电作业监控视频中，通过确定目标检测区的曲线轮廓，可以准确地界定需要进行目标检测的区域，有助于缩小目标检测的范围，提高目标检测的准确性和效率；将确定的曲线轮廓进行标定，可以得到准确的目标检测区域，标定后的目标检测区域可以用于后续的目标检测和分析，例如识别带电作业人员的行为信息和工器具的状态信息等，有助于更精确地进行带电作业监测和安全评估，通过确定目标检测区的曲线轮廓并进行标定，可以提高目标检测的准确性和效率，同时获得准确的目标检测区域，为后续的带电作业监测和分析提供准确的输入数据，有助于提升带电作业的安全性和效率。

进一步地，所述S2具体包括以下步骤：

S21、通过人体姿态估计算法获取目标检测区域中带电作业人员的人体关节点数据，所述人体关节点数据包括带电作业人员当前动作的肢体语义，人体关节点数据的表示形式包括关节点的坐标和置信度；

S22、所述图卷积网络模型为ST-GCN模型，使用ST-GCN模型对骨架信息进行处理，识别出带电作业人员的带电作业行为信息。

在本方案中，通过人体姿态估计算法获取目标检测区域中带电作业人员的人体关节点数据，可以实现对带电作业人员当前动作的准确捕捉和分析，对于监控和安全管理非常重要，可以帮助判断带电作业人员的状态、行为和意图；人体关节点数据包括带电作业人员当前动作的肢体语义，这些语义信息可以用于对带电作业人员的行为进行分析和理解；通过分析带电作业人员的动作，可以判断其是否符合安全规范，是否存在潜在的危险行为，并及时采取措施进行干预和预防；ST-GCN模型一种是用于动作识别的深度学习模型，旨在对视频中的电作业人员动作进行建模和分类，使用ST-GCN模型对骨架信息进行处理，可以识别出带电作业人员的带电作业行为信息，有助于监测和评估带电作业人员的工作质量和效率，以及发现和纠正可能存在的操作错误或不安全行为。通过人体姿态估计和骨架信息处理，可以实现对带电作业人员动作、行为的准确捕捉和分析，提高带电作业安全管理的效果，减少潜在的事故风险。

进一步地，所述S22中，所述使用ST-GCN模型对骨架信息进行处理之前，还对ST-GCN模型进行训练，训练过程具体包括以下步骤：

获取带电作业视频数据样本；

通过人体姿态估计算法获取带电作业视频数据样本中带电作业人员的人体关节点样本数据，所述人体关节点样本数据包括带电作业人员当前动作的肢体语义，人体关节点样本数据的表示形式包括关节点的坐标和置信度；

对人体关节点样本数据进行归一化处理；

将经过归一化处理的人体关节点样本数据输入ST-GCN模型中进行训练处理，所述训练处理包括交替使用图卷积网络和时域卷积网络，从时间维度和空间维度提取带电作业行为特征；对带电作业行为特征进行分类，并输出带电作业行为类型。

在本方案中，通过获取带电作业视频数据样本，可以建立一个丰富多样的数据集，其中，包含了各种带电作业场景和不同人员的行为，有助于提高训练模型的泛化能力和适应性；通过人体姿态估计算法，可以从视频数据中提取出带电作业人员的人体关节点样本数据，这些数据包含了肢体语义和置信度信息，能够准确描述动作并量化分析，为后续的行为分类提供重要的输入；对人体关节点样本数据进行归一化处理，可以消除不同样本之间的尺度差异，使得数据在相同的标准范围内，有助于提高训练模型的稳定性和收敛速度；将归一化处理后的人体关节点样本数据输入ST-GCN模型进行训练处理，ST-GCN模型具有图卷积网络和时域卷积网络的结构，在时间和空间维度上提取特征，能够更好地捕捉带电作业行为的时序性和空间关联性；经过ST-GCN模型的训练处理，可以将提取到的带电作业行为特征用于行为分类任务，识别和区分不同类型的带电作业行为，有助于实现对带电作业人员的行为监测和评估，并及时发现潜在的操作错误或不安全行为；构建一个有效的带电作业行为识别系统，提供实时监测和预警，增强对带电作业的安全管理和风险控制能力。

进一步地，所述获取带电作业视频数据样本，具体包括以下步骤：

拍摄带电作业视频片段；

对拍摄的带电作业视频片段进行处理，得到带电作业视频样本，处理内容包括按照作业项目对带电作业视频片段进行分类、统一带电作业视频片段的窗口、统一带电作业视频片段的分辨率、设定带电作业视频片段的时长和对设定时长的带电作业视频片段进行水平翻转。

在本方案中，通过对拍摄的带电作业视频片段进行处理，可以将其标准化，使得所有的带电作业视频样本具有统一的窗口、分辨率和时长，有助于提高视频样本的质量和可比性；按照作业项目对带电作业视频片段进行分类处理，有助于组织和管理这些样本，通过分类，可以更方便地检索、筛选和使用所需的样本，提高工作效率；通过统一带电作业视频片段的窗口、分辨率和时长，可以确保样本在视觉上具有一致性，有助于提高样本的观赏性和可用性，同时也符合用户对于视觉呈现的一致要求；对设定时长的带电作业视频片段进行水平翻转处理，可以增加样本的多样性和覆盖度，有助于训练模型对不同方向的带电作业场景有更好的识别和处理能力；从而通过以上处理过程可以提高带电作业视频样本的质量和可用性，便于管理和使用，并增加样本的多样性，从而提升工作效率。

进一步地，所述目标检测模型为YOLO模型，所述S3包括使用YOLO模型对目标检测区域进行处理，识别出带电作业工器具的状态信息。

在本方案中，YOLO模型是目标检测模型中的一种方式，YOLO模型能够在图像中快速而准确地检测出多个目标物体，并给出它们的位置信息，通过对带电作业视频进行目标检测，可以准确识别出带电作业工器具的位置，提供对行为环境的感知和理解；通过YOLO模型的输出，可以获取带电作业工器具的状态信息，例如工器具的类型、朝向、姿态等，有助于对带电作业行为进行进一步的分析和判断，判断工器具是否正确使用、是否存在异常或危险情况；通过识别带电作业工器具的状态信息，可以进行安全性评估并提供预警功能，例如，如果工器具的姿态异常或与安全操作规范不符，系统可以及时发出警报，提醒带电作业人员注意操作风险，从而避免潜在的安全事故；利用YOLO模型对带电作业工器具的状态信息进行识别和记录，可以生成大量的数据样本用于后续分析，这些数据样本可以用于行为统计、异常检测、操作规范遵循程度评估等方面，为安全管理和风险控制提供依据；总之，使用YOLO模型对目标检测区域进行处理，识别出带电作业工器具的状态信息，可以提供对作业环境的实时感知、安全性评估和预警功能，同时也为后续的数据分析和决策提供了基础。这有助于提高带电作业的安全性和效率，并对作业过程进行全面的监控和管理。

进一步地，所述使用YOLO模型对目标检测区域进行处理之前，还对YOLO模型进行训练，训练过程具体包括以下步骤：

获取带电作业工器具图片样本；

对带电作业工器具图片样本进行标注；

使用标注后的带电作业工器具图片样本对YOLO模型进行训练，储存带电作业工器具图片样本的状态特征信息，所述状态特征信息包括带电作业工器具的位置、种类标签和置信度。

在本方案中，通过获取带电作业工器具图片样本并进行标注，可以确保训练数据的准确性和可靠性，准确的标注可以提供精确的目标位置、种类标签和置信度信息，使得训练模型能够更好地学习和理解带电作业工器具的特征；通过使用标注后的带电作业工器具图片样本训练YOLO模型，可以提高目标识别的准确性，模型通过学习样本数据中的状态特征信息，如位置、种类标签和置信度，能够更好地识别和定位带电作业工器具，提高目标检测的准确性和可靠性；通过多样性的带电作业工器具图片样本训练模型，可以提升模型的泛化能力，泛化能力是指模型在面对新数据时的适应能力，通过使用多样的训练样本，包括不同类型、姿态和环境的带电作业工器具，可以帮助模型更好地适应不同的实际情况，提高模型的泛化能力；将训练得到的状态特征信息，例如将位置、种类标签和置信度储存下来，有助于后续的模型评估、调优和应用，这些信息可以用于验证模型在训练集上的表现，并进行模型的性能评估和优化，同时也为应用阶段提供了有关带电作业工器具状态的重要信息，为后续的目标检测和状态识别任务提供基础和支持。

进一步地，所述获取带电作业工器具图片样本，具体包括以下步骤：

拍摄带电作业工器具图片；

对拍摄的带电作业工器具图片进行处理，得到带电作业工器具图片样本，处理内容包括统一带电作业工器具图片的窗口、调整带电作业工器具图片的亮度、增强带电作业工器具图片的对比度和调整带电作业工器具图片的方向。

在本方案中，通过统一处理带电作业工器具图片的窗口、亮度、对比度和方向，可以使得训练样本具有一致性，这种一致性可以减少数据间的差异性，使得模型更容易学习到带电作业工器具的共同特征，从而提高目标检测和识别的准确性；对带电作业工器具图片进行调整和增强可以提升图像质量；通过调整亮度和对比度，可以使得带电作业工器具在图片中更为清晰可见，有助于模型更准确地检测和识别目标，此外，对图像方向的调整可以使得带电作业工器具在图片中的方位更加统一，提高模型在不同角度的识别能力；带电作业工器具图片的处理过程中，可以引入一定程度的数据增强，例如，在调整亮度和对比度时可以通过增加噪声或应用滤波器来增加样本的多样性，从而提高模型的泛化能力，同时，对图像方向的调整也可以增加数据的多样性，使得模型更好地适应不同角度和姿态的带电作业工器具；通过统一处理带电作业工器具图片的窗口、亮度、对比度和方向，可以使得训练样本更加规范化，有助于减少样本间的差异性，并保证模型在实际应用中能够适应各种典型情况，提高模型的鲁棒性。

进一步地，所述S4具体包括以下步骤：

S41、使用人体姿态估计算法和ST-GCN模型对目标检测区域进行初步动作分类，检测带电作业人员是否有拿取带电作业工器具的动作，若有拿取带电作业工器具的动作，则进行S42，若没有拿取带电作业工器具的动作，则重新获取目标检测区域中带电作业人员的关节点数据或重新标定目标检测区域；

S42、基于HSV特征和YOLO模型，检测带电作业工器具是否移动，若移动，则执行S43，若没有移动，则重新在目标检测区域中检测带电作业工器具；

S43、再次使用人体姿态估计算法和ST-GCN模型对目标检测区域进行第二次动作分类，检测带电作业人员是否有移动带电作业工器具的动作，若有移动带电作业工器具的动作，则表示带电作业人员正确执行带电作业操作程序，若没有移动带电作业工器具的动作，则表示带电作业人员违反带电作业操作程序，发出警告提示。

在本方案中，通过人体姿态估计算法和ST-GCN模型对目标检测区域进行初步动作分类，可以检测带电作业人员是否有拿取带电作业工器具的动作，有助于快速确定带电作业人员是否按照规定程序进行作业，减少了错误操作的可能性；HSV特征是一种用于图像处理和计算机视觉任务的颜色特征，HSV代表色调、饱和度和亮度，它提供了一种直观的颜色描述方式，相对于RGB颜色空间更适合进行颜色相关的处理和分析，通过提取图像中的HSV特征，可以从颜色角度更好地理解和处理图像，进而在HSV特征的基础上再结合YOLO模型，对带电作业工器具进行移动检测，能够及时发现工器具的移动情况，确保带电作业人员在操作过程中不会将工器具掉落或误用；再次使用人体姿态估计算法和ST-GCN模型对目标检测区域进行第二次动作分类，检测带电作业人员是否有移动带电作业工器具的动作，有助于进一步验证带电作业人员的操作行为是否符合操作程序，提高了对操作错误的检测和准确度；如果带电作业人员违反带电作业操作程序，例如没有拿取工器具或未移动工器具等，发出警告提示，能够及时纠正错误操作，确保工作安全，有效防止事故的发生。

本发明的有益效果是：通过标定目标检测区域，减少处理的数据量，提高处理效率，同时聚焦于关注的区域，降低误报率，提高目标检测的准确性和效率；通过图卷积网络模型对目标检测区域进行处理，可以提取出带电作业人员的行为信息，例如操作姿势、工作流程等，有助于判断带电作业人员是否按照规定的带电作业操作程序进行操作，从而提高带电作业的安全性和规范性；通过目标检测模型对目标检测区域进行处理，可以检测和识别带电作业工器具的状态信息，例如是否损坏、是否正常工作等，有助于发现潜在的安全问题，及时修复或更换不合格的工器具，确保带电作业的可靠性和稳定性；将带电作业行为信息和状态信息进行融合，可以实现对带电作业的综合监测和评估，当检测到目标检测区域中的带电作业行为信息违反规定的带电作业操作程序时，系统可以发出警告提示，提醒操作人员及时调整行为，避免潜在的安全风险，从而能够快速有效地监测和识别带电作业的行为，提升带电作业的安全性。通过人体姿态估计算法和ST-GCN模型对目标检测区域进行初步动作分类，可以检测带电作业人员是否有拿取带电作业工器具的动作，有助于快速确定带电作业人员是否按照规定程序进行作业，减少了错误操作的可能性；HSV特征是一种用于图像处理和计算机视觉任务的颜色特征，HSV代表色调、饱和度和亮度，它提供了一种直观的颜色描述方式，相对于RGB颜色空间更适合进行颜色相关的处理和分析，通过提取图像中的HSV特征，可以从颜色角度更好地理解和处理图像，进而在HSV特征的基础上再结合YOLO模型，对带电作业工器具进行移动检测，能够及时发现工器具的移动情况，确保带电作业人员在操作过程中不会将工器具掉落或误用；再次使用人体姿态估计算法和ST-GCN模型对目标检测区域进行第二次动作分类，检测带电作业人员是否有移动带电作业工器具的动作，有助于进一步验证带电作业人员的操作行为是否符合操作程序，提高了对操作错误的检测和准确度；如果带电作业人员违反带电作业操作程序，例如没有拿取工器具或未移动工器具等，发出警告提示，能够及时纠正错误操作，确保工作安全，有效防止事故的发生。

附图说明

图1是本发明实施例的一种带电作业人员行为识别方法的流程示意图；

图2是本发明实施例的总体流程框图；

图3是本发明实施例的带电作业行为数据样本；

图4是本发明实施例的融合决策流程图。

具体实施方式

下面结合附图和实施例对本发明进一步描述。

实施例：一种带电作业人员行为识别方法，如图1所示，包括以下步骤：

S1、标定带电作业监控视频中的目标检测区域；

S2、通过图卷积网络模型对目标检测区域进行处理，识别出带电作业人员的带电作业行为信息；

S3、通过目标检测模型对目标检测区域进行处理，识别出带电作业工器具的状态信息；

S4、对带电作业行为信息和状态信息进行融合，当目标检测区域中的带电作业行为信息违反规定的带电作业操作程序时，发出警告提示。

本申请的总体流程框图如图2所示，综合考虑精度与带电作业场景下实时性的需求，首先拍摄10kv带电作业时带电作业时人员行为视频构成带电作业视频样本，带电作业人员所使用的带电作业工器具图片构成带电作业工器具图片样本，使用两个数据集分别对YOLOv5s模型和ST-GCN模型进行离线训练学习。使用监控设备进行监督作业时，当输入一帧新的监控视频画面后，YOLOv5s模型用于对带电作业工器具进行目标检测，同时利用人体姿态估计算法，例如使用OpenPose进行检测、提取人体关节点数据后送入ST-GCN模型中对人体肢体动作进行识别，再融合决策两个模型的识别结果，最终得到行为识别的结果，根据识别的结果决定是否发出警告。

具体地，S1具体包括以下步骤：

S11、在带电作业监控视频中确定目标检测区的曲线轮廓；

S12、对曲线轮廓进行标定，得到目标检测区域。

进一步地，标定目标检测区域的方法可以采用以下步骤：在作业现场布置好视频监控摄像头，在监控视频画面中确定需要检测区域的顶点，再进行可视化连线，构建出目标检测区域；选定目标检测区域的顶点可以使用顶点横/纵像素坐标与图片总像素横/纵总长的比例关系的方式，若需要标定的目标检测区域为四边形，则需要计算左上、左下、右上、右下四个顶点在画面内分别距离画面边界的比例，再将四个顶点可视化连接，合围所形成的范围即标定的目标检测区域，其他形状的检测区域标定方法同理。

具体地，S2具体包括以下步骤：

S21、通过人体姿态估计算法获取目标检测区域中带电作业人员的人体关节点数据，人体关节点数据包括带电作业人员当前动作的肢体语义，人体关节点数据的表示形式包括关节点的坐标和置信度；

S22、图卷积网络模型为ST-GCN模型，使用ST-GCN模型对骨架信息进行处理，识别出带电作业人员的带电作业行为信息。

具体地，S22中，使用ST-GCN模型对骨架信息进行处理之前，还对ST-GCN模型进行训练，训练过程具体包括以下步骤：

获取带电作业视频数据样本；

通过人体姿态估计算法获取带电作业视频数据样本中带电作业人员的人体关节点样本数据，人体关节点样本数据包括带电作业人员当前动作的肢体语义，人体关节点样本数据的表示形式包括关节点的坐标和置信度；

对人体关节点样本数据进行归一化处理；

将经过归一化处理的人体关节点样本数据输入ST-GCN模型中进行训练处理，训练处理包括交替使用图卷积网络和时域卷积网络，从时间维度和空间维度提取带电作业行为特征；

对带电作业行为特征进行分类，并输出带电作业行为类型。

需要说明的是，通过人体姿态估计算法获取带电作业视频数据样本中带电作业人员的人体关节点样本数据，每个人体关节点样本数据包括带电作业人员当前动作的肢体语义，通过人体姿态估计算法，例如使用OpenPose输出人体关节点样本数据的坐标和置信度，即(x,y,confidence)；将一个批次的电作业视频数据样本内所包含的肢体信息用一个5维矩阵表示：(N，C，T，V，M)；其中N代表视频的数量，C代表人体关节点样本数据坐标的特征，T代表关键帧的数量，V代表人体关节的数量，M代表一帧中的人数；使用池化层、全连接层对带电作业行为特征进行动作分类并输出。

具体地，获取带电作业视频数据样本，具体包括以下步骤：

拍摄带电作业视频片段；

对拍摄的带电作业视频片段进行处理，得到带电作业视频样本，处理内容包括按照作业项目对带电作业视频片段进行分类、统一带电作业视频片段的窗口、统一带电作业视频片段的分辨率、设定带电作业视频片段的时长和对设定时长的带电作业视频片段进行水平翻转。

需要说明的是，本申请的带电作业行为数据样本图如图3所示，选择适当的视频处理软件，如Adobe Premiere、Final Cut Pro等，导入拍摄的带电作业视频片段到视频处理软件中，按照作业项目对带电作业视频片段进行分类，可使用软件中的标签或文件夹进行组织，统一带电作业视频片段的窗口，可以调整视频的画面尺寸，使其符合统一的窗口标准。统一带电作业视频片段的分辨率，可通过调整视频的像素数来实现。设定带电作业视频片段的时长，可以根据需要剪辑视频长度或添加空白画面来调整时长，例如将拍摄的带电作业视频片段全部剪辑为6秒。对设定时长的带电作业视频片段进行水平翻转，可以使用软件中的镜像反转功能，使视频画面水平翻转，变换得到新的视频样本，从而使得变换前和变换后的视频样本共同组成带电作业视频样本。

进一步地，得到人体关节点数据后，将其输入到经过训练的ST-GCN模型中进行进一步的检测和识别；ST-GCN模型是一种专门用于时空数据分析的深度学习模型，其能够对时序性的数据进行建模和分析。ST-GCN模型会利用人体关节点数据来推断带电作业人员的肢体动作信息，例如举手、蹲下、伸展等。当一段包含人体带电作业动作的新视频输入时，ST-GCN模型的输出是基于人体关节点数据得到的人体动作标签名。

具体地，目标检测模型为YOLO模型，S3包括使用YOLO模型对目标检测区域进行处理，识别出带电作业工器具的状态信息。

具体地，使用YOLO模型对目标检测区域进行处理之前，还对YOLO模型进行训练，训练过程具体包括以下步骤：

获取带电作业工器具图片样本；

对带电作业工器具图片样本进行标注；

使用标注后的带电作业工器具图片样本对YOLO模型进行训练，储存带电作业工器具图片样本的状态特征信息，状态特征信息包括带电作业工器具的位置、种类标签和置信度。

具体地，获取带电作业工器具图片样本，具体包括以下步骤：

拍摄带电作业工器具图片；

对拍摄的带电作业工器具图片进行处理，得到带电作业工器具图片样本，处理内容包括统一带电作业工器具图片的窗口、调整带电作业工器具图片的亮度、增强带电作业工器具图片的对比度和调整带电作业工器具图片的方向。

进一步地，使用YOLOv5s模型作为目标检测算法，使用labelImg标注工具手动标注带电作业工器具图片样本。例如，可以使用以下方式进行标注；手动标注：通过人工观察每张图片，用矩形框标注出带电作业工器具的位置，并提供种类标签。半自动标注：使用计算机视觉算法进行辅助标注，例如使用图像分割、目标检测等技术自动生成一部分标注结果，然后由人工进行修正和细化。

需要说明的是，本申请的带电作业行为数据样本图如图3所示，将拍摄的带电作业工器具图片进行亮度和对比度增强、水平翻转和随机方向旋转变换以扩充图片样本数量，变换前、后的图片共同组成带电作业工器具图片样本。

将带电作业时使用的多种带电作业工器具，例如10kV伸缩式验电器等逐一标记好标签类别，每种带电作业工器具的样本数量可适当多取(不低于400张)，否则识别准确率不够理想。标记好各种带电作业工器具类别后送入YOLOv5s模型进行训练。训练步骤可以参照如下步骤：将标注后的带电作业工器具数据样本转换为模型所需的格式，通常是将图片和对应的标签信息保存成特定格式的数据集文件；选择YOLOv5s模型结构，并进行相应的配置，例如设定输入图像大小、类别数等；使用预训练的权重文件或随机初始化模型参数，构建初始的YOLOv5s模型；使用标注的带电作业工器具数据样本作为训练集，通过优化算法，例如使用梯度下降对模型进行训练，不断调整模型参数以提高检测精度；使用验证集或交叉验证方法评估训练得到的YOLOv5s模型的性能，根据评估结果进行调整和优化。

当一帧新的图片输入时，YOLOv5s模型能够标记出画面内的工器具位置、种类标签名和置信度。具体包括以下步骤：对待检测的图像进行预处理，如尺寸缩放、颜色空间转换等操作，以符合模型的输入要求；使用训练后的YOLOv5s模型，输入待检测的图像，YOLOv5s模型会输出目标的位置和类别信息；根据YOLOv5s模型输出的目标位置和类别信息，可以根据需求进行进一步的处理。例如，可以计算置信度来判断识别结果的可信程度，可以进行非极大值抑制来消除重叠的多个检测框，并决定最终的检测结果；根据检测到的带电作业工器具的位置、种类标签和置信度等信息，提取出所需的状态信息，如工器具的位置坐标、种类标签和置信度评分等。

具体地，S4具体包括以下步骤：

S41、使用人体姿态估计算法和ST-GCN模型对目标检测区域进行初步动作分类，检测带电作业人员是否有拿取带电作业工器具的动作，若有拿取带电作业工器具的动作，则进行S42，若没有拿取带电作业工器具的动作，则重新获取目标检测区域中带电作业人员的关节点数据或重新标定目标检测区域；

S42、基于HSV特征和YOLO模型，检测带电作业工器具是否移动，若移动，则执行S43，若没有移动，则重新在目标检测区域中检测带电作业工器具；

S43、再次使用人体姿态估计算法和ST-GCN模型对目标检测区域进行第二次动作分类，检测带电作业人员是否有移动带电作业工器具的动作，若有移动带电作业工器具的动作，则表示带电作业人员正确执行带电作业操作程序，若没有移动带电作业工器具的动作，则表示带电作业人员违反带电作业操作程序，发出警告提示。

进一步地，本申请的融合决策流程图如图4所示，以10kV线路验电操作为例，首先使用人体姿态估计算法OpenPose与ST-GCN模型进行初步动作分类，检测有无拿取验电器的动作，进而利用目标检测和HSV特征的方法检测验电器是否被作业人员拿起，最后再次调用人体姿态估计算法OpenPose和ST-GCN模型检测人员使用验电器的动作。结合三次逻辑判断加以决策，表示人员完成验电操作。若判断为未进行完整的验电操作，则及时发出警告提示。

需要说明的是，首先，使用OpenPose算法对图像或视频中的人体进行关键点检测，获取每个人体关键点的位置信息。然后，将这些位置信息输入到ST-GCN模型中进行动作分类，判断是否存在拿取验电器的动作。目标检测和HSV特征的方法检测验电器是否被作业人员拿起：利用目标检测算法检测图像或视频中是否存在验电器，并确定其位置。接着，根据验电器的位置信息和颜色特征，使用HSV特征的方法验证验电器是否被作业人员拿起。再次调用人体姿态估计算法OpenPose和ST-GCN模型检测人员使用验电器的动作：利用人体姿态估计算法OpenPose获取作业人员的关键点位置信息，然后将这些位置信息输入到ST-GCN模型中进行动作分类，判断人员是否在使用验电器。根据以上三个步骤的结果，结合逻辑判断来确定人员是否完成了完整的验电操作。例如，如果第一次判断为存在拿取验电器的动作，第二次判断为验电器被拿起，第三次判断为人员在使用验电器的动作，则认为人员完成了验电操作。如果判断结果为未进行完整的验电操作，及时发出警告提示，可以通过声音、文字、图像等方式提醒作业人员继续操作或采取相应的安全措施。

需要注意的是，具体实现时需要选择合适的算法模型，并对其进行训练和调优，以适应实际场景的需求。同时，还需要进行数据采集和标注，以获取用于训练和测试的数据集。

以上的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。