基于实时计步的电力人员安全状态智能识别方法及介质

技术领域

本发明涉及电力安全领域，特别涉及一种基于实时计步的电力人员安全状态智能识别方法及介质。

背景技术

电力施工历来强调“安全第一、预防为主、综合治理”的方针，随着电力设备的运行，不可避免地存在带电施工或在带电区域附件施工，现有的安全管控方式分为理论培训和现场安全员监督管理或录视频的方式，近年来时有触电事故发生，为了更好的保证人员施工安全，现需要一种基于人员安全状态智能识别终端，通过对人员的自身状态(比如：是否带安全头盔，穿绝缘鞋，着装是否规范等)和人员的动作状态的识别(是否有违规操作，是否离开工作区域等)；实时对人员进行监控预警，保证人员规范，误入带电区域；更可靠的保证人身和财产安全。

实时计步是人体动作状态识别的重要因素，准确测量行人步数对于人员行为识别具有重要意义。当前的行人计步方法大多基于传感器，即通过佩戴在人体上的传感器获取人体运动信息，通过分析该运动信息判断行人运动状态并实现计步。当前行人计步方法主要是基于传感器，例如，使用传感器收集振动数据，分析该数据获取上阈值和下阈值以提高步数检测精度；例如，提出使用摆动补偿以消除用户手臂摆动带来的影响，提高了计步精度；例如，通过分析加速度传感器的数据以判定是否向计测状态转变，提高了精度的同时降低了传感器装置的电量消耗；例如，还有一种基于单轴加速度计的自适应步数检测方法，可有效抵抗振动等干扰，实现行人步数准确计数；又例如，使用低功耗的地磁传感器检测人体行走时上升和下降运动，并进一步实现计数检测。

上述方法存在以下缺点：(1)基于传感器的方法只能通过特定传感器收集身体运动状态信息间接判断人体行走状态，这会造成一定的误差且无法达到非常精准的地步；(2)为了实现检测，人体需要额外佩戴相关传感器，使用起来比较麻烦；(3)使用可穿戴传感器能收集到的信息的非常有限。

目前大多数安全管控是基于安全员和视频录像的形式，这类方法存在以下缺点：(1)依赖于人员的视觉，不能全部覆盖，更不能做到实时监督查看；(2)录视频的方式不能提前预警和防止事故的发生，只能是时候分析等；(3)人员的理论知识和经验要求高，很有可能出现遗漏和监督不到位。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于实时计步的电力人员安全状态智能识别方法，能够使用视觉算法对视频中的行人进行关键点检测以准确计算行人步数，并根据步数判断人员安全状态。

本发明还提出一种实施上述方法的计算机可读存储介质。

根据本发明的第一方面实施例的基于实时计步的电力人员安全状态智能识别方法，包括：S100、获取视频流，基于多目标追踪算法检测并追踪每帧画面中每个人的包围框，为所述人的包围框分配人员ID号；S200、将所述人的包围框内的图像输入基于卷积神经网络的关键点检测算法，得到人体的左右脚踝关键点和左右膝盖关键点，将所述左右脚踝关键点按照所述人员ID号关联所述人的包围框；S300、确定要计算步数的人的包围框并获取对应的左右脚踝关键点数据和左右膝盖关键点数据，通过关键点数据计算步数；所述步数与所述人员ID号一并生成人员状态信息；S400、基于所述人员状态信息和预设的安全规则生成人员安全状态信息。根据本发明的一些实施例，所述左右脚踝关键点和所述左右膝盖关键点以基于当前画面的横纵坐标表示。

根据本发明的一些实施例，所述步骤S100包括：S110、通过OpenCV获取并解析视频流；S120、基于实时目标检测算法得到视频帧中所有包围框，保留人的包围框；S130、基于目标追踪算法对所述保留人的包围框进行追踪，并为每个所述人的包围框分配ID号。

根据本发明的一些实施例，所述实时目标检测算法为Yolov5s算法。

根据本发明的一些实施例，所述目标追踪算法为SORT算法。

根据本发明的一些实施例，所述步骤S200包括：将所述每帧画面进行裁剪得到所述包围框内的图像，并将其缩放到固定尺寸。

根据本发明的一些实施例，所述步骤S200包括：基于top-down算法中的SimpleBaseline算法检测每个所述人的包围框中的人体关键点；所述人体关键点包括左右脚踝关键点以及左右膝盖关键点。

根据本发明的一些实施例，所述步骤S300包括：S310、记录左脚踝关键点纵坐标和右脚踝关键点纵坐标，并设置左脚标志变量和右脚标志变量，将所述左脚标志变量和右脚标志变量置1；S320、比较左脚踝关键点纵坐标和右脚踝关键点纵坐标的大小，若左脚踝关键点纵坐标小于右脚踝关键点纵坐标，则执行步骤S330；若右脚踝关键点纵坐标小于左脚踝关键点纵坐标，则执行步骤S340；S330、若左脚踝关键点纵坐标与右脚踝关键点纵坐标之差的绝对值大于第一阈值，并且左脚标志变量为1，则记录步数加1，并将左脚标志变量置为0，右脚标志变量置为1；执行步骤S350；S340、若右脚踝关键点纵坐标与左脚踝关键点纵坐标之差的绝对值大于第二阈值，并且右脚标志变量为1，则记录步数加1；将右脚标志变量置为0，左脚标志变量置为1；执行步骤S350；S350、更新左脚踝关键点纵坐标和右脚踝关键点纵坐标，返回步骤S320。

根据本发明的一些实施例，所述第一阈值设置为基于右膝盖关键点纵坐标与右脚踝关键点纵坐标之差；所述第二阈值设置为基于左膝盖关键点纵坐标与左脚踝关键点纵坐标之差。

根据本发明的第二方面实施例的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明的第一方面实施例中任一项的方法。

本发明实施例至少具有如下有益效果：本发明实施例基于深度卷积神经网络的人体计步方法，使用视觉算法对视频中的行人进行关键点检测以准确计算对人员状态进行实时识别。与现有技术相比，基于视觉算法的方法可以通过分析视频准确获得人体各部位关键点，并进一步获得准确的状态，有效的进行识别，对违规状态进行提醒预警，提前防止不规范的行为发生。这对人员或施工安全有重要意义。本发明方法只需使用摄像头拍摄相关画面，无需佩戴其他硬件，部署方便，运行速度快，适用于不同场景，因此使用价值很高。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的方法的流程示意图。

图2为本发明实施例的获取并追踪人员视频画面的方法的流程示意图。

图3为本发明实施例的实时计算步数的方法的流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

缩略语和关键术语定义：

1)深度学习(Deep Learning)是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。

2)关键点检测：通过视觉算法得到图片或视频中目标的关键点，对于人体关键点而言主要包括左右肩部、左右肘部、左右手腕、左右脚踝等关节点，每个关键点使用横坐标和纵坐标描述。

3)步幅检测：检测人体步幅大小。

4)Opencv：一种计算机视觉API库，包含多种视觉处理函数。

5)Yolov5：一种实时目标检测算法。

针对现有技术的不足，本发明方法提出一种基于深度神经网络关键点检测的行人计步方法，具体应用于带摄像头的场景中，参照图1，该方法主要包括以下步骤：

S100、获取视频流，基于多目标追踪算法检测并追踪每帧画面中每个人的包围框，为人的包围框分配人员ID号；本实施例使用多目标追踪算法的目的在于当画面中同时有多个人时，多目标追踪算法可以检测出每个人的包围框并长时间准确追踪，以保证后续的关键点检测与计步可以关联到特定的人。

S200、将人的包围框内的图像输入基于卷积神经网络的关键点检测算法，得到人体的左右脚踝关键点和左右膝盖关键点，将左右脚踝关键点按照人员ID号关联人的包围框；对于追踪算法得到的每个包围框，本实施例使用基于卷积神经网络的关键点检测算法得到包围框中人体的左右脚踝关键点和左右膝盖关键点，并按照ID号分配到不同的人。卷积神经网络具有强大的特征提取能力，因此基于卷积神经网路的关键点检测算法具有很高精度。

S300、确定要测量步幅的人的包围框并获取对应的左右脚踝关键点数据和左右膝盖关键点数据，通过关键点数据计算步数。本实施例的基于关键点行人计步方法原理是：实际场景中摄像头拍摄的视角不是固定的，有可能拍摄到行人的侧面或正面，所以需要一种通用的对于侧面和正面都有效的计步方法。观察发现，当拍摄到行人侧面或正面时，比较稳定且有效的判定方式是通过左右脚踝的上下移动距离来判断左右脚是否正在迈步。当左脚迈步时，左脚提高，右脚静止不动；当右脚迈步时，右脚提高，左脚静止不动，因此可以此作为判定条件判断左右脚是否正在迈步。因此，基于左右脚踝关键点数据可以实现判断左右脚迈步并计算步数；

S400、基于人员状态信息和预设的安全规则生成人员安全状态信息。

本实施例中，根据计算的步数生成人员状态信息，然后按照预设的安全规则，判断当前人员的安全状态。例如，基于步数与步幅大小可以得到人员步行距离，假设人员步行距离超过安全距离的范围，人员可能有危险，此时再结合人员的具体位置判断人员是否离开安全区域，如果是，发出警告信息。

在一些实施例中，左右脚踝关键点和左右膝盖关键点以基于当前画面的横纵坐标表示。

参照图2，在一些实施例中，步骤S100包括：

S110、通过OpenCV获取并解析视频流；

S120、基于实时目标检测算法得到视频帧中所有包围框，保留人的包围框；

S130、基于目标追踪算法对保留人的包围框进行追踪，并为每个人的包围框分配ID号。

其中，实时目标检测算法可以是Yolov5s算法；目标追踪算法可以是SORT算法。

在一些实施例中，步骤S200包括：将每帧画面进行裁剪得到包围框内的图像，并将其缩放到固定尺寸。

在一些实施例中，步骤S200包括：基于top-down算法中的Simple Baseline算法检测每个人的包围框中的人体关键点；人体关键点包括左右脚踝关键点以及左右膝盖关键点。

参照图3，在一些实施例中，步骤S300包括：

S310、记录左脚踝关键点纵坐标和右脚踝关键点纵坐标，并设置左脚标志变量和右脚标志变量，将左脚标志变量和右脚标志变量置1；

S320、比较左脚踝关键点纵坐标和右脚踝关键点纵坐标的大小，若左脚踝关键点纵坐标小于右脚踝关键点纵坐标，则执行步骤S330；若右脚踝关键点纵坐标小于左脚踝关键点纵坐标，则执行步骤S340；

S330、若左脚踝关键点纵坐标与右脚踝关键点纵坐标之差的绝对值大于第一阈值，并且左脚标志变量为1，则记录步数加1，并将左脚标志变量置为0，右脚标志变量置为1；执行步骤S350；

S340、若右脚踝关键点纵坐标与左脚踝关键点纵坐标之差的绝对值大于第二阈值，并且右脚标志变量为1，则记录步数加1；将右脚标志变量置为0，左脚标志变量置为1；执行步骤S350；

S350、更新左脚踝关键点纵坐标和右脚踝关键点纵坐标，返回步骤S320。

在一些实施例中，第一阈值设置为基于右膝盖关键点纵坐标与右脚踝关键点纵坐标之差；第二阈值设置为基于左膝盖关键点纵坐标与左脚踝关键点纵坐标之差。

在一实施例中，实现了一种基于卷积神经网络关键点检测的计步系统，用于检测视频中行人的步数，具体应用与带有摄像头的场景中，本实施例包括以下流程：

(1)通过OpenCV获取并解析视频流，使用多目标追踪算法检测并追踪每帧画面中每个人的包围框，为了保证速度与性能，本实施例将yolov5l与SORT多目标追踪算法进行结合，使用yolov5l得到视频帧中所有的包围框，根据预测类别只保留人的包围框并将其送入SORT算法进行追踪，为每个人的包围框分配一个ID号。

(2)对于步骤1中所述检测追踪得到的每个人的包围框，将其缩放到固定尺寸后输入到基于卷积神经网络的关键点检测算法中，得到每个人的左右脚踝关键点和左右膝盖关键点。主流关键点检测算法分为单人的top-down和多人的bottom-up算法，本实施例使用top-down算法中的Simple Baseline算法检测每个包围框中的人体关键点，所述SimpleBaseline使用mobilenetv2作为主干网络，且在COCO2017数据集上进行过训练。对于每个包围框，Simple Baseline算法共检测得到包括左右肩部、左右膝盖、左右脚踝等的17个关键点，保留左右膝盖和左右脚踝关键点，并按照ID号分配到具体的人。所述左右脚踝和左右膝盖的关键点以基于当前画面的横坐标和纵坐标表示。

(3)使用基于关键点的行人计步方法对关键点进行计算并计数，具体步骤包括：

(a)记录当前帧画面中检测得到的左右脚踝关键点和左右膝盖关键点的纵坐标left_ankle_y,right_ankle_y,left_knee_y,right_knee_y，并为左右脚设置两个标志变量left_can_count＝1,right_can_count＝1,标志变量为0时表示当前脚不可以计数，为1时表示当前脚可以计数，初始时左右脚的标志变量都置为1；

(b)如果左脚踝关键点纵坐标小于右脚踝关键点纵坐标即left_ankle_y

(c)如果右脚踝关键点纵坐标小于左脚踝关键点纵坐标即right_ankle_y

(d)阈值的作用在于判定是否达到迈步条件，并消除算法本身检测误差干扰。该阈值需要具有稳定性且随人体在画面中的远近而变化，当左脚迈步时右腿相对静止，因此将T1设为右膝盖关键点到右脚踝关键点距离的十分之一左右，即T1＝0.1*|right_ankle_y-left_ankle_y|/|right_ankle_y-right_knee_y|；当右脚迈步时左腿相对静止，因此将T2设为左膝盖关键点到左脚踝关键点距离的十分之一左右，即T2＝0.1*|left_ankle_y-right_ankle_y|/|left_ankle_y-left_knee_y|；重复上述过程，实现计数。

尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。

上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图和流程图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。

因此，框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。