基于机器视觉的电力工器具出入库管理方法、系统及介质

技术领域

本发明涉及电力安全及出入库管理领域，具体涉及基于机器视觉的电力工器具出入库管理方法及系统。

背景技术

当前，电力安全工器具出入库管理多采用人脸或指纹进行工作人员身份识别，通过RFID射频芯片实现对电力工器具的登记，通过多种识别技术相结合实现电力工器具的入库管理。这种方式，需要工人的主动参与，由于射频芯片的失效或工人的疏忽，通常造成电力工器具的漏登或误记，电力工器具出入库的智能化管理不足，出入库管理效率低。

有鉴于此，特提出本申请。

发明内容

本发明目的在于提供基于机器视觉的电力工器具出入库管理方法、系统及介质，本发明为提高工器具的智能化管理水平，减少管理成本和提高电力工器具的出入库管理效率，本发明采用机器视觉技术，仅通过视频识别技术实现工作人员的出入库判断与身份识别，对电力工器具的型号与出入库情况进行识别，并采用智能算法通过轨迹分析，实现对工作人员领用电力工器具的情况进行智能识别，并在工器具管理系统中工器具出入库的登记，提高提高工器具的智能无人化管理水平和出入库管理效率。

本发明通过下述技术方案实现：

第一方面，本发明提供了基于机器视觉的电力工器具出入库管理方法，该方法包括：

获取电力工器具的出入库视频图像；

将电力工器具的出入库视频图像输入基于LightTrack目标跟踪与识别网络，对电力工器具的出入库视频图像中的每一帧图像进行多目标识别，输出目标标注的单帧序列图像和目标轨迹图，并存入数据库中；

根据目标标注的单帧序列图像，采用关键块稀疏表示人脸识别法进行人脸身份识别，并进行电力工器具颜色与尺寸识别；

根据目标轨迹图，进行目标人员与电力工器具出入库判断及电力工器具与领用人员是否一致识别；并将电力工器具领用信息在电力工器具管理系统中进行登记。

进一步地，对电力工器具的出入库视频图像中的每一帧图像进行多目标识别，其中，多目标的对象包括人员目标和电力工器具目标，电力工器具目标包括安全帽、绝缘鞋、绝缘手套、安全带、绝缘棒、验电棒、接地线等。

进一步地，关键块稀疏表示人脸识别法进行人脸身份识别的步骤为：

对数据库中的单样本面部与人脸特征模板进行匹配，确定四个人脸关键区域：左眼、右眼、鼻子、嘴巴区域；

对以上四个区域分别采用稀疏表示：

确定数据库中第i个工作人员人脸关键区域的稀疏特征向量α

通过摄像头采集人脸数据库，采用SDM算法(Supervised Descent Method)对人脸进行检测与特征点的定位；

通过特征模板进行匹配，提取四个人脸关键区域；通过建立的稀疏字典A

令

进一步地，稀疏字典是采用正交匹配追踪的方式求解(OMP)建立稀疏字典A

进一步地，进行电力工器具颜色与尺寸识别，包括：

将目标区域采用RGB颜色模型表示，并求取目标区域RGB的平均值；根据目标区域RGB的平均值s

通过深度相机获取目标的深度信息H，电力工器具在图像中的长度为l，通过深度相机的焦距f计算电力工器具的实际长度L；计算公式为：L＝lH/f。

进一步地，根据目标轨迹图，进行目标人员与电力工器具出入库判断，包括：

满足下式则判定入库，入库判定公式为：

满足下式则判断出库，出库判定公式为：

式中，(x

不满足入库判定公式与出库判定公式则为其它情况。

进一步地，电力工器具与领用人员是否一致识别，包括：

通过工作人员的运动轨迹，确定工作人员的出入库视频帧；

在同一视频帧中，基于LightTrack目标跟踪与识别网络生成工作人员、电力工器具的识别框，采用工作人员与工器具的识别框判断电力工器具是否为某工作人员领用。

进一步地，电力工器具领用信息包括领用(入库)工作人员、领用时间、工器具型号等。

第二方面，本发明又提供了基于机器视觉的电力工器具出入库管理系统，该系统使用上述的基于机器视觉的电力工器具出入库管理方法；该系统包括：

获取单元，用于获取电力工器具的出入库视频图像；

多目标识别单元，用于将电力工器具的出入库视频图像输入基于LightTrack目标跟踪与识别网络，对电力工器具的出入库视频图像中的每一帧图像进行多目标识别，输出目标标注的单帧序列图像和目标轨迹图，并存入数据库中；

人脸身份识别单元，用于根据目标标注的单帧序列图像，采用关键块稀疏表示人脸识别法进行人脸身份识别；

电力工器具识别单元，用于根据目标标注的单帧序列图像，进行电力工器具颜色与尺寸识别；

出入库判断单元，用于根据目标轨迹图，进行目标人员与电力工器具出入库判断及电力工器具与领用人员是否一致识别；

领用信息登记单元，用于将电力工器具领用信息在电力工器具管理系统中进行登记。

第三方面，本发明又提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的基于机器视觉的电力工器具出入库管理方法。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明基于机器视觉的电力工器具出入库管理方法、系统及介质，为提高工器具的智能化管理水平，减少管理成本和提高电力工器具的出入库管理效率，本发明采用机器视觉技术，仅通过视频识别技术实现工作人员的出入库判断与身份识别，对电力工器具的型号与出入库情况进行识别，并采用智能算法通过轨迹分析，实现对工作人员领用电力工器具的情况进行智能识别，并在工器具管理系统中工器具出入库的登记，提高提高工器具的智能无人化管理水平和出入库管理效率。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明基于机器视觉的电力工器具出入库管理方法流程图；

图2为本发明基于机器视觉的电力工器具出入库管理方法详细流程图；

图3为本发明LightTrack目标输出单帧目标识别结果图；

图4为本发明LightTrack目标运动轨迹图；

图5为本发明人脸身份识别过程中的图例；

图6为本发明基于机器视觉的电力工器具出入库管理系统结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

当前，电力安全工器具出入库管理多采用人脸或指纹进行工作人员身份识别，通过RFID射频芯片实现对电力工器具的登记，通过多种识别技术相结合实现电力工器具的入库管理。这种方式，需要工人的主动参与，由于射频芯片的失效或工人的疏忽，通常造成电力工器具的漏登或误记，电力工器具出入库的智能化管理不足，出入库管理效率低。

因此，本发明设计了基于机器视觉的电力工器具出入库管理方法、系统及介质，本发明为提高工器具的智能化管理水平，减少管理成本和提高电力工器具的出入库管理效率，本发明采用机器视觉技术，仅通过视频识别技术实现工作人员的出入库判断与身份识别，对电力工器具的型号与出入库情况进行识别，并采用智能算法通过轨迹分析，实现对工作人员领用电力工器具的情况进行智能识别，并在工器具管理系统中工器具出入库的登记，提高提高工器具的智能无人化管理水平和出入库管理效率。

实施例1

如图1和图2所示，本发明基于机器视觉的电力工器具出入库管理方法，该方法包括：

步骤1，获取电力工器具的出入库视频图像；

步骤2，将电力工器具的出入库视频图像输入基于LightTrack目标跟踪与识别网络，对电力工器具的出入库视频图像中的每一帧图像进行多目标识别，输出目标标注的单帧序列图像和目标轨迹图，并存入数据库中；

基于LightTrack目标跟踪与识别网络是现有技术，具体地，LightTrack使用神经架构搜索(NAS)，在计算量和参数都较少的情况下，实现轻量级和高效的目标追踪器，便于部署在资源受限的移动芯片上，实现快速运行。

基于LightTrack目标跟踪与识别网络识别的多目标对象包括人员目标和电力工器具目标，电力工器具目标包括安全帽、绝缘鞋、绝缘手套、安全带、绝缘棒、验电棒、接地线等。

基于LightTrack目标跟踪与识别网络输入为电力工器具的出入库视频图像，对每一帧图像进行多目标识别，从而实现对运动目标的运动轨迹跟踪。

根据后续的分析需要，基于LightTrack目标跟踪与识别网络输出为两部分，一部分为对目标进行识别标注的单帧序列，进行人脸ID身份与工器具型号识别，图3为LightTrack目标输出单帧目标识别结果；另外一部分输出为目标运动轨迹图，进行器具出入库的判断，图4为LightTrack目标运动轨迹图。

步骤3，根据目标标注的单帧序列图像，采用关键块稀疏表示人脸识别法进行人脸身份识别，并进行电力工器具颜色与尺寸识别；

具体地，基于LightTrack目标跟踪与识别网络仅实现人脸的跟踪与识别，未实现通过人脸进行员工的身份识别。需进一步通过人脸进行出入人员的身份识别。工作人员识别采用单样本人脸识别网络(即一个工作人员仅一张标准人脸图片在数据库中)，为减少运算量。

第一，本发明采用关键块稀疏表示人脸识别法进行人脸身份识别，具体步骤为：

步骤31：对数据库中的单样本面部与人脸特征模板进行匹配，确定四个人脸关键区域：左眼、右眼、鼻子、嘴巴区域；

步骤32：对以上四个区域分别采用稀疏表示：

稀疏字典是采用正交匹配追踪的方式求解(OMP)建立稀疏字典A

步骤33：确定数据库中第i个工作人员人脸关键区域的稀疏特征向量α

步骤34：通过摄像头采集人脸数据库，采用SDM算法(Supervised DescentMethod)对人脸进行检测与特征点的定位；

步骤35：通过特征模板进行匹配，提取四个人脸关键区域；通过建立的稀疏字典A

步骤36：令

如图5所示，(a)为采集的人脸，(b)为人脸特征模板，(c)为确定的四个人脸关键区域。

第二，进行电力工器具颜色与尺寸识别，包括：

(1)颜色信息的识别

工器具存在颜色的区分。如红色与黄色安全帽的适用于不同的工作场所与人群。颜色的识别对目标区域的颜色在RGB空间表述，将目标区域采用RGB颜色模型表示，并求取目标区域RGB的平均值s

(2)尺寸识别

对于一些电力工器具，其型号不同，其长短、大小也不同。如验电棒，不同信号其长度不同。以验电棒为例，通过深度相机获取目标的深度信息H，电力工器具在图像中的长度为l，通过深度相机的焦距f计算电力工器具的实际长度L；计算公式为：L＝lH/f。通过L可以判断验电棒的尺寸。

步骤4，根据目标轨迹图，进行目标人员与电力工器具出入库判断及电力工器具与领用人员是否一致识别；并将电力工器具领用信息在电力工器具管理系统中进行登记。

第一，根据目标轨迹图，进行目标人员与电力工器具出入库判断，

基于LightTrack目标跟踪与识别网络识别的目标k的二维轨迹路线L

建立出目标出入库二维图像标准轨迹路线L(出入库轨迹相同)，标准轨迹路线L的坐标为(m

满足下式则判定入库，入库判定公式为：

满足下式则判断出库，出库判定公式为：

式中，T

不满足入库判定公式与出库判定公式则为其它情况。

第二，电力工器具与领用人员是否一致识别，即判断工器具是否为某人领用。包括：

通过工作人员的运动轨迹，确定工作人员的出入库视频帧；

在同一视频帧中，基于LightTrack目标跟踪与识别网络生成工作人员、电力工器具的识别框，采用工作人员与工器具的识别框判断电力工器具是否为某工作人员领用。

假设工作人员k出入库的视频帧数为G(G为轨迹开始至轨迹结束时间获取的视频帧数)，第g帧识别的工作人员k的目标框为K

判断电力工器具Z

(1).初始化J＝1，g＝1；

(2).如果满足

(3).如果g≤G，g增加1，并返回步骤(2)；

(4).

第三，将电力工器具领用信息在电力工器具管理系统中进行登记，电力工器具领用信息包括领用(入库)工作人员、领用时间、工器具型号等。

实施例2

如图6所示，本实施例与实施例1的区别在于，本实施例中提供了基于机器视觉的电力工器具出入库管理系统，该系统使用实施例1的基于机器视觉的电力工器具出入库管理方法；该系统包括：

获取单元，用于获取电力工器具的出入库视频图像；

多目标识别单元，用于将电力工器具的出入库视频图像输入基于LightTrack目标跟踪与识别网络，对电力工器具的出入库视频图像中的每一帧图像进行多目标识别，输出目标标注的单帧序列图像和目标轨迹图，并存入数据库中；

人脸身份识别单元，用于根据目标标注的单帧序列图像，采用关键块稀疏表示人脸识别法进行人脸身份识别；

电力工器具识别单元，用于根据目标标注的单帧序列图像，进行电力工器具颜色与尺寸识别；

出入库判断单元，用于根据目标轨迹图，进行目标人员与电力工器具出入库判断及电力工器具与领用人员是否一致识别；

领用信息登记单元，用于将电力工器具领用信息在电力工器具管理系统中进行登记。

其中，各个单元的执行过程按照实施例1的基于机器视觉的电力工器具出入库管理方法流程步骤执行即可，此实施例中不再一一赘述。

同时，本发明又提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的基于机器视觉的电力工器具出入库管理方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。