一种输电线路危险车辆吊车扬臂识别系统及多目标跟踪方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种输电线路危险车辆吊车扬臂识别系统及多目标跟踪方法。

背景技术

建设坚强智能电网、打造安全可控的新一代电力系统是电网发展的固本之要，当前随着经济发展，线路通道内高电压等级线路越来越多，对输电线路通道的危险源隐患防范提出了更高要求。实际施工过程中，由于违章操作、安全意识薄弱、现场监管措施不力等，吊车扬臂触碰输电线路导致人员伤亡的安全事故时有发生，给城市电网的稳定运行造成一定损失。因此，在输电线路关键区域实施基于视觉的吊车扬臂识别技术至关重要。

传统的识别算法需对获取的输电线路危险源内吊车扬臂图像进行边缘特征提取，对于背景复杂的图像还需进行去噪等预处理环节；并且人工设计的吊车扬臂特征以像素级为主，尺度、光照、纹理等变化不具备较强的鲁棒性与稳健性。随着计算机视觉领域的发展，基于深度学习的实例分割可实现图像特征的端到端学习与实时定位。针对输电线路吊车施工现场，可对该方法进行迁移学习，不仅能解决目标在复杂输电线路施工场景中发生的多尺度、形变等难题，还能获取到扬臂的不规则像素轮廓，辨识其制高点信息，从而及时有效判定扬臂和输电线路导线的相对位置，进而准确判断杨臂预警的危险级别。然而，在实际输电线路下施工作业场景下，可能存在多个危险车辆同时施工，同时杨臂的情况，这会带来目标外观特征高度相似性及遮挡问题，可能造成系统对危险车辆吊车杨臂的判断的准确性和可靠性降低。因此，本发明提出一种输电线路危险车辆吊车扬臂识别系统及多目标跟踪方法。所设计的深度卷积网络学习图像的语义特征，对分割后的吊车扬臂群进行多目标跟踪，能有效克服相似物体间的遮挡，避免目标丢失。同时，通过计算一定时间内吊臂的角度变化，判断监控视频流是否存在扬臂动作。本发明基于该识别系统对吊车扬臂实时跟踪并预警决策，保证复杂输电线路多个危险车辆吊车杨臂施工场景的安全预警的准确性和可靠性，实现智能化、精益化的电网运维。

发明内容

为了解决上述问题，本发明提供一种输电线路危险车辆吊车扬臂识别系统及识别方法，使用卷积神经网络可以快速的识别危险源范围内吊车扬臂并报警，提醒用户及时处理，避免安全事故的产生，防止非预期的停电对企业和老百姓的正常生产和生活秩序的影响。

为了实现以上目的，本发明采取的一种技术方案是：

一种输电线路危险车辆吊车扬臂识别系统，包括与控制模块相连的图像采集模块、吊车扬臂识别模型以及报警模块；所述图像采集模块，用于采集输电线路危险源范围内的视频图像，并输出至所述控制模块；所述吊车扬臂识别模型，经所述控制模块处理的所述视频图像输出至所述吊车扬臂识别模型，所述吊车扬臂识别模型用于，识别所述输电线路危险源范围内吊车臂角度是否存在扬臂行为；所述报警模块，当所述吊车扬臂识别模型识别出有吊车臂角度存在扬臂行为时，所述控制模块启动报警模块报警；其中，使用危险源范围内吊车臂是否存在扬臂行为的图片训练卷积神经网络获得所述吊车扬臂识别模型。

进一步地，所述图像采集模块为单目摄像头，所述单目摄像头设置在所述危险源范围区。

进一步地，所述报警模块为声音报警模块。

本发明还提供了一种基于以上输电线路危险车辆吊车扬臂识别系统的输电线路危险车辆吊车扬臂识别方法，包括如下步骤：步骤1、图片采集，通过单目摄像头采集输电线路危险源范围内的实时视频数据；步骤2、吊车扬臂识别模型训练，人工收集若干个危险源范围内含有吊车臂是否存在扬臂行为的图片作为训练图片，采用训练图片训练神经网络模型获得吊车扬臂识别模型；步骤3、将所述实时视频数据经控制模块处理后输出至所述吊车扬臂识别模型，使用所述吊车扬臂识别模型识别所述实时视频数据是否含有危险源吊车扬臂超过危险警戒角度，并将识别结果输出至控制模块；步骤4、当所述控制模块获得的所述吊车扬臂识别模型的识别结果为实时视频数据中包含吊车扬臂超过危险警戒角度的图片时，所述控制模块控制报警模块报警。

进一步地，所述步骤2包括如下步骤：步骤2.1、构建吊车臂图像分割样本库S，人工标记出吊车臂在图中的像素位置；步骤2.2、构建卷积模块WBlock；步骤2.3、构成残差模块RBlock，模块输入为x，则输出为F(F(x))+x，其中weight layer为步骤2.2中的WBlock；步骤2.4、构建编码模块，输入图像，得到其编码特征[f1,f2,f3,f4,f5]；步骤2.5、将步骤2.4得到的f4输入RBlock，得到输出o1；步骤2.6、将o1上采样，然后与步骤2.4得到的f3进行特征融合，输入RBlock，得到输出o2；步骤2.7、将o2上采样，然后与步骤2.4得到的f2进行特征融合，输入RBlock，得到输出o3；步骤2.8、将o3上采样，然后与步骤2.4得到的f1进行特征融合，输入RBlock，得到输出o4；步骤2.9、将o4接入softmax层，分割模型构建完成：

其中，Vi是分类器前级输出单元的输出；i表示类别索引；C为总的类别个数；Si表示的是当前元素的指数与所有元素指数和的比值；

步骤2.10、利用交叉熵损失函数和梯度下降算法进行模型训练，得到吊车臂分割模型M；损失函数定义如下：

其中，ti表示真实值，yi表示求出的softmax值。

进一步地，所述步骤2.10中的吊车臂分割模型还进行量化操作；所述量化操作包括如下步骤：步骤a、先根据输入的浮点数计算最大值和最小值；步骤b、然后进入量化操作将输入数据转换成8位；步骤c、进行反量化的操作，将权重再转回32位精度；步骤d、把8位转回32位作为输出层的输入。

进一步地，所述步骤3包括如下步骤：步骤3.1、实时读取危险源监控视频，得到t时刻的图像为f

本发明的上述技术方案相比现有技术具有以下优点：

(1)本发明提出的一种输电线路危险车辆吊车扬臂识别系统及识别方法，用户使用卷积神经网络可以快速的识别危险源范围内吊车扬臂并报警，提醒用户及时处理，避免安全事故的产生，防止非预期的停电对企业和老百姓的正常生产和生活秩序的影响。

(2)本发明构建了基于编码-解码结构的图像分割网络，网络中交替使用了残差模块和Inception模块，同时增加了网络深度和宽度，提升了网络的感受野，并对模型进行了量化处理，减小了模型参数，使模型更适合在边缘设备上使用。

(3)本发明可以大幅减少输电线路维护人员的压力，通过智能算法对输电线路区域的吊车扬臂样本行为进行实时监控，及时发现吊车扬臂的危险动作，防止其破坏输电线路。

附图说明

图1所示为本发明一实施例的系统结构图；

图2所示为本发明一实施例的方法流程图；

图3所示为本发明一实施例的卷积模块的结构图；

图4所示为本发明一实施例的残差网络模块的结构图；

图5所示为本发明一实施例的编码模块的结构图；

图6所示为本发明一实施例的量化操作流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本实施例提供了一种输电线路危险车辆吊车扬臂识别系统，包括与控制模块相连的图像采集模块、吊车扬臂识别模型以及报警模块；所述图像采集模块，用于采集输电线路危险源范围内的视频图像，并输出至所述控制模块；所述吊车扬臂识别模型，经所述控制模块处理的所述视频图像输出至所述吊车扬臂识别模型，所述吊车扬臂识别模型用于，识别所述输电线路危险源范围内吊车臂角度是否存在扬臂行为；所述报警模块，当所述吊车扬臂识别模型识别出有吊车臂角度存在扬臂行为时，所述控制模块启动报警模块报警；其中，使用危险源范围内吊车臂是否存在扬臂行为的图片训练卷积神经网络获得所述吊车扬臂识别模型。

图像采集模块为单目摄像头，单目摄像头设置在所述危险源范围区。报警模块为声音报警模块。

如图2所述，一种输电线路危险车辆吊车扬臂识别系统的识别方法，包括如下步骤：步骤1、图片采集，通过单目摄像头采集输电线路危险源范围内的实时视频数据；步骤2、吊车扬臂识别模型训练，人工收集若干个危险源范围内含有吊车臂是否存在扬臂行为的图片作为训练图片，采用训练图片训练神经网络模型获得吊车扬臂识别模型；步骤3、将所述实时视频数据经控制模块处理后输出至所述吊车扬臂识别模型，使用所述吊车扬臂识别模型识别所述实时视频数据是否含有危险源吊车扬臂超过危险警戒角度，并将识别结果输出至控制模块；步骤4、当所述控制模块获得的所述吊车扬臂识别模型的识别结果为实时视频数据中包含吊车扬臂超过危险警戒角度的图片时，所述控制模块控制报警模块报警。

如图3至图5所示，步骤2包括如下步骤：步骤2.1、构建吊车臂图像分割样本库S，人工标记出吊车臂在图中的像素位置；步骤2.2、构建卷积模块WBlock；步骤2.3、构成残差模块RBlock，模块输入为x，则输出为F(F(x))+x，其中weight layer为步骤2.2中的WBlock；步骤2.4、构建编码模块，输入图像，得到其编码特征[f1,f2,f3,f4,f5]；步骤2.5、将步骤2.4得到的f4输入RBlock，得到输出o1；步骤2.6、将o1上采样，然后与步骤2.4得到的f3进行特征融合，输入RBlock，得到输出o2；步骤2.7、将o2上采样，然后与步骤2.4得到的f2进行特征融合，输入RBlock，得到输出o3；步骤2.8、将o3上采样，然后与步骤2.4得到的f1进行特征融合，输入RBlock，得到输出o4；步骤2.9、将o4接入softmax层，分割模型构建完成：

其中，Vi是分类器前级输出单元的输出；i表示类别索引；C为总的类别个数；Si表示的是当前元素的指数与所有元素指数和的比值；

步骤2.10、利用交叉熵损失函数和梯度下降算法进行模型训练，得到吊车臂分割模型M；损失函数定义如下：

其中，ti表示真实值，yi表示求出的softmax值。

步骤2.10中的吊车臂分割模型还进行量化操作；所述量化操作包括如下步骤：步骤a、先根据输入的浮点数计算最大值和最小值；步骤b、然后进入量化操作将输入数据转换成8位；步骤c、进行反量化的操作，将权重再转回32位精度；步骤d、把8位转回32位作为输出层的输入。

量化过程如下图6所示，左侧是原始的Relu操作，输入和输出均是浮点数。右侧是量化后的Relu操作，先根据输入的浮点数计算最大值和最小值，然后进入量化操作将输入数据转换成8位。进入量化的Relu处理后，为了保证输出层的输入数据的准确性，还需要进行反量化的操作，将权重再转回32位精度，来保证预测的准确性。也就是整个模型的前向传播采用8位段数运行，在最后一层之前加上一个反量化层，把8位转回32位作为输出层的输入。

步骤3包括如下步骤：步骤3.1、实时读取危险源监控视频，得到t时刻的图像为f

本发明提出的一种输电线路危险车辆吊车扬臂识别系统及识别方法，用户使用卷积神经网络可以快速的识别危险源范围内吊车扬臂并报警，提醒用户及时处理，避免安全事故的产生，防止非预期的停电对企业和老百姓的正常生产和生活秩序的影响。

本发明构建了基于编码-解码结构的图像分割网络，网络中交替使用了残差模块和Inception模块，同时增加了网络深度和宽度，提升了网络的感受野，并对模型进行了量化处理，减小了模型参数，使模型更适合在边缘设备上使用。

本发明可以大幅减少输电线路维护人员的压力，通过智能算法对输电线路区域的吊车扬臂样本行为进行实时监控，及时发现吊车扬臂的危险动作，防止其破坏输电线路。

以上所述仅为本发明的示例性实施例，并非因此限制本发明专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。