一种基于AI深度学习的卸油区防滑塞和静电夹的检测方法与系统

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于AI深度学习的卸油区防滑塞和静电夹的检测方法与系统。

背景技术

目标检测作为计算机视觉的一个重要分支，也是实现很多安全场景下有效规避风险的基础。但目前在加油站卸油区操作人员规范操作的检测算法，目前行业中还没有人去系统的做，我们现在做的这个项目也是为加油站减少不安全隐患，避免出现这种大型的安全事故。

基于这个需求，由于加油站的卸油区对安装摄像头的位置有要求，所以我们所取到的画面中卸油区防滑塞，静电夹都是很小的物体，同时由于卸油时会有多个工作人员同时操作，就会存在遮挡的问题存在，进而会导致需要检测的物体在现有的比较前沿的检测算法yolov5中仍然会有很多误检、漏检的问题，我们通过对算法的改进，使得算法的神经网络可以提取到被物体周围更多像素的内在关联，实现了对小物体，以及遮挡情况下较高的精度。

发明内容

本发明的目的在于提供一种基于AI深度学习卸油区防滑塞，静电夹的检测方法和系统，通过我们改进后的算法解决很小的物体，遮挡情况精度不高的问题。

为实现上述目的，作为本发明的一个方面，提供如下技术方案：一种基于 AI深度学习的卸油区防滑塞和静电夹的检测方法，包括如下步骤：

(1)将摄像头装置实时获取的视频流转为图片；

(2)将卸油区的图片进行预处理；

(3)将预处理后的卸油区的图片经过改进的yolov5网络训练出的模型进行卸油区防滑塞，静电夹识别；

(4)通过模型输出经过后处理算法，判断是否有在指定区域放置防滑塞，静电夹，如果没有按规范操作，给予告警。

进一步的，对改进的YOLOv5算法模型进行训练的步骤为：

(1)将卸油区图像经过Focus结构，CSP结构，获得特征图；

(2)通过FPN+PAN网络结构对特征图进行融合并进行卸油区防滑塞，静电夹位置和类别预测。

(3)使用GIOU_Loss来计算训练过程中的预测值与真实标注数据的差值。

进一步的，获得特征图的步骤为：

(1)通过图片的切片操作改变图片矩阵的特征维度；

(2)通过修改csp结构中的残差结构，在不加深网络深度的基础上增加了更多可用来表达图片特征的参数；

(3)在改进的残差网络中使用prelu激活函数，使训练参数损失下降更为平滑。

进一步的，通过FPN+PAN网络结构对特征图进行融合具体为：

通过不同尺寸大小的特征图向上卷积来融合的特征图的。

进一步的，使用GIOU_Loss来计算训练过程中的预测值与真实标注数据的差值，具体为：

通过GIOU_Loss解决边界框不重合时的损失梯度弥散问题。

作为本发明的另一个方面，提供一种基于AI深度学习的卸油区防滑塞和静电夹检测系统，包括：

(1)图像获取模块，通过摄像头视频流的解码获取实时卸油区图像；

(2)图像处理模块，用于将获取的卸油区图像进行预处理；

(3)卸油区防滑塞和静电夹检测模块，用于将预处理后的卸油区图像经过改进的YOLOv5算法训练模型，然后进行图像内防滑塞，静电夹识别；

(4)后处理告警模块，用于将是否在指定区域放置防滑塞，静电夹，如果没有按规范操作，给予告警。

进一步的，该种基于AI深度学习的卸油区防滑塞和静电夹检测系统，还包括：

数据集建立单元，用于通过对摄像头视频流解码高清的图片并建立对应的数据集；

数据预处理单元，用于通过使用Mosaic数据增强、自适应锚框计算、自适应图片缩放来增强训练数据集进行预处理；

训练单元，用于通过数据集对改进的YOLOv5算法进行模型训练，得到改进YOLOv5算法训练的模型。

进一步的，训练单元包括：

(1)通过将卸油区图片经过训练模型中的Focus结构，CSP结构获取图片的特征图；

(2)再将特征图通过FPN+PAN网络结构对特征图进行融合，预测类别信息和坐标位置；

(3)通过我们改进的nms算法将不同类别的候选框在空间中离散化分布，分别对同一类别的物体的坐标位置进行nms处理，得到每个类别的最优坐标位置。

与现有技术相比，本发明的有益效果是：

(1)本发明在特征提取阶段采用图片切片操作，以及我们自己定义的残差结构，大幅度提高物体对周围像素的关联；

(2)本发明利用空间离散的思想把模型后处理算法nms分割成每一类在同一区域的方式，有效避免被检测物体存在多个重叠时的漏检问题；

(3)本发明采用了hardwish和silu函数来作为非特征缩放层的激活函数，使模型训练有效避免梯度爆炸和损失难以收敛的问题。

附图说明

图1为本发明一种基于AI深度学习的卸油区防滑塞和静电夹的检测方法工作流程图。

图2为本发明一种基于AI深度学习的卸油区防滑塞和静电夹的检测系统模块图。

图3为本发明一种基于AI深度学习的卸油区防滑塞和静电夹的检测系统中的BN-Conv-BN-PReLu-Conv-BN结构图。

图4为本发明一种基于AI深度学习的卸油区防滑塞和静电夹的检测系统将640*640*3的图像切片后变成160*160*48的特征图。

图5为本发明一种基于AI深度学习的卸油区防滑塞和静电夹的检测系统的Sigmoid Weighted Liner Unit函数图。

图6为本发明一种基于AI深度学习的卸油区防滑塞和静电夹的检测系统的使用GIOU_Loss做Bounding box的损失函数效果图。

图7为本发明一种基于AI深度学习的卸油区防滑塞和静电夹的检测系统的未使用GIOU_Loss做Bounding box的损失函数效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

作为本发明的一个实施例，如图1所示，本发明实施例提供一种基于AI 深度学习的卸油区防滑塞和静电夹的检测方法，包括如下步骤：

(1)将摄像头装置实时获取的视频流转为图片；

(2)将卸油区的图片进行预处理；

(3)将预处理后的卸油区的图片经过改进的yolov5网络训练出的模型进行卸油区防滑塞，静电夹识别；

(4)通过模型输出经过后处理算法，判断是否有在指定区域放置防滑塞，静电夹，如果没有按规范操作，给予告警。

其中，对改进的YOLOv5算法模型进行训练的步骤为：

(1)将卸油区图像经过Focus结构，CSP结构，获得特征图；

(2)通过FPN+PAN网络结构对特征图进行融合并进行卸油区防滑塞，静电夹位置和类别预测。

(3)使用GIOU_Loss来计算训练过程中的预测值与真实标注数据的差值。

其中，获得特征图的步骤为：

(1)通过图片的切片操作改变图片矩阵的特征维度；

(2)通过修改csp结构中的残差结构，在不加深网络深度的基础上增加了更多可用来表达图片特征的参数；

(3)在改进的残差网络中使用prelu激活函数，使训练参数损失下降更为平滑。

其中，通过FPN+PAN网络结构对特征图进行融合具体为：

通过不同尺寸大小的特征图向上卷积来融合的特征图的。

其中，使用GIOU_Loss来计算训练过程中的预测值与真实标注数据的差值，具体为：

通过GIOU_Loss解决边界框不重合时的损失梯度弥散问题。

作为本发明的另一个实施例，如图2所示，提供一种基于AI深度学习的卸油区防滑塞和静电夹检测系统，包括：

(1)图像获取模块，通过摄像头视频流的解码获取实时卸油区图像；

(2)图像处理模块，用于将获取的卸油区图像进行预处理；

(3)卸油区防滑塞和静电夹检测模块，用于将预处理后的卸油区图像经过改进的YOLOv5算法训练模型，然后进行图像内防滑塞，静电夹识别；

(4)后处理告警模块，用于将是否在指定区域放置防滑塞，静电夹，如果没有按规范操作，给予告警。

其中，图像处理模块用于对获取的卸油区图像进行预处理的具体实施步骤包括：

(1)通过摄像头获取视频流编码并保存成视频，然后对视频使用opencv 把视频转化成图片，图片的详细信息可通过视频流的OpenCV接口获取；

(2)通过设置的训练batch_size对图像数据集进行随机缩放、随机裁剪、随机排布的方式进行拼接成一张图片；

(3)针对不同的数据集，都会有初始设定长宽的锚框；

在网络训练中，网络在初始锚框的基础上输出预测框，进而和真实框groundtruth进行比对，计算两者差距，再反向更新，迭代网络参数。

(4)自适应图片缩放，在常用的目标检测算法中，不同的图片长宽都不相同，因此常用的方式是将原始图片统一缩放到一个标准尺寸，再送入检测网络中。

在项目实际使用时，很多图片的长宽比不同，因此缩放填充后，两端的黑边大小都不同，而如果填充的比较多，则存在信息冗余，影响推理速度。

所以对缩放后的边界填充做了修改，提高买模型的推理速度。

其次，卸油区防滑塞和静电夹检测模块用于将预处理后的卸油区图像经过改进的YOLOv5算法训练模型，然后进行图像内防滑塞，静电夹识别的具体步骤包括：

(1)在backbone的的特征提取阶段采用focus，csp的基本结构，七中队 csp结构中的残差结构进行了替换，采用BN-Conv-BN-PReLu-Conv-BN结构作为残差块，如附图3所示：

focus结构中采用切片操作，比如将640*640*3的图像切片后变成 160*160*48的特征图，如附图4所示：

并且在backbone阶段采用hardwish作为激活函数，保证损失收敛在特征提取阶段更为平滑。

(2)在网络结构head阶段，激活函数采用silu函数作为激活函数；

其中，Sigmoid Weighted Liner Unit函数，如附图5所示：

在反响梯度更新时梯度如图：

相比于其他激活函数当数值小于0时，梯度更新的速度会更快，所以在head 阶段采用次函数会有更好的收敛损失，提高精度的效果。

(3)在输出端使用采用的GIOU_Loss做Bounding box的损失函数，如附图6所示：

可以看到右图GIOU_Loss中，增加了相交尺度的衡量方式，缓解了单纯 IOU_Loss时的尴尬；

因为当出现如附图7的情况时：

当出现状态1的情况，即预测框和目标框不相交时，IOU＝0，无法反应两个框距离的远近，此时损失函数不可导，IOU_Loss无法优化两个框不相交的情况。

当出现状态2和状态3的情况，即两个预测框大小相同，两个IOU也相同， IOU_Loss无法区分两者相交情况的不同。

然而，使用了giou作为损失函数时，就会避免出现上述情况时，出现梯度消失的问题。

最后，后处理告警模块用于将是否在指定区域放置防滑塞，静电夹，如果没有按规范操作，给予告警的具体实施步骤包括：

(1)在对模型输出进行后处理时，采用我们改进后的nms算法，将不同类别如我们的静电夹，车塞子的坐标值乘以一个最大类别的系数，将坐标值在空间中进行了离散化的处理，从而达到被检测物体出现重叠时，不会因为nms 算法的非极大值抑制，导致漏检的问题；

(2)将摄像头视频流输入到我们的模型中，经过我们改进的nms算法后，输出不同类别的坐标和置信度。通过逻辑代码的控制，来实时监控工作人员卸油时的操作是否符合规范，若不合格，后台给予报警。

需要说明的是，本发明的优点主要在算法上的改进，主要有以下几点：(1) 对输入图像进行多切片操作(2)通过训练迭代的方式优化目标检测领域候选框，实现自动匹配最适合训练数据的预训练框(3)将yolov5中backbone中的残差结构替换城我们自己设计的残差网络结构；(4)在backbone阶段采用 hardwish作为激活函数，在head阶段将silu函数作为激活函数(5)在算法模型推理时，优化nms(极大值抑制)算法，实现多目标重叠更好的识别。通过我们的改进算法在防滑塞和油罐车接地静电夹这种很小的物体上，模型识别精度得到了很大的提高。最后将我们的算法模型集成到嵌入式设备中形成实时智能检测系统，减少加油站工作台人员在油罐车卸油时不安全隐患，避免出现这种大型的安全事故。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。