基于改进YOLOv7x的驻地网作业规范质检方法及装置

技术领域

本发明涉及图像处理技术领域，具体涉及基于改进YOLOv7x的驻地网作业规范质检方法及装置。

背景技术

网络通信已经成为人们生活的必需品，然而早期的网络资源分配存在着许多不合理的情况，如今三大运营商迫切需要对自己领域的网络资源进行核查，从机房出发，到主线光交箱，到配线光交箱再到分纤箱最后到用户。每一级的设备都需要仔细地清查核实。然而这整条网络链路是无源场景，清查人员是否到达现场按实按规范进行清查根本无从考证，对清查人员的作业规范进行监管需要耗费巨大的人力与时间成本。但传统的YOLOv7x算法对于图像特征的提取是采用CBS(Conv+BatchNorm+Silu)，每个模块后再跟一个池化层Pool来稀疏特征，这种提取特征的方式在开源数据上表现良好，然而在应用场景小目标较多，且分布密集的情况下，若继续使用传统的卷积层将会导致细粒度信息的丢失和学习效率较低。

发明内容

本发明的目的在于提供基于改进YOLOv7x的驻地网作业规范质检方法及装置，能够对勘察人员进行一定的作业规范监管，从而保证勘察信息与实际信息能够相对应。

基于改进YOLOv7x的驻地网作业规范质检方法，其特征在于，具体包括以下步骤：

S1、获得资源点的设备图像，所述设备包括光交箱、分纤箱的至少一种；

S2、采用预先训练的改进型YOLOv7x网络对设备图像进行质检，判定勘察人员作业是否符合标准。

进一步地，所述改进型YOLOv7x网络，包括用于特征提取的Backbone，用于目标检测的Head，其中在Backbone中：

将第二层、第四层、第十八层、第三十三层、第四十九层的步长为2的卷积层替换为SPD-Conv；

将前13层所有3*3的卷积核增大为5*5；

在每一个Concat层：十二层、二十七层、四十二层后加入CBAM注意力机制。

其中在Head中，将CIoU损失函数更换为SIoU损失函数。

进一步地，所述设备图像包括设备内部图像或设备内侧门图像或设备关门图像中的至少一种，所述质检，具体包括以下步骤：

内部检测：将所述设备内部图像输入预先训练的改进型YOLOv7x网络，获得设备内部预测值，根据所述设备内部预测值判断勘察人员作业是否符合标准；

内侧门检测：将所述设备内侧门图像输入预先训练的改进型YOLOv7x网络，获得设备内侧门预测值，根据所述设备内侧门预测值判断勘察人员作业是否符合标准；

关门检测：将所述设备关门图像输入预先训练的改进型YOLOv7x网络，获得设备关门预测值，根据所述设备关门预测值判断勘察人员作业是否符合标准；

以及当内部检测或内侧门检测或关门检测中的至少一种符合标准时，判定完成质检。

进一步地，所述设备图像包括设备内部图像、设备内侧门图像以及设备关门图像，所述质检，具体包括以下步骤：

内部检测：将所述设备内部图像输入预先训练的改进型YOLOv7x网络，获得设备内部预测值，根据所述设备内部预测值判断勘察人员作业是否符合标准；

内侧门检测：以及当内部检测符合标准时，将所述设备内侧门图像输入预先训练的改进型YOLOv7x网络，获得设备内侧门预测值，根据所述设备内侧门预测值判断勘察人员作业是否符合标准；

关门检测：以及当内侧门检测符合标准时，将所述设备关门图像输入预先训练的改进型YOLOv7x网络，获得设备关门预测值，根据所述设备关门预测值判断勘察人员作业是否符合标准；

以及当关门检测符合标准时，判定完成质检。

进一步地，所述内侧门检测与关门检测之间，还包括：

标签检测：当设备内侧门预测值当符合标准时，将所述设备内侧门图像输入预先训练的改进型YOLOv7x网络，核对标签粘贴是否规范。

进一步地，步骤S2中采用预先训练的改进型YOLOv7x网络对设备图像进行质检，获得对应的预测值，所述预测值为设备内部预测值或设备内侧门预测值或设备关门预测值中的一种，所述预测值为15个图像特征的集合，对集合中的15个图像特征进行异或运算，根据运算结果判断勘察人员作业是否符合标准。

进一步地，根据运算结果判断勘察人员作业是否符合标准包括：

同时出现15个图像特征中的5个特定特征，判定勘察人员作业符合标准。

进一步地，还包括：

当内部检测不符合标准时，累计不符合标准的总次数；

当总次数＞3次时，调整质检策略：当同时出现15个图像特征中的3个特定特征，判定勘察人员作业符合标准。

进一步地，所述预先训练的改进型YOLOv7x网络，具体由以下步骤得到：

S002、使用步骤S001中得到的训练集对步骤S3中构建的改进型YOLOv7x网络进行训练，得到训练后的改进型YOLOv7x网络权重；

S003、使用步骤S001中得到的测试集对步骤S002中得到的训练后的改进型YOLOv7x模型进行测试，并调整模型超参数。

S004、反复进行S001，S002，S003，得到性能最好的网络模型用以质检场景。

基于改进YOLOv7x的驻地网作业规范质检的识图装置，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现所述的基于改进YOLOv7x的驻地网作业规范质检方法。

本发明具有的有益效果：

在算法上，首先针对目标检测领域对于小目标检测容易漏检，误检的情况，提出基于SPD-Conv和通用注意力机制CBAM的YOLOv7x算法。将YOLOv7x中BackBone中步长为2的Conv替换为SPD-Conv结构，能够针对小目标存在较多的图像，较为模糊的图像进行更细粒度的特征提取，以此来改善真实场景中小目标漏检误检的情况。其次，在BackBone的每个Concat层前接入CBAM注意力机制，能够在提取特征时着重关注标注信息，以此来提升模型对目标特征的学习能力。训练过程采用Mosaic高阶数据增强策略，并增加自适应图像调整策略来增强模型的泛化能力，并针对特定质检步骤二值化目标信息，让模型只关注目标轮廓特征，使用SIoU作为惩罚函数，新增角度惩罚项，防止预测框四处游荡造成训练时收敛慢，收敛难的情况，提升相关质检场景的训练收敛速度以及真实场景的预测目标位置的准确度。相较于原生YOLOv7x，基于改进YOLOv7x的目标检测在哑资源场景上表现更好。

附图说明

图1为本发明的总体流程示意图；

图2为本发明的依次质检流程示意图；

图3为本发明的模型建立过程示意图；

图4为本发明的质检流程示意图；

图5为本发明的改进的YOLOv7x的Backbone部分结构示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

另外，为了清楚和简洁起见，可能省略了对公知的结构、功能和配置的描述。本领域普通技术人员将认识到，在不脱离本公开的精神和范围的情况下，可以对本文描述的示例进行各种改变和修改。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

实施例1

传统的YOLOv7x算法对于图像特征的提取是采用CBS(Conv+BatchNorm+Silu)，每个模块后再跟一个池化层Pool来稀疏特征，这种提取特征的方式在开源数据上表现良好，然而本次应用场景小目标较多，且分布密集，若继续使用传统的卷积层将会导致细粒度信息的丢失和学习效率较低的特征表示。故本方法中采用SPD-Conv来替代BackBone中步长为2的Conv部分，SPD的作用是将一个特征图分为四个小特征图，然后纵向堆叠在一起，若输入为640*640*3，经过SPD之后特征图将会变为320*320*12。在引入SPD-Conv前后对YOLOv7xx模型针对自定义的数据集进行训练，从而使得小目标标签召回率和准确率都有了较为明显的提升，整体类别的召回率以及准确率也有了一定程度的提高。使得让YOLOv7x更加地适应哑资源识别场景。

在卷积之后引入通用注意力机制模块CBAM，CBAM由CAM(通道注意力机制)+SAM(空间注意力机制)先后排列组成，CBAM能在空间和通道层两个纬度上关注模型想关注的部分。该模块的简洁性让整个网络的BackBone在几乎不损失时间的情况下增强模型提取相关特征的能力。

基于YOLOv7x的哑资源质检分多步骤进行，每一步需通过才能进行下一步，在某些步骤我们并不关心目标的颜色，只关心目标的轮廓，针对此场景在YOLOv7x的输入侧对图像进行二值化处理，既达到避免颜色冲突引起的误判，又能大大降低输入特征的维度，提高检测效率。

需要说明的是，在本实施例中，基于YOLOv7x的哑资源质检过程为：

光交箱/分纤箱内部图像的检测；

光交箱/分纤箱内侧门图像的检测；

NFC标签信息核对；

光交箱/分纤箱关门图像的检测。

上述检测依次进行，即光交箱/分纤箱内部图像的检测符合标准后，进行光交箱/分纤箱内侧门图像的检测；在光交箱/分纤箱内侧门图像的检测符合标准后，进行NFC标签信息核对；在NFC标签信息核对正确后，进行光交箱/分纤箱关门图像的检测；在光交箱/分纤箱关门图像的检测符合标准后，质检完成。

需要说明的是，本领域技术人员还可以根据现场环境对具体需要检测的部位如光交箱/分纤箱内部或光交箱/分纤箱内侧门图像或光交箱/分纤箱关门图像分别进行检测，仅仅当需要检测的部位满足标准时，判定质检完成。

工作人员到达相关的资源点对光交箱以及分纤箱进行资源盘点，核查，然而每个资源点皆是无源状态，勘察人员到底是否按规范到现场进行作业根本无从考证，派相关监管人员去现场核实又会花费巨大的人力以及时间成本，在后台人工审核仍无法确保施工人员上传照片的规范性。整个监管过程极为困难。

本方法基于YOLOv7x改进算法能够AI审核相关图像，勘察人员将资源点内部，外侧，内侧门等各个方位以及局部的图像实时上传，本方法将上传的图像转换为三维数组X，将X输入训练完成的算法模型F，算法模型的最小单元为

f(x)＝wx+b

w，b为权重以及偏置量，本方法的算法模型由上百万个最小单元以特殊的结构排列而成，基于上传图像的数组信息推理运算得出最后的预测值Y＝[y1,y2...y15]，下标为15意为总共有十五个类别输出，根据15个类别的组合异或运算准确判断勘察人员作业是否符合规范，例如勘察人员是否粘贴相关指定二维码，粘贴位置是否符合要求，资源点内侧图是否规范，作业完成后资源点是否按规范整理等进行AI审核，大大减少了人工审核的时间，提高审核效率以及确保留证照片的可靠性与真实性。

用户使用该系统的APP开始进行哑资源的勘察，在进入到质检模块时，质检环节逐步进行，每一步都将上传相关质检图像到服务器，然后调用本方法进行预测，得到含有15个元素的集合Y，对Y中的15个元素进行相应的异或运算得到最终的质检结果。其中内侧质检尤为复杂，在用户上传了三次仍未通过质检时，此时视作现场环境特殊，异或运算的策略将发生变化。如前三次需要

同时出现15个图像特征中的5个特定特征，方才认定审核通过，在调整策略后，同时出现15个图像特征中的3个特定特征即可认作通过，以此来适应真实环境的多变性。在上述流程图中所有步骤都成功通过后即可认作质检通过。综上所述，本方法基于原生的YOLOv7x模型进行二次开发，对哑资源勘察人员进行作业规范的检查审核，在该应用场景的检测准确率上优于原生的YOLOv7x。二次开发具体改动如下：

1、步长为2的卷积层替换为SPD-Conv

表1

2、在每一个Concat层前也就是在原十二层、二十七层、四十二层后加入CBAM注意力机制。

3.前13层所有3*3的卷积核增大为5*5。

4.损失函数采用SIOU,相较于原生YOLOv7x使用的IoU、GIoU、DIoU、CIoU来说，SIoU增加了角度惩罚项，能够解决预测框四处游荡造成的收敛难，收敛慢的问题，能够对真实场景的目标位置进行更好的学习。

将原生backbone中步长为2的卷积层用SPD-Conv代替，每次堆叠前引入CBAM注意力模块，第一列的卷积核由3*3改为5*5，从而增大浅层网络的感受野。

实施例2，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现所述的基于改进YOLOv7x的驻地网作业规范质检方法。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。