掌桥专利:专业的专利平台
掌桥专利
首页

一种基于改进Yolov5的多路莫尔斯码检测方法及系统

文献发布时间:2024-04-18 20:01:23


一种基于改进Yolov5的多路莫尔斯码检测方法及系统

技术领域

本发明涉及图像领域,特别是一种基于改进Yolov5的多路莫尔斯码检测方法及系统。

背景技术

目前莫尔斯电报的收报和译码工作主要依靠人工方式处理,随着人工智能技术领域的发展,为了提高收报效率同时缓解人工压力,提高莫尔斯码识别的效率和精度,促进更实时高效的莫尔斯码通信,莫尔斯码识别与图像识别、机器学习和深度学习的结合已然成为发展趋势。

中国专利CN115081477A“一种莫尔斯信号的识别方法、装置、设备及存储介质”将所述莫尔斯码图像转换为信号时频图像后等距分割为相应的多子图像,并使用3D卷积层提取融合连续多帧子图像的时空特征,将所述时空特征输入预设的双向卷积长短时记忆网络模型进行识别预测训练,得到预测输出的一批目标特征序列进行译码转录得到所述莫尔斯信号的译码。该发明借助卷积神经网络进行莫尔斯信号的识别和译码,提高了译码的效率。但是该发明中对于莫尔斯信号的识别和译码准确度不够,而现有技术中亦存在对时频图像中莫尔斯信号几何特征的关注不够、轻量级不够等缺点。

发明内容

本发明所要解决的技术问题是提供一种基于改进Yolov5的多路莫尔斯码检测方法及系统,解决目前莫尔斯码检测不够高效精准的问题,本发明加强算法对时频图像中莫尔斯信号几何特征的关注,在主干网络使用可形变卷积模块提升了模型的检测精度,组合使用GSConv和VoV-GSCSP模块重构颈部网络,有效降低了模型的参数量及计算复杂度,进一步实现检测模型的轻量化,同时保持了足够的检测精度。

一种基于改进Yolov5的多路莫尔斯码检测方法,其步骤为:

S1.Fcous层通过先切片后拼接的方式将原始输入莫尔斯码图像的几何平面信息集中到通道维度,利用卷积层实现下采样的操作;

S2.利用DCNv2、C3及SPPF模块对莫尔斯码信号时频图像特征进行初步提取与融合,输出特征图;

S3.经过主干网络初步的特征提取和融合后,所提模型在颈部网络中沿用FPN与PAN的结构对特征图进行多尺度融合;

S4.组合使用GSConv和VoV-GSCSP模块重构颈部网络;

S5.原始莫尔斯码输入图像经过主干网络及颈部网络的处理后,最终通过检测头输出预测结果并映射回原图的相应坐标;

S6.候选框处理阶段利用不同候选框之间的关联信息进行预测框选择,得到选取的目标特征序列;

S7.对目标特征序列译码转录,得到上述莫尔斯码的译码。

优选的方案中,步骤6还包括如下步骤:

S61.获得相邻候选框B1、B2、B3、B4、B5,得到候选框合集{B1,B2,B3,B4,B5};

S62.比较候选框之间径向距离,按照距离赋予权值,距离近赋予高权值,距离远赋予低权值;

S63.比较候选框与其他背景信号距离,距离近赋予高权值,距离远赋予低权值;

S64.重复步骤S62、S63产生多个拥有相同置信度的预测框,保留横向维度最长的一个预测框。

优选的方案中,步骤3中,还包括如下步骤:

S31.FPN结构通过将深层特征图中的莫尔斯码强语义信息传递至浅层特征图中,以此增强多个尺度上的语义表达能力;

S32.PAN结构则通过将浅层特征图中相对准确的莫尔斯码位置信息传递至深层特征图中,以此增强多个尺度上的定位能力;

S33.FPN与PAN的具体结构由GSConv、VoV-GSCSP、Upsample及Concat模块组成,将上述模块依次记为GSC、VoV、Up、Concat;

S34.得到每次Concat后的特征图FC

优选的方案中,步骤4中,

GSConv模块将标准卷积的生成信息渗透到深度可分离卷积模块的生成信息中,用于利用不同通道内相同空间位置上的特征信息,保留各通道间的隐藏连接;

VoV-GSCSP模块在BottleNeck中使用了GSConv模块并在shortcut路径上额外放置了一个卷积层,该卷积层将GSConv模块前的输入信息添加到BottleNeck的输出信息中,用于避免因GSConv模块加深网络导致模型定位能力下降的问题,同时能够降低计算成本,丰富梯度的组合信息。

优选的方案中,检测头的输出莫尔斯码特征图H

根据权利要求3所述的一种基于改进Yolov5的多路莫尔斯码检测方法,其特征是:步骤2中,包括如下步骤:

S21.将DCNv2和C3模块的组合记为DCi,i表示F1依次经过该组合的次数;

S22.将实现局部特征和全局特征融合的SPPF模块记为SPPF;

S23.得到主干网络三个输出特征图的F

优选的方案中,步骤S64中预测框四周顶点像素坐标,与预测框内顶点相邻像素对比,判决是否异号,确定最小边界,计算偏移量;

用于最大限度减少目标和候选框之间的空隙,提高检测精度。

优选的方案中,S64具体步骤为:

S641.获取预测框四周顶点像素坐标为[(X

S642.如像素异号则保持预测框不变,如不异号则预测框整体扩大或者缩小1像素;

S643.重复步骤S641、S642,获得新的预测框,计算偏移量,确定最终预测框。

优选的方案中,步骤S643计算偏移量的具体步骤为:

S6431.获取原始预测框为A[(X

S6432.当

一种基于改进Yolov5的多路莫尔斯码检测系统,包括莫尔斯码图像输入模块、莫尔斯码图像特征处理模块和莫尔斯码译码模块;

莫尔斯码图像输入模块用于将原始输入莫尔斯码图像的几何平面信息集中到通道维度,并进行初步的处理;

莫尔斯码图像特征处理模块用于对莫尔斯码信号时频图像特征进行初步提取与融合,输出特征图;

莫尔斯码译码模块用于对目标特征序列译码转录,得到上述莫尔斯码的译码。

附图说明

下面结合附图和实施例对本发明作进一步说明:

图1为本发明中VoV-GSCSP模块示意图。

图2为本发明中各模块运行步骤图。

图3为本发明中GSConv模块示意图。

图4为本发明与其他常用检测方法的实现效果对比图。

具体实施方式

实施例1

一种基于改进Yolov5的多路莫尔斯码检测方法,其步骤为:

S1.Fcous层通过先切片后拼接的方式将原始输入莫尔斯码图像的几何平面信息集中到通道维度,利用卷积层实现下采样的操作,Fcous层通过先切片后拼接的方式将原始输入图像(尺寸为640×640,格式为RGB)的几何平面信息集中到通道维度,最后利用卷积层实现了下采样的操作,同时减少了图像信息的损失。对于现有的一些GPU设备,使用6×6大小的卷积层实现Fcous层的等价功能可能更为高效,因此所提模型保留了主干网络中第一个6×6大小的卷积层并将其输出特征图定义为F1。

S2.利用DCNv2、C3及SPPF模块对莫尔斯码信号时频图像特征进行初步提取与融合,输出特征图,将DCNv2和C3模块的组合记为DCi,i表示F1依次经过该组合的次数;将实现局部特征和全局特征融合的SPPF模块记为SPPF。由此,可以得到主干网络三个输出特征图的F

S3.经过主干网络初步的特征提取和融合后,所提模型在颈部网络中沿用FPN与PAN的结构对特征图F

S4.组合使用GSConv和VoV-GSCSP模块重构颈部网络;

GSConv是一种即插即用的轻量化模块,但所提模型并未在所有处理阶段使用该模块。本文通过对比分析SC与GSConv模块的计算复杂度,分别如式(1.7)和(1.8)所示,解释了该模块应用于颈部网络的合理性。

O

其中,W为输出特征图的宽度;H为输出特征图的高度;K

VoV-GSCSP模块结合了VoVNet和CSPNet的特点,沿用了残差连接的思想,通过单次聚合方法构建了基于GSConv的跨阶段局部网络模块。VoV-GSCSP模块与Yolov5s中的C3模块只在BottleNeck部分存在差异,如图3和图4所示,其主要作用是通过增加网络深度和感受野,进一步加强网络的特征提取能力。VoV-GSCSP模块在BottleNeck中使用了GSConv模块并在shortcut路径上额外放置了一个卷积层,该卷积层将GSConv模块前的输入信息添加到BottleNeck的输出信息中,有助于避免因GSConv模块加深网络导致模型定位能力下降的问题,同时能够降低计算成本,丰富梯度的组合信息。VoV-GSCSP模块的结构适用于细长的颈部网络并且可与GSConv模块在同一网络中配合使用,以此降低模型的计算复杂度,同时使检测模型保持足够的精度。

S5.原始输入图像经过主干网络及颈部网络的处理后,最终通过三个不同尺寸(80×80×256,40×40×512,20×20×1024)的检测头,输出预测结果并映射回原图的相应坐标。检测头的输出特征图H

改进YOLOv5s的各层参数设置及输出特征图尺寸如下:

S6.候选框处理阶段利用不同候选框之间的关联信息进行预测框选择,得到选取的目标特征序列;

S7.对目标特征序列译码转录,得到上述莫尔斯码的译码。

实施例2:

一种基于改进Yolov5的多路莫尔斯码检测方法,其步骤为:

S1.Fcous层通过先切片后拼接的方式将原始输入莫尔斯码图像的几何平面信息集中到通道维度,利用卷积层实现下采样的操作;

S2.利用DCNv2、C3及SPPF模块对莫尔斯码信号时频图像特征进行初步提取与融合,输出特征图;

S3.经过主干网络初步的特征提取和融合后,所提模型在颈部网络中沿用FPN与PAN的结构对特征图进行多尺度融合;

S4.组合使用GSConv和VoV-GSCSP模块重构颈部网络;

S5.原始莫尔斯码输入图像经过主干网络及颈部网络的处理后,最终通过检测头输出预测结果并映射回原图的相应坐标;

S6.候选框处理阶段利用不同候选框之间的关联信息进行预测框选择,得到选取的目标特征序列;

最后的候选框处理阶段,为了利用不同候选框之间的关联信息提供更优的预测框选择,所提模型采用CP-Cluster策略对检测头的预测结果进行筛选和处理。该策略通过相邻候选框之间积极或消极信息的传播,不断更新最有可能成为真正预测框的候选框集合,同时通过惩罚机制抑制冗余框的干扰。积极消息主要受某一候选框的邻近候选框数量以及邻近候选框本身置信度的影响。当莫尔斯码与其它背景信号距离较近时,候选框之间的积极消息促使真正的预测框有更大几率从莫尔斯码区域附近拥有高置信度的候选框集合中产生,这有助于避免邻近背景信号被错误检入莫尔斯码的预测框。由于莫尔斯信号的长宽比较大,候选框在横向维度上的差异相较于纵向维度更为明显,不同于NMS只保留唯一预测框的处理方式,CP-Cluster策略最终可能会产生多个拥有相同置信度的预测框,为保证对莫尔斯信号检测的完整性,在此仅保留横向维度最长的一个预测框。

CP-Cluster的算法步骤如表1所示。

表1CP-Cluster的算法步骤

其中,B={b

其中

F

在积极消息生成式中,边界框b

S7.对目标特征序列译码转录,得到上述莫尔斯码的译码。

优选的方案中,步骤2中,包括如下步骤:

S21.将DCNv2和C3模块的组合记为DCi,i表示F1依次经过该组合的次数;

S22.将实现局部特征和全局特征融合的SPPF模块记为SPPF;

S23.得到主干网络三个输出特征图的F

优选的方案中,步骤3中,还包括如下步骤:

S31.FPN结构通过将深层特征图中的莫尔斯码强语义信息传递至浅层特征图中,以此增强多个尺度上的语义表达能力;

S32.PAN结构则通过将浅层特征图中相对准确的莫尔斯码位置信息传递至深层特征图中,以此增强多个尺度上的定位能力;

S33.FPN与PAN的具体结构由GSConv、VoV-GSCSP、Upsample及Concat模块组成,将上述模块依次记为GSC、VoV、Up、Concat;

S34.得到每次Concat后的特征图FC

优选的方案中,步骤4中,

GSConv模块将标准卷积的生成信息渗透到深度可分离卷积模块的生成信息中,用于利用不同通道内相同空间位置上的特征信息,保留各通道间的隐藏连接;

VoV-GSCSP模块在BottleNeck中使用了GSConv模块并在shortcut路径上额外放置了一个卷积层,该卷积层将GSConv模块前的输入信息添加到BottleNeck的输出信息中,用于避免因GSConv模块加深网络导致模型定位能力下降的问题,同时能够降低计算成本,丰富梯度的组合信息。

优选的方案中,检测头的输出莫尔斯码特征图H

优选的方案中,步骤6还包括如下步骤:

S61.获得相邻候选框B1、B2、B3、B4、B5,得到候选框合集{B1,B2,B3,B4,B5};

S62.比较候选框之间径向距离,按照距离赋予权值,距离近赋予高权值,距离远赋予低权值;

S63.比较候选框与其他背景信号距离,距离近赋予高权值,距离远赋予低权值;

S64.重复步骤S62、S63产生多个拥有相同置信度的预测框,保留横向维度最长的一个预测框;

优选的方案中,步骤S64中预测框四周顶点像素坐标,与预测框内顶点相邻像素对比,判决是否异号,确定最小边界,计算偏移量;

用于最大限度减少目标和候选框之间的空隙,提高检测精度。

优选的方案中,S64具体步骤为:

S641.获取预测框四周顶点像素坐标为[(X

S642.如像素异号则保持预测框不变,如不异号则预测框整体扩大或者缩小1像素;

S643.重复步骤S641、S642,获得新的预测框,计算偏移量,确定最终预测框。

优选的方案中,步骤S643计算偏移量的具体步骤为:

S6431.获取原始预测框为A[(X

S6432.当

实施例3:

一种基于改进Yolov5的多路莫尔斯码检测系统,包括莫尔斯码图像输入模块、莫尔斯码图像特征处理模块和莫尔斯码译码模块;

莫尔斯码图像输入模块用于将原始输入莫尔斯码图像的几何平面信息集中到通道维度,并进行初步的处理;

莫尔斯码图像特征处理模块用于对莫尔斯码信号时频图像特征进行初步提取与融合,输出特征图;

莫尔斯码译码模块用于对目标特征序列译码转录,得到上述莫尔斯码的译码。

实施例4:

将本发明的所使用的方法与现有技术中的Faster-RCNN、SSD以及YOLOv8s进行多路莫尔斯码的检测,Faster-RCNN检测过程如下:输入一张待检测莫尔斯码的图像;然后生成候选区域,使用Selective Search算法,在输入图像上生成~2K个侯选区域,最后进行特征提取,将整张图像传入CNN提取特征,利用RolPooling分别生成每个候选区域的特征,利用扣取的特征,对每个候选区域进行分类和回归。SSD检测过程如下:获取待检测莫尔斯码的图片进入SSD算法。首先进行数据预处理,对图片进行如随机裁剪、随机翻转、光度扭曲等变换。然后进入VGG主干网络进行特征提取。在网络的末尾,也就是检测head部分,利用6个特征层进行预测。具体地,将6个特征层分别进行3*3卷积,通道数根据特征层顺序、anchor数、类别数进行变换。将每一个特征层进行正负样本匹配。最后,正样本计算定位损失和类别损失,负样本计算类别损失。将得到的损失进行参数更新。最终,使得正样本的坐标不断接近gt坐标,类别置信率不断接近真实类别分布。YOLOv8s检测过程如下:获取带有莫尔斯码的检测图片,识别莫尔斯码的的中心位置(x,y)、高(h)、宽(w)以及类别,YOLOv8s将分类和检测头分离,同时也从Anchor-Based换成了Anchor-Free,Loss计算方面采用了TaskAlignedAssigner正样本分配策略,并引入了Distribution Focal Loss训练的数据增强部分引入了YOLOX中的最后10epoch关闭Mosiac增强的操作,有效地提升了检测精度。与Faster-RCNN、SSD不同,YOLOv8s在预训练模型中,除随机选择四幅图像的部分并拼接在一起用于增强数据训练样本外。YOLOv8使用close_mosaic,最后10个epoch将关闭此方法。这里的目标是不在所有epoch中向模型提供可能的不现实的情景。IoU(交并比)是阈值,为0.5。这意味着如果预测边界框与实际边界框的重叠区域与它们的并集之比为50%,那么可以说它是true positive。在此点以下,即使类别被正确预测,检测也将被视为假正样本(false positive)。

如说明书附图4所示,当使用SSD检测器时,其中一路莫尔斯码并没有被完整地检测出来。Faster-RCNN与本发明的检测效果较为接近,但Faster-RCNN难以满足莫尔斯码检测的实时性需求并且需要占用大量的内存空间,本发明拥有与Yolov8s类似的检测效果,但具有轻量化以及低处理时延方面的优势。

上述的实施例仅为本发明的优选技术方案,而不应视为对于本发明的限制,本申请中的实施例及实施例中的特征在不冲突的情况下,可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案,包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进,也在本发明的保护范围之内。

技术分类

06120116546764