掌桥专利:专业的专利平台
掌桥专利
首页

矿山架空乘人装置快速检测算法

文献发布时间:2024-04-18 19:58:30


矿山架空乘人装置快速检测算法

技术领域

本发明属于电子信息技术领域,具体涉及矿山架空乘人装置快速检测算法。

背景技术

近些年,伴随着科技和人工智能的快速发展、矿山“新基建”的不断推进,矿山架空乘人装置的运行方式也逐渐向智能、安全、高效、节能发展。矿山架空乘人装置也被工人亲切的称为“猴车”,其主要是用于地下矿井辅助运输工人,其目的是缩短工人上下矿井的路途时间,减轻不必要的体能消耗。目前大多数煤炭矿山架空乘人装置还是依靠传统传感器和驱动装置来实现运行,而智能化、信息化是现代矿山生产的主流发展趋势,对其进行数字化、智能化、信息化是保证其安全、高效、可靠、绿色节能的必然措施。

众所周知,煤炭行业作为高风险行业,通常在各个巷道安装有大量摄像头,但大部分图像资源尚未得到有效的利用。且经发明人对矿山架空乘人装置运行过程中采集得到的图像数据进行分析,发现图像呈现亮度不均、环境复杂、行人尺度变化大等特点。为此,本领域技术人员有必要针对上述问题及图像特点提出一种快速、准确且可靠性高的检测算法,用于对未戴安全帽、违规携带等行为和乘车状态进行可靠检测。这对推动智能化与煤炭行业的融合发展,促进煤炭工业高质量发展,提升工人安全、煤矿生产水平具有重要意义。

随着深度学习技术的不断完善,现有检测技术中,基于深度学习的检测算法已成为如今的主流。如在YOLOv3的基础上使用特征提取和CBAM注意力机制的方法对煤炭矿井行人进行检测,该方法优于经典检测效果;基于热红外图像的改进YOLOv4网络进行人员检测,使用K-means++聚类和迁移学习的策略提高了模型的鲁棒性和泛化能力;基于YOLOv4-Tiny的改进矿井行人检测算法,实现了图像信息全局和局部特征的提取,改进算法的mAP仅为91.98%;在YOLOv5的基础上进一步引入Vision Transformer、Merge Non-MaximumSuppression和Meta-AconC,虽然得到了更高的检测精度,但检测速度却有所下降;基于并行特征传输网络(PftNet)的检测器来解决地下矿井行人检测问题,PftNet能更适合物体不同尺度和长宽比,进一步提升精度;随着Transformer的提出和在视觉领域的应用,在解决大目标上取得了很好的效果,但其存在参数量大、运算速度慢的缺点以及在处理小目标任务中有很多的局限性,难以应用到矿山架空乘人装置的检测任务。

发明人通过研究发现,矿山架空乘人装置工作台的图像背景固定,但其较为复杂,主要分为无人时段、较少数人需要乘车时段和工人上下矿井高峰期时段。当处于上下矿井高峰期时段会在工作台上聚集大量工人,许多图像呈现出高密集性。虽然视觉领域出现了较多高质量的目标检测算法,但矿山架空乘人装置处于复杂且恶劣的环境中,无法采集到理想的图像信息,且矿山架空乘人装置的检测任务,有着准确性高、速度快的需求,若对其检测直接采用目标检测算法,很难得到理想的效果。对准确检测矿山架空乘人装置的任务来说,现有的目标检测算法仍有很大的局限性。因此需要设计一个高准确、速度快的算法模型来实时检测架空乘人装置工作台的行人动向。

发明内容

针对矿井下具有复杂恶劣的环境,图像存在光照差、背景复杂、行人模糊、行人多尺度等缺陷,目前的检测模型普遍存在计算量多、参数量大的问题,故检测速度较慢,目前主流算法的检测效果并不能满足架空乘人装置的检测任务。本发明的就在于针对矿山架空乘人装置的检测需求,重新设计轻量化、快速化、准确性高的检测模型,用于对未戴安全帽、违规携带等行为和乘车状态进行可靠检测。

为了实现上述目的,本发明通过以下技术方案实现的:

矿山架空乘人装置快速检测算法,包括以下步骤:

S1、基于YOLOv7的框架,重构网络得到轻量化网络模型:将原YOLOv7中的骨干网络Backbone改进为FasterNet,使用跨连接的GSCSP模块代替YOLOv7的Head检测头中的SPPCSPC模块,并利用PConv模块改进YOLOv7的Head检测头中的ELAN模块,重构网络以减少计算量和参数量,得到轻量化网络模型,以提升模型的处理速度;

S2、在FasterNet中添加CA注意力机制得到FasterNet-CA,以加强特征提取,弥补轻量化网络模型造成特征提取信息丢失的问题,以提升检测精度;

S3、采用自适应空间ASFF结构,加强轻量化网络模型的上下层之间的信息交互,得到MOOD算法模型;以提高预测框的精准度,使模型检测效果更好。

S4、在真实的矿山架空乘人装置生产环境采集图像,并制作数据集,再采用数据集对MOOD算法模型进行训练、验证和测试,最终得到矿山架空乘人装置快速检测算法。

优选地,步骤S1中,在保证精度的前提下,本申请采用FasterNet作为轻量化网络模型的主干网络,FasterNet是Jierun Chen等人在2023年提出的一种快速化、轻量级检测网络。所述FasterNet是由Embedding、FasterNet Block、Merging和Classifier组成的结构,且包括四个阶段,其中阶段一之前通过Embedding(一个Conv 4×4,stride为2)层处理,其他阶段之前使用Merging(一个Conv 2×2,stride为2)层处理,用于空间下采样和通道数拓展,每个阶段都由FasterNet Block堆叠而成。

优选地,每个所述FasterNet Block都由1个PConv和后续的两个PWConv 1×1或Conv1×1构成,且三者构成了一个倒残差的架构,中间层的通道数量更多,并放置了一个Shortcut连接以重用输入特征。

相比于YOLOv7的Backbone,采用FasterNet作为主干网络,参数量下降了32.5%,计算量下降了60.1%。

优选地,步骤S1中,为了进一步降低模型的参数量,使用跨连接的GSCSP模块代替YOLOv7的Head检测头中的SPPCSPC模块,SPPCSPC模块由普通卷积模块和池化操作组成,其参数量达到了7.6 MB。所述GSCSP模块是在GSConv模块的基础上设计的一种跨级部分网络,由普通卷积块和GS bottleneck模块组成,参数量仅为18 MB。针对架空乘人装置工作台的环境容易对检测目标造成干扰,网络传递的过程中会导致误检和错检,且图像在Backbone的转换过程中,导致了空间信息逐步向通道传输,而且每次特征图的压缩和拓展都会导致一部分的信息丢失的问题,GSConv模块则尽可能的保留了每个通道之间的隐藏连接,保留更多的信息。使用GSConv模块处理拼接特征图恰到好处,可以使冗余重复信息减少、不需要压缩、注意力模块效果更好。因此,采用GSCSP模块可降低模型的计算量和网络结构的复杂性,但能够保持足够的精度。

优选地,步骤S1中,ELAN模块因其增加了网络深度使得检测效果更好,但这样也增加了模型的参数量和计算量。为了能使矿山架空乘人装置的检测效果更好,使用PConv模块重新设计ELAN结构从而得到ELAN-PConv模块,简称ELAN-P模块,用于在保证精度的前提下,降低模型的复杂性。由于特征图在不同通道之间具有高度的相似性和冗余,所以引入PConv模块以减少计算冗余和内存访问。PConv模块只需在输入通道的一部分上应用常规Conv模块进行空间特征提取,并保持其余通道不变。对于连续或规则的内存访问,将第一个或最后一个连续c

(1)

式(1)中,h、w是特征图的宽和高,k是卷积核的大小,cp是PConv模块卷积作用的通道数,c是Conv模块卷积作用的通道数。取

(2)

PConv模块的内存访问的压缩比如下式所述:

(3)

式(3)中,h、w是特征图的宽和高,k是卷积核的大小,cp是PConv模块卷积作用的通道数,c是Conv模块卷积作用的通道数。取

(4)

优选地,步骤S2中,所述FasterNet-CA是在FasterNet的第一层和第三层添加CA注意力机制得到的,且是在FasterNet Block中的第二个Conv模块后插入CA注意力机制得到的,以加强体征提取能力、提升检测精度。随着网络的不断加深,在传递过程中通常会忽略位置信息的变化,而CA注意力机制不仅获取了通道信息还考虑了方向相关的位置信息,有助于模型更好地定位和识别目标。并在几乎不带来额外计算的前提下,形成一对方向感知和位置敏感的特征图,可以互补地应用的输入特征图来增强兴趣目标的表示。

优选地,步骤S3中,由于大多数的多尺度特征提取都是单向信息传递的方式,影响不同层级别之间的融合效果,这种方法存在特征信息丢失和退化问题,会对最后的检测效果和预测框的位置产生影响,因此采用自适应空间ASFF结构进行三个层级的特征融合。所述自适应空间ASFF结构支持不同层级别的直接交互,在保留单向信息传递的过程中,将两个相邻的低级特征融合入高级特征中,从而避免由于单向信息传递导致的特征信息丢失和退化问题以及不同层级别之间语义差距较大的问题,从而保留更多用的信息,使检测效果更好,定位更加准确。使用自适应空间ASFF结构为不同层级的特征分配不同的空间权重,增强了关键层级的重要性,并减轻了来自不同目标的矛盾信息的影响,如下面公式所示:

(5)

式(5)中,X、Y、Z是分别来自Level 1、Level2、Level3的特征,权重参数α、β、γ于来自不同层的特征相乘并相加,得到了融合特征自适应空间ASFF结构。

优选地,步骤S4中,采用VOC数据集格式对工人乘坐架空乘人装置的图像进行处理,制作数据集,所述数据集包括训练集、验证集、测试集。

与现有技术相比,本发明的有益效果为:

(1)本申请针对矿山架空乘人装置图像的自身特点,提出了矿山架空乘人装置数据集,使用YOLOv7 Head的部分结构,重新设计以FasterNet、GSCSP和ELAN-P为基础的网络模型,减小了网络模型的计算量和参数量,以提升模型的处理速度;

(2)为了弥补轻量化网络造成特征提取信息丢失的问题,本申请在FasterNet中添加CA注意力机制加强特征提取,以提升检测精度;

(3)由于矿井恶劣环境中,光照差、背景复杂、行人模糊、行人多尺度的特点,本申请采用自适应空间ASFF结构,加强上下层之间的信息交互,提高预测框的精准度,使模型检测效果更好。

总之,本发明与其他主流算法相比,MOOD算法模型的大小仅为47 MB,参数量仅为23.3 MB,mAP达到了96.6%,且检测速度FPS达到了121帧每秒,能够满足矿山架空乘人装置的检测精度和速度要求,可用于对未戴安全帽、违规携带等行为和乘车状态进行可靠检测。

附图说明

图1为实施例中本发明的MOOD算法模型的网络结构图;

图2为实施例中本发明的FasterNet的结构示意图;

图3为实施例中本发明的GS bottleneck模块的结构示意图;

图4为实施例中本发明的GSCSP模块的结构示意图;

图5为实施例中本发明的GSConv模块的结构示意图;

图6为实施例中本发明的ELAN-P模块的结构示意图;

图7为实施例中本发明的PConv模块的结构示意图;

图8为实施例中本发明的FasterNet Block的结构示意图;

图9为实施例中本发明的FasterNet-CA的结构示意图;

图10为实施例中本发明的自适应空间ASFF结构的示意图;

图11为实施例中本发明的数据集的采集信息图;

图12为实施例中本发明的CA注意力机制在FasterNet中各层的性能对比图;

图13为实施例中本发明的CA注意力机制在FasterNet中各层的参数量对比图;

图14为实施例中本发明的预测框结果及局部放大图;

图15为实施例中各个模型对hat、state1和state2的检测结果及局部放大图;

图16为实施例中各个模型对hat和state1检测结果及局部放大图;

图17为实施例中各个模型对head的检测结果及局部放大图;

图18为实施例中各个模型对illegal carrying的检测结果及局部放大图。

具体实施方式

下面将结合本实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,均属于本发明的保护范围。

实施例

如图1所示,本实施例提出的矿山架空乘人装置快速检测算法,包括以下步骤:

S1、基于YOLOv7的框架,重构网络得到轻量化网络模型:将原YOLOv7中的骨干网络Backbone改进为FasterNet,使用跨连接的GSCSP模块代替YOLOv7的Head检测头中的SPPCSPC模块,并利用PConv模块改进YOLOv7的Head检测头中的ELAN模块,重构网络以减少计算量和参数量,得到轻量化网络模型,以提升模型的处理速度。

S2、在FasterNet中添加CA注意力机制得到FasterNet-CA,以加强特征提取,弥补轻量化网络模型造成特征提取信息丢失的问题,以提升检测精度。

S3、采用自适应空间ASFF结构,加强轻量化网络模型的上下层之间的信息交互,得到MOOD算法模型;以提高预测框的精准度,使模型检测效果更好。

S4、在真实的矿山架空乘人装置生产环境采集图像,并制作数据集,再采用数据集对MOOD算法模型进行训练、验证和测试,最终得到矿山架空乘人装置快速检测算法。

其中,步骤S1中,在保证精度的前提下,本申请采用FasterNet作为轻量化网络模型的主干网络,FasterNet(其结构如图2所示)是Jierun Chen等人在2023年提出的一种快速化、轻量级检测网络。所述FasterNet是由Embedding、FasterNet Block、Merging和Classifier组成的结构,且包括四个阶段,其中阶段一之前通过Embedding(一个Conv 4×4,stride为2)层处理,其他阶段之前使用Merging(一个Conv 2×2,stride为2)层处理,用于空间下采样和通道数拓展,每个阶段都由FasterNet Block堆叠而成。每个所述FasterNet Block都由1个PConv和后续的两个PWConv 1×1或Conv1×1构成,且三者构成了一个倒残差的架构,中间层的通道数量更多,并放置了一个Shortcut连接以重用输入特征。相比于YOLOv7的Backbone,采用FasterNet作为主干网络,参数量下降了32.5%,计算量下降了60.1%。

步骤S1中,为了进一步降低模型的参数量,使用跨连接的GSCSP模块代替YOLOv7的Head检测头中的SPPCSPC模块,SPPCSPC模块由普通卷积模块和池化操作组成,其参数量达到了7.6 MB。所述GSCSP模块(其结构如图4所示)是在GSConv模块(其结构如图5所示)的基础上设计的一种跨级部分网络,由普通卷积块和GS bottleneck模块(其结构如图3所示)组成,参数量仅为18 MB。针对架空乘人装置工作台的环境容易对检测目标造成干扰,网络传递的过程中会导致误检和错检,且图像在Backbone的转换过程中,导致了空间信息逐步向通道传输,而且每次特征图的压缩和拓展都会导致一部分的信息丢失的问题,GSConv模块则尽可能的保留了每个通道之间的隐藏连接,保留更多的信息。使用GSConv模块处理拼接特征图恰到好处,可以使冗余重复信息减少、不需要压缩、注意力模块效果更好。因此,采用GSCSP模块可降低模型的计算量和网络结构的复杂性,但能够保持足够的精度。

另外,步骤S1中,ELAN模块因其增加了网络深度使得检测效果更好,但这样也增加了模型的参数量和计算量。为了能使矿山架空乘人装置的检测效果更好,使用PConv模块重新设计ELAN结构从而得到ELAN-PConv模块,简称ELAN-P模块,其结构如图6所示。用于在保证精度的前提下,降低模型的复杂性。由于特征图在不同通道之间具有高度的相似性和冗余,所以引入PConv模块以减少计算冗余和内存访问。PConv模块只需在输入通道的一部分上应用常规Conv模块进行空间特征提取,并保持其余通道不变。对于连续或规则的内存访问,将第一个或最后一个连续c

图7为PConv模块的结构示意图,PConv模块的计算量的压缩比如下式所示:

(1)

式(1)中,h、w是特征图的宽和高,k是卷积核的大小,cp是PConv模块卷积作用的通道数,c是Conv模块卷积作用的通道数。取

(2)

PConv模块的内存访问的压缩比如下式所述:

(3)

式(3)中,h、w是特征图的宽和高,k是卷积核的大小,cp是PConv模块卷积作用的通道数,c是Conv模块卷积作用的通道数。取

(4)

具体地,步骤S2中,所述FasterNet-CA是在FasterNet的第一层和第三层添加CA注意力机制得到的,且是在FasterNet Block中的第二个Conv模块后插入CA注意力机制得到的,以加强体征提取能力、提升检测精度。随着网络的不断加深,在传递过程中通常会忽略位置信息的变化,而CA注意力机制不仅获取了通道信息还考虑了方向相关的位置信息,有助于模型更好地定位和识别目标。并在几乎不带来额外计算的前提下,形成一对方向感知和位置敏感的特征图,可以互补地应用的输入特征图来增强兴趣目标的表示。图8为FasterNet Block的结构示意图,图9为FasterNet-CA的结构示意图。

本实施例中,步骤S3中,由于大多数的多尺度特征提取都是单向信息传递的方式,影响不同层级别之间的融合效果,这种方法存在特征信息丢失和退化问题,会对最后的检测效果和预测框的位置产生影响,因此采用自适应空间ASFF结构进行三个层级的特征融合。所述自适应空间ASFF结构支持不同层级别的直接交互,在保留单向信息传递的过程中,将两个相邻的低级特征融合入高级特征中,从而避免由于单向信息传递导致的特征信息丢失和退化问题以及不同层级别之间语义差距较大的问题,从而保留更多用的信息,使检测效果更好,定位更加准确。使用自适应空间ASFF结构为不同层级的特征分配不同的空间权重,增强了关键层级的重要性,并减轻了来自不同目标的矛盾信息的影响,如下面公式所示:

(5)

式(5)中,X、Y、Z是分别来自Level 1、Level2、Level3的特征,权重参数α、β、γ于来自不同层的特征相乘并相加,得到了融合特征自适应空间ASFF结构,如图10所示。

更具体地,步骤S4中,采用VOC数据集格式对工人乘坐架空乘人装置的图像进行处理,制作数据集,所述数据集包括训练集、验证集、测试集。

为了验证上述技术方案,本实施例进行了以下实验:

1、实验环境:

采用的操作系统为Windows10,CPU型号为Intel(R)Core(TM) i7-12700F CPU @2.90GHz,运行内存为32GB,GPU型号为NVIDIA GeForce GTX 3080,显存为12GB。该YOLOV7模型应用的深度学习框架是Pytorch,编程语言为Python。参数设置为:学习率设为0.01、动量0.937、权重衰减0.0005、网络共训练100轮。

2、数据集:

为了满足矿山架空乘人装置的检测任务,实验所使用的数据来自真实矿山架空乘人装置工作台。根据对工人乘坐架空乘人装置的图像分析,只有工人在上下班时间才会大规模使用矿山架空乘人装置,而绝大部分时间的矿山架空乘人装置工作台都是无人乘车状态。当工人需要下井工作时,需要手持架空乘人装置并将其挂在运转的钢丝绳装置上。在工人乘车的过程中,分为两个状态,state1和state2。state1为手持架空乘人装置等待挂车,state2为开始有上挂架空乘人装置动作直到工人坐好。同时为了保证工人的安全,将检测工人是否配戴安全帽、在乘车过程中违规携带异物。当检测到矿山架空乘人装置工作台无人乘车时,将辅助钢丝绳装置停止运转。采用VOC数据集格式来制作数据集,得到XML文件。如图11所示,矿山乘人装置数据集中包括5种(分别记作hat、head、state1、state2和illegal carrying)共计6500余张各类场景图像,并按照随机生成8:1:1的比例划分训练集、验证集、测试集。

3、实验结果和分析:

3.1轻量化网络实验:由于在复杂的矿井恶劣环境中,光照差、背景复杂、行人模糊、行人多尺度等问题。而目前主流算法的参数量大、计算量大,导致了检测速度较慢,实时检测的效果较差,并不适用于矿山架空乘人装置的检测任务。为了选取适合架空乘人装置检测任务的轻量化主干网络,实验中对比了MobileNetV3、GhostNetV1、GhostNetV2、ShuffleNetV2、PP-LCNet、FasterNet。如表1所示, FasterNet在Parameter、FLOPs、模型大小上虽略差于其他模型,但其差距不多;FasterNet在mAP和FPS有其独特的优势,分别达到了0.941和98.04,均优于其他轻量化模型,因此本实施例以FasterNet为基础重新设计轻量化主干网络。

表1轻量化网络参数对比表

3.2 消融实验:为了弥补轻量化网络造成特征提取信息丢失的问题,在FasterNet的基础上重新构建适合架空乘人装置检测任务的FasterNet Block-CA,分别将FasterNetBlock-CA添加在网络主干的不同位置并进行对比。结果如图12所示,FasterNet Block-CA在主干网络不同层时性能对比,将各个模型的精度(Precision)、召回率(Recall)、平均精度(mAP)进行对比。

如图13所示,在参数量相差不大的前提前下,通过实验数据说明:FasterNetBlock-CA2的召回率达到了0.928,FasterNet Block-CA1-3的精度和平均精度分别达到了0.928和0.945。因此选用FasterNet Block-CA1-3即将CA注意力添加在FasterNet的第一层和第三层。将CA注意力机制添加在第一层和第三层能更好的使网络关注大范围的位置信息,更符合架空乘人装置检测任务的要求。

图12、图13中FasterNet Block-CA1、FasterNet Block-CA2、FasterNet Block-CA3、FasterNet Block-CA4、FasterNet Block-CA1-2、FasterNet Block-CA1-3、FasterNetBlock-CA1-4、FasterNet Block-CA1~4分别表示FasterNet Block-CA应用到主干网络的第一层、第二层、第三层、第四层、第一层和第二层、第一层和第三层、第一层和第四层、每一层。

为了进一步说明本实施例中每个模块的有效性,通过消融实验,分析不同模块对模型检测效果带来的影响。如表2所示,主干特征提取网络更换为FasterNet-CA(简称FC)的模型,较YOLOv7参数量下降了12.1 MB,FLOPs减少了60%,但mAP仅下降了0.005;将Head检测头中的SPPCSPC模块改为GSCSP模块的模型,虽然参数量和计算量有所减少,但检测速度FPS反而下降;ELAN-P模块(利用PConv模块改进ELAN模块)在参数量、计算量、平均精度、检测速度都优于YOLOv7;采用自适应空间ASFF结构的模型,虽然增加了模型的复杂性,使检测速度下降,但mAP却提升了0.021;FC+ASFF、ELAN-P+ASFF、GSCSP+ELAN-P、FC+GSCSP+ELAN-P是不同方法组合的实验,而MOOD(FC+GSCSP+ELAN-P+ASFF)算法模型在检测精度和检测速度上均优于其他对比模型。实验证明了采用轻量化FasterNet-CA、GSCSP、PConv可以大幅降低参数量和计算量并提升检测速度,导致mAP效果不佳。而ASFF结构虽然会增加大量的参数量和计算量,但同时也增强了非相邻层级之间的信息交流,避免了信息在传递的过程中的丢失和退化,能保留更多的有效信息,使得检测框更加准确,从而可以得到更好的检测效果,能够完全满足架空乘人装置的检测需求。

表2:消融实验结果对比表

3.3对比试验:为了解决预测框不准确的问题,采用自适应空间ASFF结构进行连接。通过将上下级的信息进行交互,避免了信息在传递的过程中的丢失和退化。图14示出了预测框结果及局部放大图,红色矩形框是未使用自适应空间ASFF结构的预测框,黄色矩形框是采用自适应空间ASFF结构后的预测框。从图可见:采用自适应空间ASFF结构的预测框更贴近检测物体,能够更好的对检测目标定位。

为了客观、充分的展示设计模型的优势,将MOOD算法模型与Faster R-CNN、SSD、YOLOX、YOLOv5、YOLOv7、DETR模型的对比试验,各个实验模型均使用相同的矿山架空乘人装置数据集进行训练和推理验证。如表3所示为各个模型的参数量(Parameter)、计算量(FLOPs)、检测速度(FPS)、平均检测精度(mAP)、模型权重(Weights)参数对比结果。

从表3可见:在相同数据集下,虽然YOLOX模型和YOLOv5模型在参数量和计算量上都比MOOD算法模型要小,且YOLOv5模型的模型权重文件也比MOOD算法模型要小,但MOOD算法模型在检测速度和平均检测精度上都优于其他各对比模型。而对比YOLOv7模型,实现了轻量化网络模型、更快的检测速度、更高的检测精度。

表3:不同模型性能对比试验统计表

如图15所示:Faster R-CNN在检测hat时,一些被遮挡的hat并未被检测到;YOLOv5并未检测到state1。YOLOX和MOOD算法模型的检测结果更贴近实际目标,相较于其他模型的检测位置信息更加准确。MOOD算法模型检测hat、state1和state2的置信度分别为0.90、0.81和0.93。相比于其他模型,MOOD算法模型的检测效果更好。

从图16所示:由于hat的检测目标较小、场景复杂、行人尺度大的原因,各个模型都出现了不同程度的漏检现象。但针对已检测的目标,MOOD算法模型检测hat和state1的置信度分别为0.92和0.97。不仅检测位置信息更加准确,而且置信度均优于其他对比模型。

从图17所示:各个模型检测都能很好的检测出head,MOOD算法模型检测head的置信度为0.83,相较于其他模型,MOOD算法模型的检测框更加准确。

从图18所示:各个模型均正确的检测到illegal carrying,但YOLOv7模型的检测框并未完全覆盖目标信息,而MOOD算法模型不仅能更加准确的检测到目标,而且检测illegal carrying的置信度为0.92。

综上可见,本实施例中的技术方案具有以下特点:

(1)针对矿山架空乘人装置图像的自身特点,提出了矿山架空乘人装置数据集,使用YOLOv7 Head的部分结构,重新设计以FasterNet、GSCSP和ELAN-P为基础的网络模型,减小了网络模型的计算量和参数量,以提升模型的处理速度;

(2)为了弥补轻量化网络造成特征提取信息丢失的问题,在FasterNet模块中添加CA注意力机制加强特征提取,以提升检测精度;

(3)由于矿井恶劣环境中,光照差、背景复杂、行人模糊、行人多尺度的特点,本实施例采用自适应空间ASFF结构,加强上下层之间的信息交互,提高预测框的精准度,使模型检测效果更好。

与其他主流算法相比,本实施例的MOOD算法模型的大小仅为47 MB,参数量仅为23.3 MB,mAP达到了96.6%,且检测速度FPS达到了121帧每秒,能够满足矿山架空乘人装置的检测精度和速度要求,可用于对未戴安全帽、违规携带等行为和乘车状态进行可靠检测。

以上已经描述了本发明的实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的实施例。在不偏离所说明实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

相关技术
  • 一种矿山架空乘人装置故障检测装置
  • 一种矿山架空乘人装置故障检测装置
技术分类

06120116499253