基于交叉融合注意力机制的危险品检测方法及装置

技术领域

本发明属于危险品检测技术领域，尤其涉及一种基于交叉融合注意力机制的危险品检测方法及装置。

背景技术

太赫兹波检测技术作为一种新兴的无损、无辐射的检测手段，具有在危险品检测领域广泛应用的潜力。太赫兹波能够穿透多种物质，使得在复杂背景下进行危险品检测成为可能；太赫兹成像技术对生物组织和环境没有伤害，适用于敏感场所的安检。

近年来，深度学习技术的快速发展为图像识别和检测提供了强大的工具。然而，传统的目标检测器在太赫兹图像危险品检测中存在一定的局限性，同时传统的目标检测器在速度和轻量化方面不够理想，无法满足实时或移动设备等边缘设备上的应用需求，并且太赫兹图像中的危险品目标通常具有多样的尺寸和复杂的形状，传统的检测方法在准确性和鲁棒性方面存在挑战。

发明内容

本发明提出了一种基于交叉融合注意力机制的危险品检测方法及装置，以解决上述现有技术中存在的技术问题。

为实现上述目的，本发明提供了一种基于交叉融合注意力机制的危险品检测方法及装置，包括：

获取太赫兹图像，所述太赫兹图像包括：训练图像和测试图像；

构建深度学习网络模型，所述深度学习网络模型包括：backbone特征提取网络、neck特征提取网路、高效融合模块、交叉融合自注意力和YoloHead检测头；

基于所述训练图像训练所述深度学习网络模型，得到训练好的深度学习网络模型；

将所述测试图像输入至训练好的深度学习网络模型中，输出危险品检测结果。

优选地，训练所述深度学习网络模型的过程包括：

基于所述高效融合模块，将backbone特征提取网络、neck特征提取网路各自输出的特征图进行跨空间、跨通道融合，得到第一输出特征图。

优选地，跨空间融合的过程包括：

获取输入特征图，通过卷积层扩大所述输入特征图的通道维数，并分割得到第一特征图，将所述第一特征图分别通过本地特征提取块、全局特征提取块，得到重要信息和全局上下文信息，将所述重要信息、所述全局上下文信息进行相加，得到第一注意力权重。

优选地，第一注意力权重的计算公式：

s

其中

优选地，跨通道融合的过程包括：

将所述输入特征图分别进行平均池化和最大池化后拼接，得到拼接通道特征，基于本地特征提取块将所述拼接通道特征进行转换并分割，得到第一通道注意力特征图和第二通道注意力特征图；

获取输入特征图经过卷积层后的原始加权特征，将所述第一通道注意力特征图与所述原始加权特征相乘，得到加权特征；

将第二通道注意力特征图通过全局特征提取块、本地特征提取块和sigmoid函数，得到第二注意力权重；

基于所述原始加权特征、所述加权特征和所述第二注意力权重，得到第一输出特征图。

优选地，所述第一输出特征图的计算公式：

s

F

其中F

优选地，训练所述深度学习网络模型的过程还包括：

基于所述交叉融合自注意力，将neck特征提取网路输出的特征图进行融合，得到第二输出特征图。

优选地，得到第二输出特征图的过程包括：

对所述输入特征图进行reshape和卷积操作，得到第一输入序列和第二输入序列，分别将所述第一输入序列、第二输入序列进行映射，得到第一映射参数和第二映射参数，基于所述第一映射参数和第二映射参数，计算得到第二输出特征图。

优选地，第二输出特征图的计算公式：

X

其中，head

F

其中，concate(·,·)

本发明还公开了一种基于交叉融合注意力机制的危险品检测装置，包括：计算机、太赫兹成像设备和扫描式太赫兹收发装置；所述计算机依次与所述扫描式太赫兹收发装置、所述太赫兹成像设备连接。

与现有技术相比，本发明具有如下优点和技术效果：

本发明提供了一种交叉融合注意力机制的太赫兹危险品检测方法及装置，深度学习网络模型中引入了高效融合模块和交叉融合自注意力，能够有效利用太赫兹图像中的特征信息，提高危险品目标的检测准确性和鲁棒性。同时，轻量化原始yolov8网络，降低网络的复杂度，提高计算效率。随着太赫兹成像技术的不断发展和广泛应用，结合深度学习的危险品检测算法可广泛应用于安检、边境检查、反恐等领域，提升公共安全水平。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例的太赫兹危险品检测装置的组成示意图；

图2为本发明实施例的检测网络整体架构示意图；

图3为本发明实施例的高效融合模块网络架构示意图；

图4为本发明实施例的本地特征提取块和全局特征提取块网络示意图；

图5为本发明实施例的交叉融合自注意力模块网络架构示意图；

其中，101-计算机、102-太赫兹成像设备、103-扫描式太赫兹收发装置、104-被检人员。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1所示，本实施例中提供一种基于交叉融合注意力机制的危险品检测装置，包括：计算机101、太赫兹成像设备102、扫描式太赫兹收发装置103、被检人员104；计算机101与太赫兹成像设备102连接，同时连接扫描式太赫兹收发装置103。

扫描式太赫兹收发装置103通过发送太赫兹信号，对被检人员104进行扫描或测量，从被检测人员104反射或散射的太赫兹信号传回扫描式太赫兹收发装置103；太赫兹成像设备102对接收到的太赫兹信号进行处理和分析，生成太赫兹图像；计算机101通过深度学习图像检测算法获取被检人员104的太赫兹图像并进行危险品检测。

实施例二

本实施例中提供一种基于交叉融合注意力机制的危险品检测方法，包括以下步骤：

步骤1：由太赫兹成像设备102拍摄被检人员104图像，构建太赫兹图数据集I

步骤2.1：搭建如图2所示网络模型，所述深度学习网络模型包括backbone特征提取网络、neck特征提取网路、高效融合模块、交叉融合自注意力和YoloHead检测头结构。

使用尺寸为3×640×640的RGB图像作为输入进入网络模型的backbone，分别通过卷积、C2F层和SPPF层，并输出三个尺度不同的特征图I

在网络模型的neck中，为实现特征图的高效融合的精细调整和进一步减低参数量。在neck的整体结构中。首先，利用卷积核大小为1的卷积来替换2个C2F模块，降低网络的复杂度，提高计算效率。neck输出三个尺度不同的特征图I

步骤2.2：高效融合模块如图3所示，假设给定输入特征图F∈R

s

其中

对于通道注意力部分，特别的，这部分也使用了空间注意力的思想来调整权重。将输入特征图F∈R

s

F

上式中F

步骤2.3：交叉融合自注意力模块如图5所示，首先，给定输入特征F

F

F

其中，reshape(·)表示对特征图进行维度的变换，Conv(·)

其中，

上式中引入比例因子

X

其中，head

F

上式中concate(·,·)

步骤3：训练方法包括先冻结骨架特征提取网络部分的权重，训练20个epoch，然后解冻所有权重，训练80个epoch；所使用的损失函数和原始yolov8中的损失函数一致。设置网络训练参数：学习率lr＝0.01、batchsize＝64、训练集验证集划分为0.9：0.1、优化器使用SGD和训练周期为100轮。

步骤4：使用训练好的网络进行预测，输入测试图像，输出太赫兹图像目标预测目标框。首先将待测图片I

获得所描述检测框的自身坐标位置(x,y,w,h)所对应的归一化位置坐标(X,Y,W,H)，并将其绘制在测试图像中。若待检测图像输出了检测框，则代表被检人员携带了危险品，反之，代表被检人员没有携带危险品。

与现有技术相比，本实施例的有益效果及优点：

本实施例提供了一种基于交叉融合注意力机制的太赫兹危险品检测方法及装置。一般来说检测算法难以兼顾检测速度和准确性，本实施例通过引入交叉融合注意力机制，有效捕捉太赫兹图像中危险品目标的细节特征，从而提升检测的准确性和鲁棒性。同时，设计的高效融合块实现了特征图之间的跨通道和跨空间的信息融合，能够降低网络的复杂度，提高计算效率。该方法具有快速、轻量化和准确性的优势，适用于太赫兹图像危险品检测的实时应用和各类场景。在工业安全、安检、边境防控等领域具有广阔的应用前景。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。