基于图像融合的目标检测方法、人体安检设备、存储介质

技术领域

本申请涉及但不限于毫米波图像处理技术领域，尤其涉及一种基于图像融合的目标检测方法、人体安检设备、存储介质。

背景技术

由于毫米波人体安检设备生成的毫米波图像分辨率较差，且受到周围环境干扰，以及人体穿着的衣物、人体携带的物品具有多样性和复杂性。往往需要非常有经验的安检人员根据毫米波图像进行人工判定，从而实现对危险品的检测和识别，此类人工检测方法费时费力，导致安检效率低，不能快速高效地实现对危险品的定位和识别。

随着深度学习技术快速发展和应用，当前该技术已经较大程度提高了人体安检产品的客户体验感。为了不断提高目标检测的检出率，同时降低虚警率，基于深度学习的目标检测方法得到了广泛应用，例如基于多传感器融合的目标检测，但是这种多传感器融合方案，会出现多传感器物品检测目标无法准确地进行物品坐标对齐的问题，例如，在旅客过安检的时候，会出现多种物品堆叠在人体上的问题，物品可能出现在人体身体部位外部，或出现在人体身体部位内部，不利于毫米波图像中物品检出，进而增高物品检测的虚警率，严重影响了人体安检产品的客户体验感。

发明内容

本申请实施例提供了一种基于图像融合的目标检测方法、人体安检设备、存储介质，能够有效降低人体安检产品的物品检测虚警率，从而提升人体安检产品的客户体验感。

第一方面，本申请实施例提供了一种基于图像融合的目标检测方法，应用于人体安检设备，所述方法包括：

获取参考对象对应的可见光图像和毫米波图像；

根据第一目标检测算法对所述可见光图像进行图像处理，得到所述参考对象对应的可见光检测结果，所述可见光检测结果包括可见光人体矩形框坐标和若干个可见光物品矩形框坐标；

根据第二目标检测算法对所述毫米波图像进行图像处理，得到所述参考对象对应的毫米波检测结果，所述毫米波检测结果包括毫米波人体矩形框坐标和若干个毫米波物品矩形框坐标；

计算所述可见光人体矩形框坐标对应的矩形框中的若干个第一物品特征向量，并计算所述毫米波人体矩形框坐标对应的矩形框中的若干个第二物品特征向量；

根据余弦相似度算法、各个所述第一物品特征向量和各个所述第二物品特征向量计算各个参考对齐置信度值，其中，所述参考对齐置信度值表征所述可见光物品矩形框坐标与所述毫米波物品矩形框坐标之间的对齐置信度值；

从全部的所述参考对齐置信度值中确定目标对齐置信度值，确定所述目标对齐置信度值对应的目标毫米波物品矩形框坐标和目标可见光物品矩形框坐标，并将所述目标毫米波物品矩形框坐标映射在所述目标可见光物品矩形框坐标上。

在一些实施例中，所述人体安检设备包括毫米波成像装置和可见光摄像头，在所述毫米波图像为毫米波视频流，所述可见光图像为可见光视频流的情况下，在所述获取参考对象对应的可见光图像和毫米波图像之前，所述方法还包括：

根据所述毫米波成像装置的位置信息调整所述可见光摄像头的拍摄方向信息和安装位置信息，以使所述可见光图像与所述毫米波图像对应的视角相同；

确定参考帧率，所述参考帧率为所述毫米波视频流的帧率，根据所述参考帧率调整所述可见光摄像头的帧率，以使所述可见光摄像头的帧率与所述参考帧率相同。

在一些实施例中，所述可见光物品矩形框坐标的数量为一，所述可见光人体矩形框坐标包括第一中心点坐标、第一左上角点坐标、第一左下角点坐标、第一右上角点坐标和第一右下角点坐标，所述可见光物品矩形框坐标包括第二中心坐标、第二左上角点坐标、第二左下角点坐标、第二右上角点坐标和第二右下角点坐标，所述计算所述可见光人体矩形框坐标对应的人体矩形框中的若干个第一物品特征向量，包括：

计算所述第一中心点坐标与所述第二中心点坐标之间的第一欧式距离值；

计算所述第一左上角点坐标与所述第二左上角点坐标之间的第二欧式距离值；

计算所述第一左下角点坐标与所述第二左下角点坐标之间的第三欧式距离值；

计算所述第一右上角点坐标与所述第二右上角点坐标之间的第四欧式距离值；

计算所述第一右下角点坐标与所述第二右下角点坐标之间的第五欧式距离值；

对所述第一欧式距离值、所述第二欧式距离值、所述第三欧式距离值、所述第四欧式距离值和所述第五欧式距离值进行归一化处理，得到所述第一物品特征向量。

在一些实施例中，所述毫米波人体矩形框坐标包括第三中心点坐标、第三左上角点坐标、第三左下角点坐标、第三右上角点坐标和第三右下角点坐标，所述毫米波物品矩形框坐标至少包括第一毫米波物品矩形框坐标和第二毫米波物品矩形框坐标，所述第二物品特征向量包括第一特征向量和第二特征向量，所述第一毫米波物品矩形框坐标包括第四中心点坐标、第四左上角点坐标、第四左下角点坐标、第四右上角点坐标和第四右下角点坐标，所述第二毫米波物品矩形框坐标包括第五中心点坐标、第五左上角点坐标、第五左下角点坐标、第五右上角点坐标和第五右下角点坐标，所述计算所述毫米波人体矩形框坐标对应的人体矩形框中的若干个第二物品特征向量，包括：

计算所述第三中心点坐标与所述第四中心点坐标之间的第六欧式距离值；

计算所述第三左上角点坐标与所述第四左上角点坐标之间的第七欧式距离值；

计算所述第三左下角点坐标与所述第四左下角点坐标之间的第八欧式距离值；

计算所述第三右上角点坐标与所述第四右上角点坐标之间的第九欧式距离值；

计算所述第三右下角点坐标与所述第四右下角点坐标之间的第十欧式距离值；

对所述第六欧式距离值、所述第七欧式距离值、所述第八欧式距离值、所述第九欧式距离值和所述第十欧式距离值进行归一化处理，得到所述第一特征向量；

计算所述第三中心点坐标与所述第五中心点坐标之间的第十一欧式距离值；

计算所述第三左上角点坐标与所述第五左上角点坐标之间的第十二欧式距离值；

计算所述第三左下角点坐标与所述第五左下角点坐标之间的第十三欧式距离值；

计算所述第三右上角点坐标与所述第五右上角点坐标之间的第十四欧式距离值；

计算所述第三右下角点坐标与所述第五右下角点坐标之间的第十五欧式距离值；

对所述第十一欧式距离值、所述第十二欧式距离值、所述第十三欧式距离值、所述第十四欧式距离值和所述第十五欧式距离值进行归一化处理，得到所述第二特征向量。

在一些实施例中，所述参考对齐置信度值包括第一对齐置信度值和第二对齐置信度值，所述第一对齐置信度值表征所述可见光物品矩形框坐标与所述第一毫米波物品矩形框坐标之间的对齐置信度值，所述第二对齐置信度值表征所述可见光物品矩形框坐标与所述第一毫米波物品矩形框坐标之间的对齐置信度值，所述从全部的所述参考对齐置信度值中确定目标对齐置信度值，确定所述目标对齐置信度值对应的目标毫米波物品矩形框坐标和目标可见光物品矩形框坐标，并将所述目标毫米波物品矩形框坐标映射在所述目标可见光物品矩形框坐标上，包括：

根据预设的置信度阈值从所述第一对齐置信度值和第二对齐置信度值中确定目标对齐置信度值，所述目标对齐置信度值为所述第一对齐置信度值和所述第二对齐置信度值中数值最大的对齐置信度值，并且所述目标对齐置信度值大于或等于所述置信度阈值；

确定所述目标对齐置信度值对应的目标毫米波物品矩形框坐标和目标可见光物品矩形框坐标；

将所述目标毫米波物品矩形框坐标映射在所述目标可见光物品矩形框坐标上。

在一些实施例中，所述人体安检设备与终端通信连接，所述可见光检测结果还包括与所述可见光物品矩形框坐标对应的物品类别信息，在所述根据所述交并比值将所述毫米波物品矩形框坐标映射在所述可见光图像中之后，所述方法还包括：

根据预设的知识图谱对所述物品类别信息进行虚警检测，得到虚警检测结果；

当所述虚警检测结果不满足虚警条件，根据所述虚警检测结果和所述物品类别信息生成告警提示信息，并将所述告警提示信息发送至所述终端。

在一些实施例中，在所述根据第一目标检测算法对所述可见光图像进行图像处理，得到所述参考对象对应的可见光检测结果之前，所述方法还包括：

获取预设的透视变换算法；

根据所述透视变换算法对所述可见光图像进行图像校正，得到校正后的所述可见光图像。

第二方面，本申请实施例提供了一种人体安检设备，包括：

图像获取模块，用于获取参考对象对应的可见光图像和毫米波图像；

可见光检测模块，用于根据第一目标检测算法对所述可见光图像进行图像处理，得到所述参考对象对应的可见光检测结果，所述可见光检测结果包括可见光人体矩形框坐标和若干个可见光物品矩形框坐标；

毫米波检测模块，用于根据第二目标检测算法对所述毫米波图像进行图像处理，得到所述参考对象对应的毫米波检测结果，所述毫米波检测结果包括毫米波人体矩形框坐标和若干个毫米波物品矩形框坐标；

物品特征向量计算模块，用于计算所述可见光人体矩形框坐标对应的矩形框中的若干个第一物品特征向量，并计算所述毫米波人体矩形框坐标对应的矩形框中的若干个第二物品特征向量；

坐标对齐置信度值获取模块，用于根据余弦相似度算法、各个所述第一物品特征向量和各个所述第二物品特征向量计算各个参考对齐置信度值，其中，所述参考对齐置信度值表征所述可见光物品矩形框坐标与所述毫米波物品矩形框坐标之间的对齐置信度值；

图像映射模块，用于从全部的所述参考对齐置信度值中确定目标对齐置信度值，确定所述目标对齐置信度值对应的目标毫米波物品矩形框坐标和目标可见光物品矩形框坐标，并将所述目标毫米波物品矩形框坐标映射在所述目标可见光物品矩形框坐标上。

第三方面，本申请实施例还提供了一种人体安检设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如第一方面所述的基于图像融合的目标检测方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如第一方面所述的基于图像融合的目标检测方法。

本申请实施例提供了一种基于图像融合的目标检测方法、人体安检设备、存储介质，方法包括获取参考对象对应的可见光图像和毫米波图像；根据第一目标检测算法对所述可见光图像进行图像处理，得到所述参考对象对应的可见光检测结果，所述可见光检测结果包括可见光人体矩形框坐标和若干个可见光物品矩形框坐标；根据第二目标检测算法对所述毫米波图像进行图像处理，得到所述参考对象对应的毫米波检测结果，所述毫米波检测结果包括毫米波人体矩形框坐标和若干个毫米波物品矩形框坐标；计算所述可见光人体矩形框坐标对应的矩形框中的若干个第一物品特征向量，并计算所述毫米波人体矩形框坐标对应的矩形框中的若干个第二物品特征向量；根据余弦相似度算法、各个所述第一物品特征向量和各个所述第二物品特征向量计算各个参考对齐置信度值；从全部的所述参考对齐置信度值中确定目标对齐置信度值，确定所述目标对齐置信度值对应的目标毫米波物品矩形框坐标和目标可见光物品矩形框坐标，并将所述目标毫米波物品矩形框坐标映射在所述目标可见光物品矩形框坐标上。本申请实施例利用可见光图像来辅助毫米波图像的物品检测确认过程，相较于目前仅基于毫米波图像进行物品检测的方案，能够有效降低人体安检产品的物品检测虚警率，从而提升人体安检产品的客户体验感。

附图说明

图1是本申请一个实施例提供的基于图像融合的目标检测方法的步骤流程图；

图2是本申请另一个实施例提供的调整人体安检设备的摄像头参数的步骤流程图；

图3是本申请另一个实施例提供的计算第一物品特征向量的步骤流程图；

图4是本申请另一个实施例提供的计算第二物品特征向量的步骤流程图；

图5是本申请另一个实施例提供的将毫米波物品矩形框坐标映射在可见光图像的步骤流程图；

图6是本申请另一个实施例提供的对物品类别信息进行虚警检测的步骤流程图；

图7是本申请另一个实施例提供的对可见光图像进行图像校正的步骤流程图；

图8是本申请另一个实施例提供的人体安检设备的模块示意图；

图9是本申请另一个实施例提供的人体安检设备的结构图；

图10是本申请另一个实施例提供的对可见光图像进行透视变换的效果示意图；

图11是本申请另一个实施例提供的可见光检测结果以及毫米波检测结果的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

可以理解的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

目前，当前实时毫米波成像人体安检设备为了满足高帧率实时成像要求，对成像性能做了较大的牺牲，图像分辨率和图像中人体与物品清晰度都不太理想。在高人流量的轨道交通行业人体安检场景中，当旅客们携带装有物品的塑料袋或手提包或雨伞等经过人体安检设备时，或是手上拿着，或是手上提着，或是肩上挎着，以及其他携带方式通过安检设备，由于这些物品堆叠在一起，且物品可以出现在人体身体部位外部，或出现在人体身体部位内部，不利于毫米波图像中物品检出，容易导致基于深度学习的毫米波图像中物品检测虚警率不断提升，严重影响了人体安检产品的客户体验感。

为解决上述存在的问题，本申请实施例提供了一种基于图像融合的目标检测方法、人体安检设备、存储介质，方法包括获取参考对象对应的可见光图像和毫米波图像；根据第一目标检测算法对所述可见光图像进行图像处理，得到所述参考对象对应的可见光检测结果，所述可见光检测结果包括可见光人体矩形框坐标和若干个可见光物品矩形框坐标；根据第二目标检测算法对所述毫米波图像进行图像处理，得到所述参考对象对应的毫米波检测结果，所述毫米波检测结果包括毫米波人体矩形框坐标和若干个毫米波物品矩形框坐标；计算所述可见光人体矩形框坐标对应的矩形框中的若干个第一物品特征向量，并计算所述毫米波人体矩形框坐标对应的矩形框中的若干个第二物品特征向量；根据余弦相似度算法、各个所述第一物品特征向量和各个所述第二物品特征向量计算各个参考对齐置信度值；从全部的所述参考对齐置信度值中确定目标对齐置信度值，确定所述目标对齐置信度值对应的目标毫米波物品矩形框坐标和目标可见光物品矩形框坐标，并将所述目标毫米波物品矩形框坐标映射在所述目标可见光物品矩形框坐标上。本申请实施例利用可见光图像来辅助毫米波图像的物品检测确认过程，相较于目前仅基于毫米波图像进行物品检测的方案，能够有效降低人体安检产品的物品检测虚警率，从而提升人体安检产品的客户体验感。

下面结合附图，对本申请实施例作进一步阐述。

如图1所示，图1是本申请一个实施例提供的基于图像融合的目标检测方法的步骤流程图，本申请实施例提供了一种基于图像融合的目标检测方法，该方法应用于人体安检设备，该方法包括但不限于有以下步骤：

步骤S110，获取参考对象对应的可见光图像和毫米波图像；

需要说明的是，本申请实施例并不限制获取参考对象对应的可见光图像和毫米波图像的具体方式，可以是当人体安检设备感应到被检人员，即参考对象从人体安检设备通过时，触发人体安检设备中相对应的图像获取模块获取该参考对象对应的可见光图像和毫米波图像；还可以是从实时获取可见光图像和毫米波图像中选取参考对象关联的目标可见光图像和目标毫米波图像，本领域技术人员根据实际情况选用即可。

可以理解的是，获取参考对象对应的可见光图像和毫米波图像能够为后续的目标检测处理提供有效的数据基础。

步骤S120，根据第一目标检测算法对可见光图像进行图像处理，得到参考对象对应的可见光检测结果，可见光检测结果包括可见光人体矩形框坐标和可见光物品矩形框坐标；

步骤S130，根据第二目标检测算法对毫米波图像进行图像处理，得到参考对象对应的毫米波检测结果，毫米波检测结果包括毫米波人体矩形框坐标和毫米波物品矩形框坐标；

需要说明的是，本申请实施例并不限制具体的第一目标检测算法以及第二目标检测算法，可以是yolov5算法或yolov7算法等，本领域技术人员根据实际情况选用即可。

另外，在利用第一目标检测算法对可见光图像进行图像处理之前，本实施例的方法还可以包括：获取携带有先验信息标注的可见光图像集，根据携带有先验信息标注的可见光图像集和yolov5算法对第一初始模型进行模型训练，直至第一初始模型收敛，得到第一目标检测模型，即第一目标检测算法对应的模型；同样的，在利用第二目标检测算法对毫米波图像进行图像处理之前，本实施例的方法还可以包括：获取携带有先验信息标注的毫米波图像集，根据携带有先验信息标注的毫米波图像集和yolov5算法对第二初始模型进行模型训练，直至第二初始模型收敛，得到第二目标检测模型，即第二目标检测算法对应的模型。

可以理解的是，根据第一目标检测算法对可见光图像进行图像处理，得到参考对象对应的可见光检测结果，可见光检测结果包括可见光人体矩形框坐标和可见光物品矩形框坐标；根据第二目标检测算法对毫米波图像进行图像处理，得到参考对象对应的毫米波检测结果，毫米波检测结果包括毫米波人体矩形框坐标和毫米波物品矩形框坐标，能够为后续获取毫米波物品对齐坐标提供有效的数据基础。

步骤S140，计算可见光人体矩形框坐标对应的人体矩形框中的若干个第一物品特征向量，并计算毫米波人体矩形框坐标对应的人体矩形框中的若干个第二物品特征向量；

可以理解的是，以可见光图像中的可见光人体矩形框坐标A(x,y,w,h)为参考基准，计算A(x,y,w,h)对应的矩形框中的若干个第一物品特征向量FA(i)，以毫米波图像中的毫米波人体矩形框坐标B(x,y,w,h)为参考基准，计算B(x,y,w,h)对应的矩形框中的若干个第二物品特征向量FB(j)，能够为后续计算可见光物品矩形框坐标与毫米波物品矩形框坐标之间的对齐置信度值提供有效的数据基础。

步骤S150，根据余弦相似度算法、各个第一物品特征向量和各个第二物品特征向量计算各个参考对齐置信度值，其中，参考对齐置信度值表征可见光物品矩形框坐标与毫米波物品矩形框坐标之间的对齐置信度值；

步骤S160，从全部的参考对齐置信度值中确定目标对齐置信度值，确定目标对齐置信度值对应的目标毫米波物品矩形框坐标和目标可见光物品矩形框坐标，并将目标毫米波物品矩形框坐标映射在目标可见光物品矩形框坐标上。

可以理解的是，现有的毫米波成像设备受限于性能限制，获取到的毫米波图像中人体是残缺不全的，仅基于毫米波图像，利用深度学习姿态估计算法无法正确地提取人体骨骼关键点，因此不能实现毫米波与可见光图像中同一物品坐标对齐，导致现有的目标检测结果的准确率较低。

可以理解的是，基于余弦相似度算法、各个第一物品特征向量和各个第二物品特征向量能够计算参考对齐置信度值，该参考对齐置信度值表征可见光物品矩形框坐标与毫米波物品矩形框坐标之间的对齐置信度值，基于该参考对齐置信度值，能够实现对可见光图像与毫米波图像进行同一物品匹配，匹配成功的同一物品对应的参考对齐置信度值为目标对齐置信度值，并确定目标对齐置信度值对应的目标毫米波物品矩形框坐标和目标可见光物品矩形框坐标，将目标毫米波物品矩形框坐标映射在目标可见光物品矩形框坐标上，以完成基于人体安检设备的准确目标检测。相较于目前仅基于毫米波图像进行物品检测的方案，本申请利用可见光图像来辅助毫米波图像的物品检测确认过程，可以有效降低物品检测虚警率，从而提升人体安检产品的客户体验感。

另外，在一些实施例中，人体安检设备包括毫米波成像装置和可见光摄像头，在毫米波图像为毫米波视频流，参考图2，可见光图像为可见光视频流的情况下在执行图1的步骤S110之前，本实施例的基于图像融合的目标检测方法包括但不限于有以下步骤：

步骤S210，根据毫米波成像装置的位置信息调整可见光摄像头的拍摄方向信息和安装位置信息，以使可见光图像与毫米波图像对应的视角相同；

步骤S220，确定参考帧率，参考帧率为毫米波视频流的帧率，根据参考帧率调整可见光摄像头的帧率，以使可见光摄像头的帧率与参考帧率相同。

可以理解的是，在通过人体安检设备获取参考对象对应的可见光图像和毫米波图像之前，根据人体安检设备的毫米波成像装置的位置信息调整可见光摄像头的拍摄方向信息和安装位置信息，以使可见光摄像头采集到的可见光图像与毫米波成像装置采集到的毫米波图像对应的视角相同；并且，根据参考帧率调整可见光摄像头的帧率，以使可见光摄像头的帧率与参考帧率相同，能够保障可见光摄像头与毫米波成像装置所采集的同一帧图像中记录的是同一时刻同一位置同一姿态的人体，进而能够为后续针对可见光图像与毫米波图像中，同一物品的坐标对齐操作提供有效的数据基础。

另外，在一些实施例中，可见光物品矩形框坐标的数量为一，可见光人体矩形框坐标包括第一中心点坐标、第一左上角点坐标、第一左下角点坐标、第一右上角点坐标和第一右下角点坐标，可见光物品矩形框坐标包括第二中心坐标、第二左上角点坐标、第二左下角点坐标、第二右上角点坐标和第二右下角点坐标，参考图3，图1实施例步骤S140包括但不限于有以下步骤：

步骤S310，计算第一中心点坐标与第二中心点坐标之间的第一欧式距离值；

步骤S320，计算第一左上角点坐标与第二左上角点坐标之间的第二欧式距离值；

步骤S330，计算第一左下角点坐标与第二左下角点坐标之间的第三欧式距离值；

步骤S340，计算第一右上角点坐标与第二右上角点坐标之间的第四欧式距离值；

步骤S350，计算第一右下角点坐标与第二右下角点坐标之间的第五欧式距离值；

步骤S360，对第一欧式距离值、第二欧式距离值、第三欧式距离值、第四欧式距离值和第五欧式距离值进行归一化处理，得到第一物品特征向量。

另外，在一些实施例中，毫米波人体矩形框坐标包括第三中心点坐标、第三左上角点坐标、第三左下角点坐标、第三右上角点坐标和第三右下角点坐标，毫米波物品矩形框坐标至少包括第一毫米波物品矩形框坐标和第二毫米波物品矩形框坐标，第二物品特征向量包括第一特征向量和第二特征向量，第一毫米波物品矩形框坐标包括第四中心点坐标、第四左上角点坐标、第四左下角点坐标、第四右上角点坐标和第四右下角点坐标，第二毫米波物品矩形框坐标包括第五中心点坐标、第五左上角点坐标、第五左下角点坐标、第五右上角点坐标和第五右下角点坐标，参考图4，图1实施例步骤S140包括但不限于有以下步骤：

步骤S401，计算第三中心点坐标与第四中心点坐标之间的第六欧式距离值；

步骤S402，计算第三左上角点坐标与第四左上角点坐标之间的第七欧式距离值；

步骤S403，计算第三左下角点坐标与第四左下角点坐标之间的第八欧式距离值；

步骤S404，计算第三右上角点坐标与第四右上角点坐标之间的第九欧式距离值；

步骤S405，计算第三右下角点坐标与第四右下角点坐标之间的第十欧式距离值；

步骤S406，对第六欧式距离值、第七欧式距离值、第八欧式距离值、第九欧式距离值和第十欧式距离值进行归一化处理，得到第一特征向量；

步骤S407，计算第三中心点坐标与第五中心点坐标之间的第十一欧式距离值；

步骤S408，计算第三左上角点坐标与第五左上角点坐标之间的第十二欧式距离值；

步骤S409，计算第三左下角点坐标与第五左下角点坐标之间的第十三欧式距离值；

步骤S410，计算第三右上角点坐标与第五右上角点坐标之间的第十四欧式距离值；

步骤S411，计算第三右下角点坐标与第五右下角点坐标之间的第十五欧式距离值；

步骤S412，对第十一欧式距离值、第十二欧式距离值、第十三欧式距离值、第十四欧式距离值和第十五欧式距离值进行归一化处理，得到第二特征向量。

可以理解的是，假设可见光检测结果中，可见光物品矩形框坐标的数量为1个，即可见光图像的人体矩形框中检测出1个物品，毫米波检测结果中，毫米波物品矩形框坐标的数量为2个，即毫米波图像的人体矩形框中检测出2个物品，参考图11，该可见光人体矩形框坐标A(x,y,w,h)包括第一中心点坐标A0、第一左上角点坐标A1、第一左下角点坐标A2、第一右上角点坐标A3和第一右下角点坐标A4；可见光物品矩形框坐标C(x,y,w,h)对应的物品矩形框包括第二中心点坐标C0、第二左上角点坐标C1、第二左下角点坐标C2、第二右上角点坐标C3和第二右下角点坐标C4；毫米波人体矩形框坐标B(x,y,w,h)包括第三中心点坐标B0、第三左上角点坐标B1、第三左下角点坐标B2、第三右上角点坐标B3和第三右下角点坐标B4，毫米波物品矩形框坐标包括第一毫米波物品矩形框坐标D(x,y,w,h)和第二毫米波物品矩形框坐标E(x,y,w,h)，D(x,y,w,h)对应的矩形框包括第四中心点坐标D0、第四左上角点坐标D1、第四左下角点坐标D2、第四右上角点坐标D3和第四右下角点坐标D4，E(x,y,w,h)对应的矩形框包括第五中心点坐标E0、第五左上角点坐标E1、第五左下角点坐标E2、第五右上角点坐标E3和第五右下角点坐标E4。

参考上述描述，根据可见光人体矩形框坐标A(x,y,w,h)的5个点坐标(1个中心点和4个角点)与可见光物品矩形框坐标C(x,y,w,h)的5个点坐标(1个中心点和4个角点)，依次计算5对坐标点的欧式距离值，即第一欧式距离值|C0A0|、第二欧式距离值|C1A1|、第三欧式距离值|C2A2|、第四欧式距离值|C3A3|和第五欧式距离值|C4A4|，具体计算公式如下：

其中，Cn

对第一欧式距离值|C0A0|、第二欧式距离值|C1A1|、第三欧式距离值|C2A2|、第四欧式距离值|C3A3|和第五欧式距离值|C4A4|进行归一化处理，得到第一物品特征向量FA(C)，FA(C)的表达式如下：

同理，根据毫米波人体矩形框坐标B(x,y,w,h)的5个点坐标(1个中心点和4个角点)与第一毫米波物品矩形框坐标D(x,y,w,h)，第二毫米波物品矩形框坐标E(x,y,w,h)各自的5个点坐标(1个中心点和4个角点)，依次计算10对坐标点的欧式距离值，即第六欧式距离值|D0B0|、第七欧式距离值|D1B1|、第八欧式距离值|D2B2|、第九欧式距离值|D3B3|和第十欧式距离值|D4B4|；以及第十一欧式距离值|E0B0|、第十二欧式距离值|E1B1|、第十三欧式距离值|E2B2|、第十四欧式距离值|E3B3|和第十五欧式距离值|E4B4|，具体计算公式如下：

接着，对第六欧式距离值|D0B0|、第七欧式距离值|D1B1|、第八欧式距离值|D2B2|、第九欧式距离值|D3B3|和第十欧式距离值|D4B4|进行归一化处理，得到第一特征向量FB(D)，FB(D)的表达式如下：

对第十一欧式距离值|E0B0|、第十二欧式距离值|E1B1|、第十三欧式距离值|E2B2|、第十四欧式距离值|E3B3|和第十五欧式距离值|E4B4|进行归一化处理，得到第二特征向量FB(E)，FB(E)的表达式如下：

可以理解的是，计算第一物品特征向量FA(C)以及第二物品特征向量，包括FB(D)和FB(E)，能够为计算参考对齐置信度值提供有效的数据基础。

另外，在一些实施例中，参考对齐置信度值包括第一对齐置信度值和第二对齐置信度值，第一对齐置信度值表征可见光物品矩形框坐标与第一毫米波物品矩形框坐标之间的对齐置信度值，第二对齐置信度值表征可见光物品矩形框坐标与第一毫米波物品矩形框坐标之间的对齐置信度值，参考图5，图1实施例步骤S160包括但不限于有以下步骤：

步骤S510，根据预设的置信度阈值从第一对齐置信度值和第二对齐置信度值中确定目标对齐置信度值，目标对齐置信度值为第一对齐置信度值和第二对齐置信度值中数值最大的对齐置信度值，并且目标对齐置信度值大于或等于置信度阈值；

步骤S520，确定目标对齐置信度值对应的目标毫米波物品矩形框坐标和目标可见光物品矩形框坐标；

步骤S530，将目标毫米波物品矩形框坐标映射在目标可见光物品矩形框坐标上。

需要说明的是，参考图3和图4实施例的描述，第一对齐置信度值可以根据以下公式得到：

第二对齐置信度值可以根据以下公式得到：

可以理解的是，基于上述实施例中，可见光图像中检测出1个可见光物品矩形框坐标对应的物品C，毫米波图像中检测出2个物品(包括第一毫米波物品矩形框坐标对应的物品D以及第二毫米波物品矩形框坐标对应的物品E)的情况下，需要从第一对齐置信度值cos(C,D)和第二对齐置信度值cos(C,E)中确定目标对齐置信度值，记置信度阈值为thresh，thresh的取值范围为[0.0，1.0]，目标对齐置信度值的具体筛选步骤如下：

当cos(C,D)≥thresh，并且cos(C,E)＜thresh，此时的目标对齐置信度值为cos(C,D)，表示物品C和物品D为同一个物品；

当cos(C,D)＜thresh，并且cos(C,E)≥thresh，此时的目标对齐置信度值为cos(C,E)，表示物品C和物品E为同一个物品。

可以理解的是，在确定目标对齐置信度值对应的目标毫米波物品矩形框坐标和目标可见光物品矩形框坐标之后，例如当确定目标对齐置信度值为cos(C,D)，将目标毫米波物品矩形框坐标D(x,y,w,h)映射在目标可见光物品矩形框坐标C(x,y,w,h)上，以实现不同图像中同一物品坐标对齐，以及完成基于人体安检设备的准确目标检测。

另外，在一些实施例中，人体安检设备与终端通信连接，可见光检测结果还包括与可见光物品矩形框坐标对应的物品类别信息，在执行图1实施例步骤S160之后，参考图6，本申请实施例基于图像融合的目标检测方法包括但不限于有以下步骤：

步骤S610，根据预设的知识图谱对物品类别信息进行虚警检测，得到虚警检测结果；

步骤S620，当虚警检测结果不满足虚警条件，根据虚警检测结果和物品类别信息生成告警提示信息，并将告警提示信息发送至终端。

可以理解的是，可见光检测结果还可以包括与可见光物品矩形框坐标对应的物品类别信息，在执行图1实施例步骤S160之后，即将毫米波物品矩形框坐标映射在可见光图像之后，根据预设的知识图谱对物品类别信息进行虚警检测，得到虚警检测结果，当虚警检测结果表示物品类别信息为手机或雨伞或水杯或帽子等，确定虚警检测结果满足虚警条件；当虚警检测结果表示物品类别信息为塑料袋或手提包等，确定虚警检测结果不满足虚警条件，确定对应物品为疑似危险品，根据虚警检测结果和物品类别信息生成告警提示信息，并将告警提示信息发送至终端，以便终端对应的安检人员进行手工复检。

另外，在执行图1步骤S120之前，参考图7，本申请实施例基于图像融合的目标检测方法包括但不限于有以下步骤：

步骤S710，获取预设的透视变换算法；

步骤S720，根据透视变换算法对可见光图像进行图像校正，得到校正后的可见光图像。

可以理解的是，对可见光图像进行图像校正主要目的是为了调整可见光图像的视角与毫米波图像一致，均为正面视角图像，进而保障后续目标检测结果的准确性；透视变换是将一个图像投影到一个新的视平面的过程，该过程包括：将一个二维坐标系转换为三维坐标系，然后把三维坐标系投影到新的二维坐标系，对图像进行透视变换前后的效果如图10所示，非正面视角下的可见光图像，以及透视变换后得到的正面视角的可见光图像。

另外，参考图8，图8是本申请另一个实施例提供的人体安检设备的模块示意图，本申请的一个实施例还提供了一种人体安检设备800，该人体安检设备800包括：

图像获取模块810，用于获取参考对象对应的可见光图像和毫米波图像；

可见光检测模块820，用于根据第一目标检测算法对可见光图像进行图像处理，得到参考对象对应的可见光检测结果，可见光检测结果包括可见光人体矩形框坐标和若干个可见光物品矩形框坐标；

毫米波检测模块830，用于根据第二目标检测算法对毫米波图像进行图像处理，得到参考对象对应的毫米波检测结果，毫米波检测结果包括毫米波人体矩形框坐标和若干个毫米波物品矩形框坐标；

物品特征向量计算模块840，用于计算可见光人体矩形框坐标对应的人体矩形框中的若干个第一物品特征向量，并计算毫米波人体矩形框坐标对应的人体矩形框中的若干个第二物品特征向量；

坐标对齐置信度值获取模块850，用于根据余弦相似度算法、各个第一物品特征向量和各个第二物品特征向量计算各个参考对齐置信度值，其中，参考对齐置信度值表征可见光物品矩形框坐标与毫米波物品矩形框坐标之间的对齐置信度值；

图像映射模块860，用于从全部的参考对齐置信度值中确定目标对齐置信度值，确定目标对齐置信度值对应的目标毫米波物品矩形框坐标和目标可见光物品矩形框坐标，并将目标毫米波物品矩形框坐标映射在目标可见光物品矩形框坐标上。

需要说明的是，人体安检设备800的具体实施方式与上述基于图像融合的目标检测方法的具体实施例以及具体步骤原理基本相同，在此不再赘述。

如图9所示，图9是本申请一个实施例提供的电子设备的结构图。本发明还提供了一种人体安检设备900，包括：

处理器910，可以采用通用的中央处理器(Central Processing Unit，CPU)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器920，可以采用只读存储器(Read Only Memory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器920可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器920中，并由处理器910来调用执行本申请实施例的基于图像融合的目标检测方法，例如，执行以上描述的执行以上描述的图1中的方法步骤S110至步骤S160、图2中的方法步骤S210至步骤S220、图3中的方法步骤S310至步骤S360、图4中的方法步骤S401至步骤S412、图5中的方法步骤S510至步骤S530、图6中的方法步骤S610至步骤S620和图7中的方法步骤S710至步骤S720；

输入/输出接口930，用于实现信息输入及输出；

通信接口940，用于实现本装置与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；

总线950，在设备的各个组件(例如处理器910、存储器920、输入/输出接口930和通信接口940)之间传输信息；

其中处理器910、存储器920、输入/输出接口930和通信接口940通过总线950实现彼此之间在设备内部的通信连接。

本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述的基于图像融合的目标检测方法，例如，执行以上描述的执行以上描述的图1中的方法步骤S110至步骤S160、图2中的方法步骤S210至步骤S220、图3中的方法步骤S310至步骤S360、图4中的方法步骤S401至步骤S412、图5中的方法步骤S510至步骤S530、图6中的方法步骤S610至步骤S620和图7中的方法步骤S710至步骤S720。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，实现了以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。