一种基于多模态的跨境追踪方法

技术领域

本发明涉及计算机视觉领域，特别是涉及一种基于多模态的跨境追踪方法。

背景技术

传统的RGB-RGB单模态行人重识别技术只能解决光线充足下的识别任务，而在夜间或者是光线较暗处，可见光摄像机几乎无用武之地，而犯罪分子通常在夜间活动。如今的监控摄像机大多都将红外和可见光功能配置在了一起，在光线充足时会采集清晰的RGB图像，而在光线不足时会开启红外功能，进行红外图像的采集，这为跨模态行人重识别的研究提供了有利的条件。

行人重识别是计算机视觉领域中的一项热门的研究课题，它主要解决跨摄像头、跨场景下的行人识别与检索，作为人脸识别技术的补充，对无法获取清晰人脸的行人进行跨摄像头的连续追踪，被广泛应用于安防领域和智能监控等领域。它具有类内差异大(同一人的表观特征可能会非常不同)，类间差异小(不同人的表观可能会很相似)等难点。这主要是由于摄像头拍摄角度，光照差异，行人姿态变化以及遮挡等因素造成的。夜间场景同样是监控、安防等领域的重点领域。

现有的基于可见光与红外图像的跨模态行人重识别方法大多数都致力于解决两种模态之间的差异，解决思路包括：1)使用参数共享的卷积神经网络，学习两种模态之间的共享特征；2)使用生成对抗网络，通过训练生成器和判别器去学习模态之间的关联。但是现有技术大多基于网络结构的创新，往往没有更多的考虑实际应用场景下的跨模态行人重识别的具体问题和挑战，增加了网络结构的复杂度和训练时间成本，在实际应用场景下很难取得较好的识别准确率和效果。

现需一种基于多模态的跨境追踪方法解决上述问题。

发明内容

本发明是为了解决现有技术中当前跨模态行人重识别技术目的在于消除两种模态间的差异，但是会导致网络结构复杂、计算效率低、识别效果差的问题，提供了一种基于多模态的跨境追踪方法，通过允许保留可见光和红外图像两种模态差异的条件下，解决实际应用场景中，跨模态行人重识别时准确率低、效果不好、计算效率低的问题。

本发明提供了一种基于多模态的跨境追踪方法，包括以下步骤：

S1、获取同意目标的可见光图像和红外图像；

S2、利用yolov5目标检测算法对不同摄像头下视频里的行人进行检测，并摘取出来生成图像集行人库；

S3、构建行人重识别模型；

S4、设定相似度阈值a；

S5、将待查询目标的可见光图像、待查询目标的红外图像与图像集行人库中特征向量进行特征提取；

S6、将待查询目标的可见光图像、待查询目标的红外图像与图像集行人库中特征向量进行相似性度量；

S7、根据可见光模态返回结果的相似度和可见光模态预设权重得到可见光模态综合相似度；根据红外模态相似度和红外预设权重得到红外模态综合相似度；

S8、将两种模态的结果取交并比IOU，并按综合相似度的降序排序；

S9、根据摄像头ID和图片名字去除相同的图片得到最终结果。

本发明所述的一种基于多模态的跨境追踪方法，作为优选方式，步骤S6中待查询目标的可见光图像与图像集行人库中特征向量进行相似性度量具体为：

对于待查询目标的可见光图像，使用图像集行人库作为搜索空间，将待检测目标的可见光图像的特征向量与图像集行人库中特征向量进行相似性度量，具体如下：

d

其中，d

返回大于设定阈值a的结果，具体如下：

其中，ψ

本发明所述的一种基于多模态的跨境追踪方法，作为优选方式，步骤S6中待查询目标的红外图像与图像集行人库中特征向量进行相似性度量具体为：

对于待查询目标的红外图像，使用图像集行人库作为搜索空间，将待检测目标的红外图像的特征向量与图像集行人库中特征向量进行相似性度量，具体如下：

d

其中，d

返回大于设定阈值a的结果，具体如下：

其中，ψ

本发明所述的一种基于多模态的跨境追踪方法，作为优选方式，步骤S7中可见光模态返回结果的相似度和可见光模态预设权重得到可见光模态综合相似度具体为：

其中，α表示RGB模态下的预设权重；Ψ

本发明所述的一种基于多模态的跨境追踪方法，作为优选方式，步骤S7中红外模态相似度和红外预设权重得到红外模态综合相似度具体为：

其中，β表示IR红外模态下的预设权重；Ψ

本发明所述的一种基于多模态的跨境追踪方法，作为优选方式，行人重识别模型用于对可见光和红外图像两种模态进行特征提取能力和特征判别。

本发明所述的一种基于多模态的跨境追踪方法，作为优选方式，步骤S8两种模态的结果取交并比IOU，并按综合相似度的降序排序具体公式如下：

其中，D

本发明有益效果如下：

(1)本技术方案获取待查询query目标图片的可见光图像和红外图像两种模态作为输入数据源，并且可以利用模态互转的方式获取对应模态数据，增加了输入数据源的多样性和判别性；

(2)允许保留gallery行人库中的不同模态图片的差异；

(3)设计针对可见光模态和红外模态均具有很强特征提取能力和判别能力的ReID模型，并对多模态数据进行特征向量提取；

(4)将待查询query目标的两种模态分别在gallery行人库中进行检索，会将与自身模态相似度接近的结果返回回来，降低了同一嫌疑人目标的漏检率；

(5)将两种模态的返回结果按照预设权重和综合相似度排序的方式，返回最终的结果，提升了跨模态行人重识别的识别准确率；

(6)本技术方案在不增加网络结构复杂性和额外计算效率的情况下，提升行人重识别的准确率；

(7)本技术方案避免将不同模态强行映射到同一特征空间而引起的网络结构复杂性和模态间差异，通过将待检索图片的不同模态分别进行检索，增加了特征的多样性和判别性，从而提高跨模态行人重识别的性能；

(8)本技术方案利用预设权重和综合相似度排序的方式优化网络结果的输出，能够有效提高Top-n的准确率和召回率。

附图说明

图1为一种基于多模态的跨境追踪方法示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例1

如图1所示，一种基于多模态的跨境追踪方法，包括以下步骤：

S1、获取同一目标ID下query的可见光图像和红外图像的两种模态数据，例如可以通过跨境追踪系统中的视频摘要模块通过浏览摘要结果获取嫌疑人目标的两种模态图像；如果仅能获取一种模态下的图像，可以采用模态转换的方式，获取目标对应的另一模态下的图像；

S2、利用yolov5目标检测算法对不同摄像头下视频里的行人进行检测，并摘取出来生成图像集行人库；

S3、搭建行人重识别(ReID)模型，已训练完成具有强大特征提取能力和判别能力的模型，对待查询query两种模态数据和gallery行人库进行特征提取，query为

S4、设定相似度阈值a；

S5、将待查询目标的可见光图像、待查询目标的红外图像与图像集行人库中特征向量进行特征提取；

S6、将待查询目标的可见光图像、待查询目标的红外图像与图像集行人库中特征向量进行相似性度量；

S7、根据可见光模态返回结果的相似度和可见光模态预设权重得到可见光模态综合相似度；根据红外模态相似度和红外预设权重得到红外模态综合相似度；

S8、将两种模态的结果取交并比IOU，并按综合相似度的降序排序；

S9、因为可见光RGB模态和红外IR模态可能会同时检索到同一张图片并返回，根据摄像头ID和图片名字去除相同的图片得到最终结果。

步骤S6中待查询目标的可见光图像与图像集行人库中特征向量进行相似性度量具体为：

对于待查询目标的可见光图像，使用图像集行人库作为搜索空间，将待检测目标的可见光图像的特征向量与图像集行人库中特征向量进行相似性度量，具体如下：

d

其中，d

返回大于设定阈值a的结果，具体如下：

其中，ψ

步骤S6中待查询目标的红外图像与图像集行人库中特征向量进行相似性度量具体为：

对于待查询目标的红外图像，使用图像集行人库作为搜索空间，将待检测目标的红外图像的特征向量与图像集行人库中特征向量进行相似性度量，具体如下：

d

其中，d

返回大于设定阈值a的结果，具体如下：

其中，ψ

步骤S7中可见光模态返回结果的相似度和可见光模态预设权重得到可见光模态综合相似度具体为：

其中，α表示RGB模态下的预设权重；所述Ψ

步骤S7中红外模态相似度和红外预设权重得到红外模态综合相似度具体为：

其中，β表示IR红外模态下的预设权重；Ψ

行人重识别模型用于对可见光和红外图像两种模态进行特征提取能力和特征判别。

步骤S8两种模态的结果取交并比IOU，并按综合相似度的降序排序具体公式如下：

其中，D

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。