基于轮廓特征点的太赫兹与可见光图像配准方法及装置

技术领域

本发明涉及安检安防领域，尤其涉及一种基于轮廓特征点的太赫兹与可见光图像配准方法及装置。

背景技术

单一传感器获取到的信息往往比较单一，在大部分情况下已经不能满足实际需求，所以多传感器融合的方案效果较佳。

太赫兹安检仪也是如此，从太赫兹图像中可以检测到被检人携带的隐匿物，但太赫兹图像因为成像特性原因，使得被检人的外貌特征丢失严重，而可见光图像虽然不容易检测出隐匿物，但包含了丰富的外貌特征，如果将太赫兹图像的隐匿物信息与可见光图像的外貌信息融合，那将会使太赫兹安检仪的适用性更强。对于太赫兹探测器和摄像头，其成像原理、视场、安装的位置等都会不同，这将导致两种探测器获取到的图像之间可能存在平移、缩放、旋转等不匹配的现象，需要利用图像配准技术对其配准。

常用的图像配准算法主要基于特征、基于相关性和基于变换域等，随着人工智能的发展，在图像配准领域深度学习的方法也有很多，效果比较好的有ASLFeat。其中，基于特征的配准方法因为提取了图像的显著特征，所以计算量小速度快，对图像灰度变化有很好的鲁棒性，但对特征的提取与匹配比较敏感，需要可靠的特征和鲁棒性好的匹配方法；基于相关性的配准方法虽然不需要提取特征，但对灰度变换比较敏感，且通常计算量大；基于变换域的配准方法对配准图像的重叠区域要求比较高；ASLFeat是对D2-Net的进行改进，ASLFeat引入了空洞卷积增加感受野，从而增强网络的特征提取能力，提出了新的多尺度检测机制，提高关键点的准确性。但对异源图像的配准效果仍然不够理想，尤其是太赫兹与可见光这种差异性比较大的图像，并且速度也比较慢，达不到实时要求。

发明内容

本发明的目的在于提供一种基于轮廓特征点的太赫兹与可见光图像配准方法及装置，以实现太赫兹与可见光的信息融合。

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

根据本发明的一方面，提供了一种太赫兹与可见光图像实时配准及信息融合方法，包括以下步骤：S1、提取太赫兹和可见光图像的轮廓信息；S2、对轮廓图像进行处理；S3、提取轮廓特征点并作特征点描述；S4、进行特征点匹配、配准参数计算及图像配准；S5、判断是否需要修正，如是，利用监督下降的方法进行修正后进入下一步，如否，直接进入下一步；S6、将太赫兹与可见光图像融合。

在一实施例中，该方法的S1包括：利用自适应二值化去除背景，获得太赫兹图像的轮廓；采用yolact++深度学习网络提取可见光图像轮廓。

在一实施例中，该方法的S2包括：采用均值滤波模板对前景图像做平滑处理，平滑处理后做自适应阈值二值化。

在一实施例中，该方法的S3中的提取轮廓特征点包括：先提取像素级角点，再求出亚像素角点。

在一实施例中，该方法采用Shi-Tomasi角点检测算子提取像素级角点，采用最小二乘法计算出亚像素角点。

在一实施例中，该方法的S3中的特征点描述包括：利用形状上下文算法统计目标轮廓形状的空间分布，建立全局形状上下文描述子。

在一实施例中，该方法的所述S4中的特征点匹配包括：匹配度计算，两个特征点直接的匹配度统计值计算公式如下：

其中H

根据匹配度进行双向匹配，选择最佳匹配对作为匹配点对。

在一实施例中，该方法的所述S5中判断是否需要修正包括：通过计算交并比和/或配准误差判断是否需要修正。

在一实施例中，该方法的所述S6包括：将太赫兹图像与可见光图像加权融合；其中，存在隐匿物的区域太赫兹的加权系数更大，没有隐匿物的区域可见光的加权系数更大。

根据本发明的另一方面，还提供了一种太赫兹与可见光图像实时配准及信息融合装置，包括：

轮廓提取模块，用于提取太赫兹和可见光图像的轮廓信息；

图像处理模块，用于对轮廓图像进行处理；

轮廓特征点提取模块，用于提取轮廓特征点并作特征点描述；

图像配准模块，用于进行特征点匹配、配准参数计算及图像配准；

修正模块，用于判断是否需要修正，如是，利用监督下降的方法进行修正；融合模块，用于将太赫兹与可见光图像融合。

本发明实施例的有益效果是：通过采用轮廓特征点作匹配，可以减少图像差异性带来的配准困难，实现可见光与太赫兹图像的融合，从而能够在受检人比较多的情况下可以很方便的辨认携带隐匿物的人。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。

图1是本发明方法实施例的太赫兹轮廓提取示意图；

图2是本发明方法实施例的可见光原图；

图3是本发明方法实施例的分隔结果与原图叠加效果图；

图4是本发明方法实施例可见光轮廓提取结果；

图5是本发明方法实施例的太赫兹轮廓处理结果示意图；

图6是本发明方法实施例的可见光轮廓处理结果；

图7是本发明方法实施例的T

图8是本发明方法实施例的多匹配取最优示意图；

图9是本发明方法实施例的太赫兹与可见光前景融合示意图；

图10是本发明方法实施例的流程图；

图11是本发明装置实施例的模块图。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

如图10所示，本申请实施例提供了一种太赫兹与可见光图像实时配准及信息融合方法，包括以下步骤：

S1、提取太赫兹和可见光图像的轮廓信息；

具体地，太赫兹图像背景与前景有明显差异，利用自适应二值化(比如OTSU)即可去除背景，可以得到图1所示的效果。可见光图像轮廓提取采用yolact++深度学习网络作人体分割，因为只训练了一个类，所以速度和精度较多类的情况有所提升，在前景和背景颜色相差不大的情况下也可以很好的分割出来，在相同测试条件下平均精度比分割多类的情况增加了7.01％，速度提升了1.2倍左右，能达到40fps，效果如图2、图3所示，轮廓提取效果如图4所示。

S2、对轮廓图像进行处理；

得到的图像前景轮廓有很多毛刺，这会影响后期的特征点检测与匹配，需要用均值滤波模板(如下式(1))对前景图像做平滑处理，平滑后做自适应阈值二值化，最终得到的太赫兹轮廓图和可见光轮廓图分别如图5和图6。

S3、提取轮廓特征点并作特征点描述；

轮廓特征点的提取采用两个步骤，先提取像素级角点，然后再求出亚像素角点。在本实施例中，先采用Shi-Tomasi角点检测算子提取像素级角点，再采用最小二乘法计算出亚像素角点。

虽然可见光图像与太赫兹图像细节信息差异很大，但轮廓形状具有相似性。利用形状上下文算法统计目标轮廓形状的空间分布，建立全局形状上下文描述子。对于第k个特征点与第i个特征点之间的距离值和角度值，可以用如下的公式计算：

利用公式(2)对所有特征点进行全局形状上下文描述，得到距离矩阵和角度值矩阵。

利用式(3)对距离矩阵作归一化，得到取值为0，1，2...4的距离编码值。

其中d

同样地利用式(4)对角度矩阵作归一化，得到取值为1，2，3...8的角度编码值。

其中θ

最后将角度编码值和距离编码值按式(5)组合得到一个直方图，即描述子

S4、进行特征点匹配、配准参数计算及图像配准；

S4.1、匹配度计算

在特征匹配之前需要计算匹配的依据，即匹配度，利用χ

其中H

S4.2、双向匹配

太赫兹图像中的每个特征点都会与可见光图像中的每个特征点一起计算得到一个匹配度，对于单个特征点会对应一个匹配度向量，将匹配度向量按从小到大的顺序排序，然后通过阈值设定匹配候选点个数m，对于特征点K，依次检查它的m个候选点与它是否互为候选点，如果是则形成匹配点对，如图7所示，如果存在多对一的情况，则选择最佳匹配对作为匹配点对，如图8所示，当m＞2时，太赫兹中的T

S4.3、配准参数计算

配准参数计算和特征点筛选采用RANSAC算法，以减少匹配误差带来的影响。实践中可以利用opencv的findHomography()函数搭载RANSAC算法获取转换矩阵H。

S4.4、图像配准

图像配准，即将待配准图像与配准矩阵相乘做透射变换即可得到配准图像，设待配准图像某点的坐标为(x

[u，v，w]＝[x

S5、判断是否需要修正，如是，利用监督下降的方法进行修正后进入下一步，如否，直接进入下一步。

S5.1、配准评价

配准评价指标有两个，一个是两个图像中公共目标的交并比IOU，另一个指标是，配准误差ML，以人体为例，将对可见光和太赫兹图像做分割，提取出人体，这一步其实在第一步已经完成了，然后将人体做二值化即可计算交并比，例如图9中的B图所示，太赫兹与可见光的前景融合结果，因为可见光中存在衣服，所以与太赫兹不会完全重合，图中白色(灰度值255)部分表示太赫兹与可见光前景相交部分，灰色(灰度值127)部分表示不相交部分，容易得到前景的交集如图9中的C图，和并集如图9中的D图，知道交集和并集的计算方法后可用式(8)计算IOU。

其中p

配准误差的计算可以利用式(9)得到，其中假设待配准像素坐标为(x

配准评价时可以综合IOU和ML，形成一个综合评价指标，也可以依次用单独指标进行评价，当且仅当两个指标都满足要求才认为配准达标，IOU越大代表配准性能越好，ML越小代表配准性能越好，比如可设置达标标准为IOU＞80％且ML＜5。

S5.2、修正

修正可以采用人脸关键点对齐的算法，比如TCDNN、SDM等。

S6、将太赫兹图像与可见光图像融合。

为了能清楚的辨认行人，又能看清携带的隐匿物，太赫兹与可见光图像融合采用加权融合的方案，根据隐匿物目标检测结果利用不同的加权系数，即有隐匿物的地方太赫兹权重大，没有隐匿物的地方可见光的权重大，比如式(10)的融合方案：

如图11所示，本申请实施例还提供了一种太赫兹与可见光图像实时配准及信息融合装置，包括：

轮廓提取模块201，用于提取太赫兹和可见光图像的轮廓信息；

图像处理模块202，用于对轮廓图像进行处理；

轮廓特征点提取模块203，用于提取轮廓特征点并作特征点描述；

图像配准模块204，用于进行特征点匹配、配准参数计算及图像配准；

修正模块205，用于判断是否需要修正，如是，利用监督下降的方法进行修正；

融合模块206，用于将太赫兹与可见光图像融合。

本申请采用轮廓特征点作匹配，可以减少图像差异性带来的困难。优选地，利用亚像素角点作为特征点，将太赫兹与可见光图像的相似之处以特征点的形式描述出来。此外，为了提高特征点匹配精度，特征点匹配采用双向匹配机制，设定候选点数，挑选彼此匹配度最高的点对作为最佳匹配。

为了排除局外点对的干扰，特征点匹配后利用RANSAC算法计算图像配准的参数。采用″匹配+修正″的方法，在匹配完成计算太赫兹与可见光图像的重合度，如果重合度低于门限值则启动修正做调整。

综上所述，本申请将太赫兹与可见光图像信息融合，在受检人比较多的情况下可以很方便的辨认携带隐匿物的人。

尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他动作并发地发生。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

以上所述仅为本申请的较佳实例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。