一种面向复杂背景的红外弱小目标检测跟踪方法

技术领域

本发明属于嵌入式平台图像处理技术领域，尤其涉及一种面向复杂背景的红外弱小目标检测跟踪方法。

背景技术

随着图像处理技术发展，基于图像处理技术的目标检测跟踪在众多领域得到应用，如嵌入式机载、弹载领域。

现存方法对于简单背景即图像灰度的空间分布平稳、灰度统计均值和方差空移不变的小目标检测具有一定效果，如天空、海面和沙漠等单一物理成分构成的区域图像，但针对复杂背景如海天背景、复杂地面背景的低信噪比弱小红外目标检测仍是当今尚未解决的一个难题。

嵌入式平台计算资源有限，可提供的算力相对较低，因而对算法的计算效率提出了更高要求。综上，研究针对嵌入式计算平台，面向复杂背景的红外弱小目标检测跟踪技术具有重要意义。

发明内容

本发明的的在于提供了一种面向复杂背景的红外弱小目标检测跟踪方法，根据采集到的相邻几帧图像，经过灰度转换、图像配准、亚像素平移、多帧差法提取前景图，实现弱小目标检测，并采用动态感兴趣区域实现目标跟踪。考虑到目标尺寸较小，仅占几个像素，及目标背景的复杂性和计算效率，采用相位相关法进行图像间配准，同时通过采用动态感兴趣区域手段，在保证算法精度的前提下，显著降低了计算量，提升了算法执行效率，为嵌入式复杂背景下红外弱小目标检测跟踪提供了技术途径。

本发明的技术方案：

一种面向复杂背景的红外弱小目标检测跟踪方法，所述方法包括：

S1，通过相机实时采集红外弱小目标的相邻若干帧图像，并对所述若干帧图像进行灰度化处理；

S2，对灰度化处理后的若干帧图像分别提取感兴趣区域，并对提取的感兴趣区域图像进行图像配准，从而确定图像偏移量；

S3，根据所述图像偏移量，对所述灰度化处理后的若干帧图像进行亚像素平移，将若干帧图像转换到同一坐标系；

S4，确定目标灰度值，根据所述目标灰度值与设定灰度阈值的关系判断当前为跟踪态还是检测态；

S5，若为跟踪态，则对转换到同一坐标系下的若干帧图像提取感兴趣区域，并进行目标检测，输出目标检测结果图像；

S6，若为检测态，则直接对转换到统一坐标系下的若干帧图像进行目标检测，输出目标检测结果图像。

进一步的，S1中，对采集到的RGB图像，根据Gray＝R*0.299+G*0.587+B*0.114得到像素灰度值，其中R,G,B分别为RGB图像三通道像素值，Gray为灰度化后像素灰度值。

进一步的，S2中，采用基于相位相关的图像配准算法对提取的感兴趣区域图像进行图像配准。

进一步的，S2中，确定图像偏移量具体为：

设g(x,y)是由f(x,y)平移(x

其中G(u,v)和F(u,v)分别为g(x,y)和f(x,y)的离散傅里叶变换；

则两幅图像频域间互功率谱为

其中G

则P(u,v)的离散傅里叶逆变换(IDFT)为：

通过寻找互功率谱的IDFT的最大值可得两帧图像平移量x

进一步的，S3具体为：

采用基于双线性插值的亚像素平移将图像帧序列转换到统一坐标系下；双线性插值的灰度值为

f(i+x

+(1-x

其中x

进一步的，S4具体为：

确定目标灰度值为将相邻若干帧图像的前景图进行叠加，然后通过阈值分割得到最终目标，该所述最终目标的灰度值即为目标灰度值；

当所述目标灰度值小于或者等于设定灰度阈值时，则为检测态；

当所述目标灰度值大于设定灰度阈值时，则为跟踪态。

进一步的，S5中提取感兴趣区域的方法具体为：

参照前一帧图像中目标的位置，提取当前帧序目标周围区域作为目标检测感兴趣区域。

进一步的，S3之后，所述方法还包括：根据转换到同一坐标系下的若干帧图像，进行图像拼接，得到目标的全景图。

本发明具有以下技术效果：

1、本发明提供的一种面向复杂背景的红外弱小目标检测跟踪方法，针对复杂背景和弱小红外目标特点，设计目标检测算法，采用相位相关图像配准、多帧差法目标检测等手段，实现了针对复杂背景下弱小红外的目标检测，同时具备图像实时拼接功能。

2、本发明提供的一种面向复杂背景的红外弱小目标检测跟踪方法，面向嵌入式平台部署，将感兴趣区域方法应用至图像配准及构建跟踪过程，在保证检测精度的同时有效提升算法运行速度，为算法应用于机载、弹载等计算资源受限场景提供了有力支撑。

附图说明

图1是面向复杂背景的红外弱小目标检测跟踪的整体流程图；

图2是基于相位相关法的图像配准流程图；

图3是基于多帧差法的目标检测示意图；

图4是面向复杂背景的红外弱小目标检测跟踪结果示意图。

具体实施方式

下面结合附图对本发明技术方案进行详细说明。

本发明实施例提供一种面向复杂背景的红外弱小目标检测跟踪方法，如图1所示，包括如下步骤：

步骤1：通过相机实时采集相邻几帧图像，并进行图像灰度化处理，采用处理后的图像进行下一步处理；

步骤2：将步骤1中灰度化的原始多帧灰度图像作为输入，考虑到算法执行效率，对图像帧进行感兴趣区域提取，将提取后的图像帧区域作为输入进行图像配准；

步骤3：根据步骤2中图像配准输出结果，对原始多帧灰度图像进行亚像素平移，平移后的多帧图像用于后续目标检测跟踪；

步骤4：根据目标灰度与阈值关系判断当前状态，若为检测状态，将平移后的多帧图像作为输入，采用帧差法提取前景图，对多帧前景图进行叠加，然后利用目标阈值实现目标提取，输出目标在图像中位置；

步骤5：根据步骤4的状态判断，若为跟踪状态，则根据前一帧目标位置，对配准平移后的多帧图像进行目标周围感兴趣区域提取，将提取后的图像帧区域作为输入进行目标检测，输出目标在图像中位置。

所述步骤1中的算法一次计算所需的图像帧数可根据算法精度和执行速度进行调整，理论地，随着一次计算图像帧数的增加，算法精度会有所提升，但是计算量会随之增加，降低算法执行效率，因此需根据实际需求进行帧数选择。

作为本发明的一种优选方案，所述步骤2以步骤一中输出的连续几帧灰度图像为输入，考虑到各帧之间图像背景存在的偏移，需采用配准算法实现各连续帧间配准，将其转换到同一坐标系下，用于后续前景提取、叠加及目标检测。理论地，配准算法计算量与图像尺寸成正比，为降低图像配准算法计算量，所述步骤2采用感兴趣区域方法选取各图像帧的局部区域作为输入，显著降低了配准耗时。目前，图像配准算法大致可分为基于区域的配准、基于特征的配准、基于混合模型的配准和基于物理模型的配准，考虑到配准效率，本步骤选择基于相位相关法的图像配准算法。基于相位相关的图像配准算法是一种基于区域的配准算法，配准效率极高，可应对图像的平移和亮度变化。

作为本发明的一种优选方案，所述步骤3根据步骤2配准算法得到的各帧间平移量，采用基于双线性插值方法，将各帧图像经亚像素平移转换到统一坐标系下。典型的图像亚像素平移包含最邻近插值、区域插值、双立方插值、双线性插值等，综合考虑精度及效率，选择双线性插值作为亚像素平移方法。

作为本发明的一种优选方案，所述步骤4采用的目标检测方法为基于多帧差法的目标检测，将配准并亚像素平移后转换到统一坐标系的图像帧作为输入，对于相邻各帧与该帧序的第一帧做差值提取前景，然后将各前景图叠加，以增强目标区域，最后根据阈值进行目标提取，得到目标在图像中的位置。为提升算法效率，根据目标区域灰度与阈值关系，判断所处为检测态或者跟踪态，若低于阈值，则转换至检测状态，即跳过动态感兴趣区域提取，将整帧图像作为输入，送入至目标检测中。

作为本发明的一种优选方案，所述步骤5中采用感兴趣区域提取方式实现目标跟踪，即参照前一帧目标位置，提取当前帧序目标周围区域作为目标检测输入，避免将整帧图像作为输入，大幅度降低目标检测计算量，显著提升跟踪状态下检测速度。当目标区域灰度值大于阈值时，则继续保持跟踪状态，否则切换至检测状态。跟踪状态下通过多帧差法目标检测得到目标在感兴趣区域中的位置，根据感兴趣区域的位置反变换得到目标在整帧图像中的位置。

具体的，本发明实施例提供的一种面向复杂背景的红外弱小目标检测跟踪方法，包括图像输入、图像帧灰度化、图像配准、图像亚像素平移、图像动态感兴趣区域提取、目标检测等过程，如图1所示。

复杂背景下红外弱小目标检测跟踪过程中，相机实时采集N帧连续图像，对采集到的图像进行灰度化转换，针对采集到的RGB图像，根据Gray＝R*0.299+G*0.587+B*0.114得到像素灰度值，其中R,G,B分别为RGB图像三通道像素值，Gray为灰度化后像素灰度值。

将灰度化的图像帧作为输入，采用图像配准方法将各帧图像转换到统一坐标系中。考虑配准效率，选择基于相位相关的图像配准算法。基于相位相关的图像配准算法是一种基于区域的配准算法，配准效率极高，可应对图像的平移和亮度变化。

只考虑两帧输入图像平移变换，设g(x,y)是由f(x,y)平移(x

其中G(u,v)和F(u,v)分别为g(x,y)和f(x,y)的离散傅里叶变换。

则两幅图像频域间互功率谱为

其中G

则P(u,v)的离散傅里叶逆变换(IDFT)为

通过寻找互功率谱的IDFT的最大值可得两帧图像平移量。具体算法步骤如图2所示。为降低配准算法计算量，在保证配准精度前提下，采用图像帧部分区域图像作为输入，以进一步提升配准效率。

通过图像配准算法，得到帧间偏移，采用基于双线性插值的亚像素平移将图像帧序列转换到统一坐标系下。双线性插值的灰度值为

f(i+x

+(1-x

其中x

各帧图像经过平移后转换到统一坐标系后，采用图像帧差提取目标前景图，为进一步增强目标，将相邻几帧的前景图进行叠加，然后通过阈值分割，得到最终目标，如图3所示。为提升检测效率，采用前一帧目标位置周围区域进行感兴趣区域提取，采用感兴趣区域的前景图提取、叠加及阈值分割，代替整张图像帧的目标检测，构建目标跟踪阶段，降低计算量，实现检测性能的提升。通过判断目标区域灰度值与阈值的比较，实现检测与跟踪状态的切换，当前帧的目标区域灰度小于设定的状态切换阈值时，则转换到检测状态，即取消动态区域的提取，否则保持跟踪态。目标检测跟踪结果图如图4所示。

本发明提供的一种面向复杂背景的红外弱小目标检测跟踪方法与系统，针对复杂背景和弱小红外目标特点，设计目标检测算法，采用相位相关图像配准、多帧差法目标检测等手段，实现了针对复杂背景下弱小红外的目标检测，同时具备图像实时拼接功能。本发明提供的一种面向复杂背景的红外弱小目标检测跟踪方法与系统，面向嵌入式平台部署，将感兴趣区域方法应用至图像配准及构建跟踪过程，在保证检测精度的同时有效提升算法运行速度，为算法应用于机载、弹载等计算资源受限场景提供了有力支撑。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。