一种融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法

技术领域

本发明涉及智能驾驶视觉多目标跟踪领域，具体涉及一种融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法。

背景技术

视觉目标跟踪技术的研究在智能驾驶感知领域有非常重要的意义，通过该技术可以对目标的运动状态与趋势进行估计，从而计算目标运动方向与速度，为智能驾驶决策模块提供依据。

当前视觉目标跟踪技术已有较多的研究基础，根据算法类型不同可以分为：相关滤波、光流、运动状态估计、深度学习等技术。早期的目标跟踪算法主要包括：Median Flow、卡尔曼滤波等；基于相关滤波的算法主要有MOSSE、CSK、KCF等；近几年，基于深度学习的目标跟踪算法越来越流行，如：ECO，MDNet，SANet、DeepSORT。

但是，在智能驾驶领域的应用中，由于车辆运动快、场景复杂，如何解决目标遮挡、快速运动、光线变化等问题是一大难点，与此同时，目标数量多、实时性要求高、芯片算力受限也对跟踪算法性能提出了更高的要求。

目前很多算法在部署过程中，无法满足实际需求，比如：Median Flow、KCF等算法为单目标跟踪，扩展到多目标跟踪时，算法无法做到实时性；而基于深度学习的算法，需要单独标注视频跟踪数据集，成本很高，性能也没有达到预期。

因此，亟需一种能适用于智能驾驶场景的多目标实时跟踪算法。

发明内容

为解决现有技术中存在的上述缺陷，本发明的目的在于提供一种融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法，旨在解决复杂场景追踪问题，提高跟踪精度和算法运行效率，使跟踪结果更加平滑。

根据本发明的第一方面，提供一种融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法，其特征在于，包括：

步骤10：通过图像采集设备实时获取当前第i帧的图像M

步骤20：如果第i帧为第一帧，对Objects

步骤30：对第i-1帧的目标跟踪结果列表

步骤40：对比

步骤50：对Objects

步骤60：根据匹配度权重矩阵，使用KM最优匹配算法获得第i-1帧和第i帧各个目标之间的匹配关系，对于匹配成功的目标，将第i-1帧中目标的ID赋值给第i帧的匹配目标，tracked_frames加1，patched_frames设置为0；对于第i帧中未匹配的目标，分配新的ID，tracked_frames设置为1,patched_frames设置为0；对于第i-1帧中未匹配的目标，ID不变,patched_frames加1；各目标均加入

步骤70：对

步骤80：对

进一步地，本发明所提供的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法，其特征在于，所述目标的矩形框包括物体在图像中的矩形框区域左上角坐标(x,y)以及宽度w和高度h。

进一步地，本发明所提供的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法，其特征在于，矩形框运动趋势估计算法包括：对

矩形框区域图像光流特征点追踪算法包括：分别对M

进一步地，本发明所提供的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法，其特征在于，对于矩形框R

归一化中心点距离为：

差异度为：Diff＝abs(log(w

所在图像区域相似度SimM的计算包括：对两个矩形框区域图像M

进一步地，本发明所提供的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法，其特征在于，匹配度满足超参数阈值包括：

进一步地，本发明所提供的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法，其特征在于，矩形框平滑滤波算法为：

将目标j从第i-2帧到第i帧矩形框位置分别记为R

对矩形框的四个参数分别用2阶巴特沃兹低通滤波器进行滤波为：

其中，(a

进一步地，本发明所提供的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法，其特征在于，所述图像采集设备安装在车辆上，感知区域覆盖车辆前方；所述目标包括：车辆、行人、非机动车。

根据本发明的第二方面，提供一种计算机设备，其特征在于，包括：

存储器，用于存储指令；以及

处理器，用于调用所述存储器存储的指令执行第一方面的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法。

根据本发明的第三方面，提供一种计算机可读存储介质，存储有指令，所述指令被处理器执行时，执行第一方面的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法。

与现有技术相比，本发明所构思的上述技术方案至少具有以下有益效果：

结合卡尔曼状态滤波器与光流跟踪算法实现对上一帧目标在当前帧的位置预测；弥补了单一预测器无法覆盖复杂场景的问题。

针对前后帧目标相似度计算的问题，本发明从两个维度进行评估，一是通过对矩形框的重叠度、中心点距离、矩形框大小分别设计评价算法；二是在矩形框区域的图像相似度上提出基于颜色直方图的余弦相似性评价算法；从而更加全面地对目标的相似度进行计算，提高目标跟踪精度。

在目标二分图匹配问题上，相比于业内普遍使用的匈牙利匹配算法，该算法只能实现最大匹配，而本发明采用的KM匹配算法，在匈牙利算法的基础上进一步考虑匹配权重，实现最优匹配。

本发明所实现的目标跟踪算法在目标的矩形框抖动问题上，提出了基于巴特沃兹低通滤波器的矩形框滤波算法，使目标跟踪结果更加平滑。

本发明最终在嵌入式系统中达到每秒钟30帧的运行效率，且最多跟踪目标达到64个；跟踪性能具备优势。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的流程示意图。

图2是根据一示例性实施例示出的矩形框最优二分匹配示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

算法标记说明：

初始化目标标号数组，记为ListID；列表采用队列结构。

当前帧记为i；当前帧图像记为M

上一帧图像记为M

当前目标跟踪结果使用

每个跟踪目标包含参数：目标标号id、目标跟踪帧数tracked_frames、目标预测帧数patched_frames、目标矩形框坐标R(x,y,w,h)。

参数Tn表示最小目标跟踪帧数，参数Pn表示最大目标预测帧数。

如图1所示，在一个实施例中，本发明所提供的融合视觉光流特征点追踪与运动趋势估计的多目标实时跟踪方法由以下步骤组成：

1)系统搭建：将摄像头安装在车辆前挡风玻璃上，覆盖前向感知区域，通过视频传输线与控制器连接，并给整个系统供电；

2)系统初始化：系统启动，加载驱动，进行硬件功能自检，如果硬件出现故障，则报警并退出系统；若系统自检正常则进入下一步；

3)算法实时采集当前帧i的摄像头图像，记为M

4)如果当前帧为第一帧，则将该目标检测结果赋值给当前跟踪结果

5)对第i-1帧跟踪结果

6)对第i-1帧跟踪结果

7)对比

8)对第i帧检测结果Objects

9)使用权重矩阵，执行矩形框最优二分匹配算法(见算法关键模块中(6)矩形框最优二分匹配算法)获得对应关系；对于匹配成功的目标，将第i-1帧中对应目标id赋值给当前第i帧的目标，目标参数tracked_frames加1，patched_frames置0；对于第i帧中未匹配的目标，在目标标号数组ListID中分配新的id，目标参数tracked_frames设置为1,patched_frames置0；对于第i-1帧中未匹配的目标，目标标号不变,patched_frames加1；将这三种目标加入

10)对

11)对

12)返回第3)步。

以上步骤中涉及的算法关键模块包括以下部分：

(1)矩形框匹配度计算：矩形框R

重叠度IoU＝两个矩形框的交集面积/两个矩形框的并集面积。

归一化中心点距离

差异度Diff＝abs(log(w

(2)矩形框区域图像相似度SimM计算：

对矩形框区域图像M

其中S

对应形成两个维度相同的颜色直方图向量

SimM＝V

其中V

(3)矩形框平滑滤波算法：为了使目标跟踪的矩形框更加稳定，本发明通过平滑滤波算法，调整跟踪后目标矩形框位置。当前帧记为i，对于标号j的目标进行平滑滤波，步骤如下：

将目标从第i-2帧到第i帧矩形框位置分别记为R

对矩形框的四个参数分别用2阶巴特沃兹低通滤波器进行滤波，计算公式如下：

其中，(a

返回并保存目标矩形框滤波结果：R’

(4)矩形框运动趋势估计算法：为了提高目标跟踪的准确度，本发明对每个目标进行矩形框位置预测，采用4维卡尔曼状态滤波器，包括矩形框的(x,y,w,h)，根据目标历史矩形框位置，预测当前帧目标的矩形框位置。

(5)矩形框区域图像光流特征点追踪算法：本发明通过对前后两帧图像构建灰度金字塔，并通过LK光流跟踪算法计算上一帧的矩形框区域图像在当前帧的位置，从而实现光流追踪，算法步骤如下：

分别对前后两帧图像构建灰度金字塔。

对上一帧目标列表

使用LK光流点匹配算法，计算这K个点在当前帧图像中的位置。

删除匹配失败的点，对剩下的点分别计算前后两帧横向和纵向的偏移量。

对偏移量进行统计，取中值作为目标光流追踪的目标偏移；并计算目标在当前帧中的矩形框位置。

将光流追踪结果加入

(6)矩形框最优二分匹配算法：对于矩形框列表A和矩形框列表B之间的目标匹配问题，本发明转换为二分图匹配问题，采用KM最优匹配算法计算最优匹配结果。

首先计算两个列表各矩形框之间的IoU重叠度。

将重叠度作为权重构建权重矩阵。

通过KM算法对权重矩阵计算，获得列表A与列表B在最优匹配的情况下矩形框之间的匹配关系。

匹配成功的矩形框则认为是同一个目标，返回匹配结果。

如图2所示，列表A中存在3个目标，列表B中存在4个目标，对列表中的每个目标矩形框两两计算重叠度IoU，值的范围为(0～1)，获得权重矩阵，再使用KM最优二分匹配算法得到匹配结果。经运算，图2中A1、A2、A3分别与列表B中B1、B2、B4匹配成功。

具体的，在一些实施例中，发明实施步骤为：

1)系统搭建：将摄像头安装在车辆前挡风玻璃上，覆盖前向感知区域，通过视频传输线与控制器连接，并给整个系统供电。

2)系统初始化：系统启动，加载驱动，进行硬件功能自检，如果硬件出现故障，则报警并退出系统；若系统自检正常则进入下一步。

3)实时采集当前帧i的摄像头图像，记为M

4)如果当前帧i为第一帧，则初始化目标标号队列ListID，该队列长度为128，队列数据范围为0～127，队列中数据输入与输出采用先进先出原则为检测结果Objects

5)在缓存中取出第i-1帧目标跟踪结果

6)在缓存中取出第i-1帧图像M

7)对比

8)对当前帧i检测结果Objects

a.IoU＝两个矩形框的交集面积/两个矩形框的并集面积。

b.

c.Diff＝abs(log(w

9)再计算Objects

a.对两个矩形框区域图像M

其中S

b.对应形成两个维度相同的颜色直方图向量

SimM＝V

其中V

10)如果Objects

11)对权重矩阵，使用KM最优二分匹配算法，计算Objects

12)清空

13)对

a.对标号为j的目标从第i-2帧到第i帧矩形框原始位置分别记为R

b.对矩形框的四个参数分别用2阶巴特沃兹低通滤波器进行滤波，计算公式如下：

其中，(a

c.返回并保存目标矩形框滤波结果：R’

14)将

15)返回第3)步。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。