基于二次隐式匹配的动态三维目标跟踪方法及装置

技术领域

本发明涉及智慧交通技术领域，尤其涉及一种基于二次隐式匹配的动态三维目标跟踪方法及装置。

背景技术

当前自动驾驶行业加速发展，自动驾驶汽车依靠多源异构传感器设备，感知周围交通环境，实现车辆的路径规划和自主控制。激光雷达传感器作为一种重要的传感器，其产生的三维点云数据可以帮助车辆获得更精准的三维环境信息。通过激光雷达获取的点云数据对周围交通道路环境中的人机非等动态三维目标进行跟踪是自动驾驶感知领域的重要课题，准确的目标跟踪可以有效减少交通碰撞，提高自动驾驶车辆的安全性。目前的三维目标跟踪方法，受限于目标检测方法不能完全正确检测出所有的动态目标，容易引发误匹配或漏匹配等目标跟踪问题，因此，本发明通过二次隐式匹配方法，在显示匹配的基础上，通过对未正确检测出的隐式目标在预测轨迹中心点有效搜索空间进行聚类检测，实施二次隐式匹配，进一步提高动态三维目标跟踪的准确率，提升自动驾驶车辆的安全性。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于二次隐式匹配的动态三维目标跟踪方法及装置，解决现有的动态三维目标跟踪方法，由于三维目标跟踪方法不能完全正确检测出所有的动态目标进行匹配关联而引发的目标跟踪轨迹误匹配或漏匹配问题。

本发明的目的是通过以下技术方案来实现的：第一方面，一种基于二次隐式匹配的动态三维目标跟踪方法，该方法包括以下步骤：

（1）通过激光雷达采集交通道路上的点云数据，并进行标注，得到点云原点附近的动态三维目标在每一帧点云数据中按时间顺序排列的中心点位置坐标序列，并将中心点位置坐标序列拆分成若干个相同长度的小序列，组成预测数据集训练LSTM时序预测网络模型；

（2）定义目标轨迹列表，用于存储所有目标的轨迹信息，初始化为空；

（3）实时获取点云数据帧，若此时目标轨迹列表为空，则随机生成若干个伪预测中心点位置坐标；若不为空，对于存储的所有目标轨迹，若目标轨迹长度不满足要求，则对目标轨迹长度采用前值填充方式进行扩充，再通过训练好的LSTM时序预测网络模型预测目标轨迹在当前点云数据帧中的中心点位置坐标；

（4）采用基于点云的三维目标检测网络检测出当前点云数据帧中的动态三维目标，生成显式检测框；分别以步骤（3）得到的预测中心点位置坐标为原点，搜索其附近空间范围内是否存在显式检测框，进行匹配判断：满足中心点与该原点距离最近，且距离小于阈值；若存在，则认为匹配成功，否则，进行二次匹配，对除显式检测框之外的点云进行聚类，利用聚类产生的点云簇生成隐式检测框，若隐式检测框中存在检测框，继续进行匹配判断；对匹配成功的中心点位置坐标，若为伪预测中心点位置坐标，则认为匹配上的检测框是新增轨迹，生成其目标轨迹信息，添加至目标轨迹列表中，否则，更新目标轨迹信息，将匹配上的检测框的中心点位置坐标添加至目标轨迹列表中的对应目标轨迹的尾端；对未被匹配上的显示检测框，认为是新增轨迹，生成其目标轨迹信息；

（5）重复步骤（3）和步骤（4），直至所有目标的点云数据全部完成目标跟踪。

进一步地，步骤（2）中，对步骤（1）得到的点云数据，采用人工标注的方式，标注出距离点云原点附近的动态三维目标在每一帧点云数据中的中心点位置坐标，生成每个动态三维目标按时间先后顺序排列的中心点位置坐标序列，并将所有动态三维目标的中心点位置坐标序列，拆分成长度为M+1的小序列，长度不足M+1的小序列则采用前值填充法扩充长度至M+1。

进一步地，对长度不足M+1的小序列采用前值填充法扩充长度至M+1包括以下步骤：

（1.1）假设长度不足M+1的小序列表示为

（1.2）识别该序列的首值为

。

进一步地，利用所有的小序列组成预测数据集，小序列的前M个元素作为LSTM时序预测网络模型的输入，小序列的最后一个元素作为LSTM时序预测网络模型的输出，采用梯度下降法训练LSTM时序预测网络模型直至模型收敛。

进一步地， 步骤（2）中定义目标轨迹列表L，存储所有目标的轨迹信息的过程具体为：定义一个变量

进一步地，随机生成若干个伪预测中心点位置坐标的方式为：

（2.1）将以点云数据帧原点为中心的

（2.2）在

进一步地，步骤（4）具体如下：

（4.1）采用基于点云的三维目标检测网络检测出当前点云数据帧中的动态三维目标，生成显式检测框；任一显式检测框表示为

（4.2）以步骤（3）得到的中心点位置坐标为原点，以d为半径的3D空间范围内，搜索是否存在显式检测框，其中心点与该目标中心点距离最近，且中心点距离小于阈值D，若存在，则认为匹配成功，否则，进行二次匹配，具体为，在以该中心点位置坐标为原点，以d为半径的3D空间范围内，对除显式检测框之外的点云进行聚类，利用聚类产生的点云簇生成隐式检测框，并再次搜索3D空间范围内的隐式检测框中是否存在检测框，检测框中心点与该目标中心点距离最近，且中心点距离小于阈值D，若存在，则认为二次匹配成功；对匹配成功的中心点位置坐标，若为伪预测中心点位置坐标，则认为匹配上的检测框是新增轨迹，生成其目标轨迹信息，将其添加至目标轨迹列表L中，否则，更新目标轨迹信息，即将匹配上的检测框的中心点位置坐标添加至相应目标轨迹的尾端；对未被匹配上的显示检测框，认为是新增轨迹，生成其目标轨迹信息；若存在目标轨迹在最近两次跟踪过程中均没有被更新，则将其从目标轨迹列表L中删除。

进一步地，步骤（4）中，利用聚类产生的点云簇生成隐式检测框具体方法如下：

对聚类产生的任一点云簇，获取点云簇中所有点云的坐标，生成该点云簇的外接检测框；点云簇中点云数量为N，其中任意一个点云的坐标为

该点云簇外接检测框的中心点位置坐标

；

则该点云簇的外接检测框表示为

第二方面，本发明还提供了一种基于二次隐式匹配的动态三维目标跟踪装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的一种基于二次隐式匹配的动态三维目标跟踪方法。

第三方面，本发明还提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时，实现所述的一种基于二次隐式匹配的动态三维目标跟踪方法。

本发明的有益效果是，本发明提出一种基于二次隐式匹配的动态三维目标跟踪方法，解决由于三维目标跟踪方法不能完全正确检测出所有的动态目标进行匹配关联而引发的目标轨迹误匹配或漏匹配问题，进一步提高动态三维目标跟踪方法的准确率。本发明引入了LSTM时序预测网络模型，通过将准确预测的目标轨迹位置，与当前点云数据检测出的显示、隐式目标检测框进行匹配，有效减少漏匹配和误匹配，从而提高目标跟踪的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明一种基于二次隐式匹配的动态三维目标跟踪方法流程图。

图2是自动驾驶车辆车顶安装的激光雷达扫描周围交通环境生成的点云数据图。

图3是采用本发明方法对实时点云数据进行动态三维目标检测的效果展示图。

图4是机动车目标轨迹二次匹配的搜索空间范围示意图。

图5是非机动车目标轨迹二次匹配的搜索空间示意图。

图6是行人目标轨迹二次匹配的搜索空间示意图。

图7是本发明一种基于二次隐式匹配的动态三维目标跟踪装置的结构图。

具体实施方式

下面根据附图详细说明本发明，本发明的目的和效果将变得更加明白。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明提出了一种基于二次隐式匹配的动态三维目标跟踪方法，利用时序预测网络模型，首先采用前值填充法将标注的轨迹序列进行长度对齐，并利用长度对齐的轨迹序列训练LSTM时序预测网络模型。再将其预测的目标轨迹和当前点云数据检测出的显示、隐式目标检测框进行匹配，实现目标轨迹和当前点云数据中目标的正确关联，从而提高目标跟踪的准确率。本发明实施场景为在开放道路上对通过自动驾驶车顶上安装的激光雷达获取的点云数据对周围交通道路环境中的机动车、行人、非机动车等动态三维目标进行跟踪， 由于点云数据具有三维空间性能，可以提供出目标的三维信息，对目标跟踪的准确性具有重要支撑作用。本发明用于解决现有的动态三维目标跟踪方法，由于三维目标检测方法不能完全正确检测出所有的动态目标而发生的目标跟踪轨迹误匹配或漏匹配问题。通过将预测的目标轨迹和当前点云数据检测出的显示、隐式目标检测框进行二次匹配，实现目标轨迹和当前点云数据中目标的正确关联，可显著提高目标跟踪的准确率。高精度的目标跟踪可用于预测人机非等动态移动目标的轨迹行为，对提升自动驾驶安全性能具有十分重要的作用。

本发明提供的一种基于二次隐式匹配的动态三维目标跟踪方法包括以下步骤：

步骤一：利用车顶安装了机械式激光雷达的自动驾驶车辆，收集1万帧车辆在开放交通道路上行驶时激光雷达采集到的点云数据。

上述机械式激光雷达为速腾RS-Ruby Plus 128线激光雷达，拥有更强的测距能力，具有超高分辨率，稳定可靠、功耗低、轻量化，是车规级量产国产激光雷达，普遍用于L4商业化、自动驾驶车辆，可提供交通环境精细化感知点云数据。本发明利用该型号的激光雷达进行点云数据采集、目标跟踪数据标注和目标跟踪方法测试。

步骤二：对收集到的点云数据，采用人工标注的方式，标注出距离点云原点100米范围内的动态三维目标（机动车、行人、非机动车）在每一帧点云数据中的中心点位置坐标，生成每个目标按时间先后顺序排列的中心点位置坐标序列；将所有目标的中心点位置坐标序列，拆分成长度为M+1的小序列，长度不足M+1的小序列则采用前值填充法扩充长度至M+1；利用所有的小序列组成预测数据集。

具体的，对长度不足M+1的小序列采用前值填充法扩充长度至M+1包括以下步骤：

（2.1）假设长度不足M+1的小序列可表示成

（2.2）识别该序列的首值为

具体的，假设填充后的序列可表示为

上述100米标注范围是基于自动驾驶环境感知距离要求确定的，通常认为100米是较远的感知距离，基本能保证自动驾驶车辆的驾驶安全。图2是自动驾驶车辆车顶安装速腾RS-Ruby Plus 128线激光雷达扫描周围交通环境生成的点云数据图，可以观察到，激光雷达距离原点越近，点云密度越高，距离原点越远，点云密度越低。同时采用三维目标检测方法检测机动车、行人、非机动车等目标的检测精度也随目标和原点的距离变大而逐渐变低，跟踪精度也随之变低。因此，有必要对检测精度变低情况下的目标跟踪方法进行改进，以提高车辆的安全驾驶性能。

步骤三：设计一个LSTM时序预测网络模型，并利用预测数据集中的小序列数据训练模型直至模型收敛。具体的，模型输入为小序列的前M个元素，模型输出为小序列的最后一个元素，采用梯度下降法训练预测网络模型直至模型收敛。

上述设计的LSTM时序网络模型，输入维度大小为M，第一层隐藏层维度大小为32，第二层隐藏层大小为8，输出维度大小为1。LSTM时序预测网络模型通过利用过去多个历史时间点的目标位置数据预测未来下一个时间点的目标位置，训练好的模型位置预测准确率高达98%，可实现准确的目标位置预测。

步骤四：定义目标轨迹列表L，用于存储所有目标的轨迹信息，初始化为空；

具体的，定义目标轨迹列表L，用于存储所有目标的轨迹信息，定义一个变量

步骤五：实时获取自动驾驶车辆采集的点云数据帧，若此时目标轨迹列表L为空，则随机生成S个伪预测中心点位置坐标；若不为空，对存储的所有目标轨迹，若存在目标轨迹长度不足M，则采用步骤二中的前值填充方式，先将目标轨迹填充长度至M，再通过训练好的LSTM时序预测网络模型预测目标轨迹在当前点云数据帧中的中心点位置坐标；

具体的，随机生成S个伪预测中心点位置坐标的方式为：

（5.1）将以点云数据帧原点为中心的

（5.2）在

步骤六：采用基于点云的三维目标检测网络检测出当前点云数据帧中的动态三维目标，生成显式检测框；分别以步骤五得到的中心点位置坐标为原点，搜索其附近空间范围内是否存在显式检测框，满足中心点与该原点距离最近，且距离小于D，若存在，则认为匹配成功，否则，进行二次匹配，对除显式检测框之外的点云进行聚类，利用聚类产生的点云簇生成隐式检测框，若隐式检测框中存在检测框，满足中心点与该原点距离最近，且距离小于D，若存在，则认为二次匹配成功；对匹配成功的中心点位置坐标，若为伪预测中心点位置坐标，则认为匹配上的检测框是新增轨迹，生成其目标轨迹信息，否则，更新目标轨迹信息，即将匹配上的检测框的中心点位置坐标添加至相应目标轨迹的尾端；对未被匹配上的显示检测框，认为是新增轨迹，生成其目标轨迹信息。详细步骤具体如下：

（6.1）采用基于点云的三维目标检测网络检测出当前点云数据帧中的动态三维目标，生成显式检测框；任一显式检测框可表示为

（6.2）分别以步骤五得到的中心点位置坐标为原点，以d为半径的3D空间范围内，搜索是否存在显式检测框，满足中心点与该目标中心点距离最近，且中心点距离小于D，若存在，则认为匹配成功；否则，进行二次匹配，具体为，在以该中心点位置坐标为原点，以d为半径的3D空间范围内，对除显式检测框之外的点云进行聚类，利用聚类产生的点云簇生成隐式检测框，并再次搜索该预测轨迹中心点3D空间范围内的隐式检测框中是否存在检测框，其中心点与该目标中心点距离最近，且中心点距离小于D，若存在，则认为二次匹配成功。对匹配成功的中心点位置坐标，若为伪预测中心点位置坐标，则认为匹配上的检测框是新增轨迹，生成其目标轨迹信息，否则，更新目标轨迹信息，即将匹配上的检测框的中心点位置坐标添加至相应目标轨迹的尾端；对未被匹配上的显示检测框，认为是新增轨迹，生成其目标轨迹信息。

（6.3）对没有被匹配上的检测框，则认为是新增轨迹，依次生成其目标轨迹信息，并将其添加至目标轨迹列表L中。

（6.4）对目标轨迹列表L中的目标轨迹，若其在最近两次跟踪过程中均没有被更新，则将其从目标轨迹列表L删除。

（6.5）重复步骤（6.1）~（6.4），直至所有的点云帧数据全部遍历完成。

具体的，对除检测框之外的点云进行聚类，采用的聚类方法为DSCAN。利用聚类产生的点云簇生成隐式检测框具体方法如下：

（1）对聚类产生的任一点云簇，获取簇中所有点云的坐标，生成该点云簇的外接检测框。

假设点云簇中点云数量为N，其中任意一个点云的坐标可表示为

则该点云簇的外接检测框

（2）重复步骤（1），直至所有点云簇均生成外接检测框，所有外接检测框的集合为隐式检测框。

上述三维目标检测网络PointPillars是一种经典的基于点云数据的三维目标检测算法，相比于同类型的纯点云检测方法VoxelNet、Second，对小目标物体具有更高的检测精度，且 PointPillars算法由于将高分辨率的点云划分为点云柱状物的方式生成二维伪图像再生成特征图，最后回归出3D检测框的检测方式，无论是推理速度，还是检测精度均具有明显的优势。因此，本实例选择PointPillars网络模型进行显式目标检测，在基于英伟达RTX 3090显卡上，测试的单帧点云数据推理时长约为30ms，人机非等目标的检测精度mAP（平均精度均值）值100米范围内达到91%。

上述的采用PointPillars网络检测出的显式检测框和采用空间搜索聚类产生的隐式检测框，所能检测出的动态三维目标如图3中立体框所示，可以实现检测范围100米内高达91%的检测精度，检测范围50米内高达96%的检测精度，基于此高精度的显隐式目标检测，为实施后续的目标轨迹关联匹配提供了有力支撑。

上述的动态三维目标跟踪方法是基于先检测后跟踪的方法，检测和跟踪是二阶段解耦的，因此跟踪过程十分灵活，是一种进一步提高现有跟踪方法精度的有效方式。

上述的目标轨迹预测中心点位置的3D搜索空间范围和目标类型相关，小目标（如行人）搜索范围较小，大目标（如机动车）搜索范围较大。根据观察经验值，当D为目标轨迹中目标的三维检测框对角线长度的一半，d为D的两倍，可实现有效搜索。图4表示的是距离原点较远处的机动车辆的目标轨迹预测中心点位置的3D搜索空间范围，其搜索范围用圆圈表示，搜索半径大小为车辆目标的三维检测框对角线长度，图5表示的是非机动车（此处为三轮车）目标轨迹预测中心点位置的3D搜索空间范围，其搜索范围用圆圈表示，图6表示的是行人的3D搜索空间范围，其搜索范围用圆圈表示。行人等小目标搜索半径应小于机动车，在降低搜索成本的同时避免引入噪声目标。图4、图5、图6圆圈内的目标旁边标注的数字即为目标轨迹编号，该编号唯一，例如图4中的6_车、7_车和8_车，图5中的7_车和42_车表示的是机动车等大目标的轨迹编号，图4和图5中的35_三轮车，表示的是非机动车的轨迹编号，图6中的106_行人，表示的是行人等小目标的轨迹编号，图4、图5、图6中箭头表示目标的前进方向，采用本发明提出的跟踪方法能实现目标的有效跟踪，使得同一目标在整个跟踪过程中轨迹编号保持一致。

上述实时获取自动驾驶车辆的点云数据，并对点云目标依次进行动态三维目标跟踪，可以实现点云原点100米范围内目标的准确检测和稳定跟踪。通过采用本发明提出的二次隐式动态三维目标跟踪方法，动态目标跟踪准确率MOTA（多目标跟踪精度）值达到93.7%，可帮助自动驾驶车辆更加准确地感知周围障碍物目标的动态行为，提升自动驾驶的安全性能。

与前述一种基于二次隐式匹配的动态三维目标跟踪方法的实施例相对应，本发明还提供了一种基于二次隐式匹配的动态三维目标跟踪装置的实施例。

参见图7，本发明实施例提供的一种基于二次隐式匹配的动态三维目标跟踪装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述实施例中的一种基于二次隐式匹配的动态三维目标跟踪方法。

本发明提供的一种基于二次隐式匹配的动态三维目标跟踪装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为本发明提供的一种基于二次隐式匹配的动态三维目标跟踪装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种基于二次隐式匹配的动态三维目标跟踪方法。

所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。