基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和终端

技术领域

本发明涉及目标跟踪领域，尤其涉及基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和终端。

背景技术

基于点云数据的三维时敏单目标跟踪是自动驾驶和机器人视觉等相关领域应用的基础。现有的三维目标跟踪方法大都继承二维目标跟踪中的经验，对于RGB信息有很强的依赖性。但是当环境因素变化导致RGB信息退化时，这些方法的性能会变得很差甚至失效。三维点云数据描述场景的几何信息，其采集过程不受光照变化的影响，相较于RGB信息更适用于目标跟踪任务。然而，三维点云数据的不规则性、无序性和稀疏性导致传统二维目标跟踪的方法(如基于孪生神经网络的算法)无法直接应用，为三维时敏单目标跟踪带来巨大的挑战。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和终端。

本发明的目的是通过以下技术方案来实现的：

本发明的第一方面，提供基于深度霍夫优化投票的时敏单目标跟踪方法，包括以下步骤：

使用PointNet++网络提取模板点云P

编码后的搜索种子点d

采样和聚集高可信度的潜在目标中心E，产生K个提议，具有最高得分的提议作为最终的预测结果Φ；

采用模板点云更新策略γ，基于前一帧目标的预测结果更新模板点云P

进一步地，所述使用PointNet++网络提取模板点云P

向PointNet++网络输入模板点云

所述通过计算Q和R的相似度矩阵T将目标信息编码到搜索空间中，生成编码了目标信息的搜索种子点集D，包括：

使用余弦距离计算Q和R之间的相似度，生成相似度矩阵T＝(M

其中，T

使用Q的空间坐标和特征增强，每个T

进一步地，所述编码后的搜索种子点d

每个d

每个d

根据置信度得分从潜在目标中心

进一步地，采样和聚集高可信度的潜在目标中心E，产生K个提议，具有最高得分的提议作为最终的预测结果Φ，包括：

每个e

采用最远点采样从E中计算出大小为K的子集，作为簇中心生成K个簇；

最后，每个簇

其中，

进一步地，所述采用模板点云更新策略γ，基于前一帧目标的预测结果更新模板点云P

在生成了当前帧的预测结果Φ后，基于模板点云更新策略γ，生成下一帧的模板点云，以适应目标外观的变化；即指定目标在第一帧的位置为模板点云，之后每一帧的模板点云通过融合第一帧的模板点云和前一帧预测的目标点云生成。

进一步地，所述方法还包括：

通过XXX损失函数L

总损失函数为：

L＝L

进一步地，smooth-L1损失函数L

式中，Δgt

交叉熵损失函数L

式中，y

交叉熵损失函数L

式中，

smooth-L1损失函数L

式中，

进一步地，损失函数的权重取值为：γ

本发明的第二方面，提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述的基于深度霍夫优化投票的时敏单目标跟踪方法的步骤。

本发明的第三方面，提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述的基于深度霍夫优化投票的时敏单目标跟踪方法的步骤。

本发明的有益效果是：

(1)在本发明一示例性实施例中，首先充分挖掘模板和搜索空间中目标的相似性，将目标模板中的信息有效地编码到搜索空间中，为目标跟踪提供高鉴别力的特征信息，同时该方法对点云的无序性和不规则性保持鲁棒；其次，把目标表面的每一个点回归到物体中心，再聚集目标的候选中心点生成提议，可以获取目标更多的全局信息，从而得到更加准确的检测结果；最后，以帧为单位，通过输入在一个时间序列下连续多帧的搜索空间点云和融合第一帧目标点云与前一帧预测目标点云的模板点云进行持续跟踪，从而可以高效稳定地对场景中的时敏单目标进行持续跟踪，得到单目标连续的运动轨迹(该方法既包含了目标在第一帧中的真实值，又结合了每一帧的预测结果。在目标物体外观发生改变时，通过融合改变过程中的每一帧中的预测目标点云，可以很好地适应目标形状的改变)。

(2)在本发明一示例性实施例中，公开了各个方法的具体实现方式。

附图说明

图1为本发明一示例性实施例提供的发明流程图。

具体实施方式

下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

给定目标模板点云

其中，搜索点云的定义可以是：在某一帧中，通过三维雷达扫描仪得到的待搜索空间中所有点构成的集合。(每个点由在空间中的三维坐标构成)

参见图1，图1示出了本发明的一示例性实施例提供的基于深度霍夫优化投票的时敏单目标跟踪方法，包括以下步骤：

使用PointNet++网络提取模板点云P

编码后的搜索种子点d

采样和聚集高可信度的潜在目标中心E，产生K个提议，具有最高得分的提议作为最终的预测结果Φ；

采用模板点云更新策略γ，基于前一帧目标的预测结果更新模板点云P

具体地，在现有技术中，单个目标表面的点可以直接生成目标提议，但是由于单个目标表面的点只捕获了目标的局部信息，无法有效地描述目标的全局信息，所以无法得到目标在三维空间中精确的位置。

而在本示例性实施例中提出的基于优化的深度霍夫投票的跟踪方法，首先充分挖掘模板和搜索空间中目标的相似性，将目标模板中的信息有效地编码到搜索空间中，为目标跟踪提供高鉴别力的特征信息，同时该方法对点云的无序性和不规则性保持鲁棒；其次，把目标表面的每一个点回归到物体中心，再聚集目标的候选中心点生成提议，可以获取目标更多的全局信息，从而得到更加准确的检测结果；最后，以帧为单位，通过输入在一个时间序列下连续多帧的搜索空间点云和融合第一帧目标点云与前一帧预测目标点云的模板点云进行持续跟踪，从而可以高效稳定地对场景中的时敏单目标进行持续跟踪，得到单目标连续的运动轨迹(该方法既包含了目标在第一帧中的真实值，又结合了每一帧的预测结果。在目标物体外观发生改变时，通过融合改变过程中的每一帧中的预测目标点云，可以很好地适应目标形状的改变)。

该示例性实施例的方法充分挖掘模板和搜索空间中目标的相似性，有效应对点云的无序性和不规则性以及目标外观变化，能够高效稳定地对场景中的时敏单目标进行持续跟踪。能够筛选并编码目标局部信息，有效应对点云的稀疏性和目标运动过程中外观变化。

另外，需要说明的是，在一示例性实施例中，目标信息指的是在目标模板点云中对目标三维外观的描述。

具体地，从模板点云和搜索点云中提取种子点，采用面向目标的特征提取方法编码目标信息；然后，通过投票和筛选生成高置信度的潜在目标中心；之后，执行联合提议和验证生成预测结果；最后进行模板更新。

下述示例性实施例分别对上述四个步骤进行详细展开：

其中，面向目标的特征提取将模板中的目标信息编码到搜索空间中，充分挖掘搜索空间和模板中目标的几何相似性，为后续目标的跟踪提供高鉴别力的特征表示。首先通过PointNet++网络从目标模板点云和搜索空间点云中获取种子点集，然后利用模板中蕴含的目标信息，将搜索区域种子与目标特定特征结合。同时，该方法能够对模板点云的无序性和不规则性保持稳定。

更优地，在一示例性实施例中，如图1中的(a)部分可知，所述使用PointNet++网络提取模板点云P

向PointNet++网络输入模板点云

所述通过计算Q和R的相似度矩阵T将目标信息编码到搜索空间中，生成编码了目标信息的搜索种子点集D，包括：

为了把Q中的目标信息编码到R中，使用余弦距离计算Q和R之间的相似度，生成相似度矩阵T＝(M

其中，T

考虑到Q的无序性导致特征表示T

对于通过投票和筛选生成高置信度的潜在目标中心的步骤，个编码了目标信息的搜索种子点d

更优地，在一示例性实施例中，如图1中的(b)部分可知，所述编码后的搜索种子点d

每个d

每个d

根据置信度得分从潜在目标中心

需要说明的是，这里多层感知机是指在特征维度上共享卷积核的卷积操作。

更优地，在一示例性实施例中，如图1中的(c)部分可知，采样和聚集高可信度的潜在目标中心E，产生K个提议，具有最高得分的提议作为最终的预测结果Φ，包括：

每个e

采用最远点采样从E中计算出大小为K的子集，作为簇中心生成K个簇；

最后，每个簇

其中，

其中，为了学习该网络，定义簇中心点和目标中心点小于0.3m的提议作为正样本，簇中心点和目标中心点大于0.6m的提议作为负样本，其他提议不做处理。

更优地，在一示例性实施例中，如图1中的(d)部分可知，所述采用模板点云更新策略γ，基于前一帧目标的预测结果更新模板点云P

在生成了当前帧的预测结果Φ后，基于模板点云更新策略γ，生成下一帧的模板点云，以适应目标外观的变化；即指定目标在第一帧的位置为模板点云，之后每一帧的模板点云通过融合第一帧的模板点云和前一帧预测的目标点云生成。

具体来说，该方法通过拼接在第一帧和前一帧中目标三维框内的点云生成下一帧输入的模板点云。该方法既包含了目标在第一帧中的真实值，又结合了每一帧的预测结果。在目标物体外观发生改变时，通过融合改变过程中的每一帧中的预测目标点云，可以很好地适应目标形状的改变。

更优地，在一示例性实施例中，所述方法还包括：

通过smooth-L1损失函数L

总损失函数为：

L＝L

更优地，在一示例性实施例中，smooth-L1损失函数L

式中，Δgt

交叉熵损失函数L

式中，y

交叉熵损失函数L

式中，

smooth-L1损失函数L

式中，

更优地，在一示例性实施例中，损失函数的权重取值为：γ

通过在KITTI跟踪数据集上进行实验，本示例性实施例提出的方法在成功率和精准度上都显著优于当前最先进的方法，并且可以在单个NVIDIA2080S图形处理器上以43.5FPS运行。同时具有较低的计算复杂度。

基于上述任意一示例性实施例，本发明的一示例性实施例提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述的基于深度霍夫优化投票的时敏单目标跟踪方法的步骤。

基于上述任意一示例性实施例，本发明的一示例性实施例提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述的基于深度霍夫优化投票的时敏单目标跟踪方法的步骤。

基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得装置执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。