一种基于联合表达特征聚类的车辆轨迹恢复方法

技术领域

本发明属于车辆轨迹恢复技术领域，具体是一种基于联合表达特征聚类的车辆轨迹恢复方法。

背景技术

城市道路中广泛安装有摄像头，充足的视频数据使得对城市交通流量估计、对恢复车辆轨迹提供本地化服务成为可能。车辆轨迹恢复为许多下游智能交通应用(如移动导航和交通分析)的基础步骤。但目前基于现有视频数据恢复出目标交通轨迹的需求现有技术尚未能够很好的满足。

基于视频数据库中有噪声的车辆快照相关特征，结合道路网络信息推断出车辆行驶路线轨迹为基于视频数据库的车辆轨迹恢复任务。该任务通常面临着数据方面车辆类内差异大类间相似的挑战。

现有技术VeTrac算法《Large-Scale Vehicle Trajectory Reconstruction withCamera Sensing Network》提出了整个系统设计，基于车辆在摄像机数据中的快照外观以及获得这些数据的摄像机位置之间的移动依赖性(时空约束)来判断车辆ID(Identity)，是否属于同一辆车。VeTrac系统检查了相机位置之间LPR(License Plate Recognition，车牌文本识别)、车辆外观和移动概率的相似性，并获得将不同摄像头观察到的车辆身份关联起来的组合置信度。建立了一个图卷积网络(GCN,Graph Convolutional Network)模型来对车辆快照特征进行融合，之后进行特征降维、聚类得到车辆快照ID。为解决聚类过程中难以分离快照的负样本对，迭代对GCN网络进行自训练。如附图1所示，概述了VeTrac的流程。MDS(Multi-Dimensional Similarity，多模态相似性)分数被作为图形卷积网络(GCN)的输入。在图卷积之后，为每个快照学习新的特征向量表示，然后可以基于所有快照的表示将快照聚类为单独的车辆轨迹，现有技术的邻接矩阵稀疏度影响资源使用(邻接矩阵内存占用)、计算效率和算法效果。空间和时间复杂度均为O(n

现有技术中，STVTR算法来自论文《Spatio-Temporal Vehicle TrajectoryRecovery on Road NetworkBased on Traffic Camera Video Data》，为MMVC算法的改进版《Vehicle Trajectory Recovery on RoadNetwork Based on Traffic Camera VideoData》。算法流程如附图2所示，整个框架由预处理器、车辆重新识别模块和轨迹恢复模块组成。首先对三种原始数据进行预处理：从相机快照中提取包括外观特征和车牌特征在内的视觉特征，并使用现成的地图匹配算法将历史轨迹与道路网络进行匹配；在车辆重新识别模块中，多模态相似性聚类算法不仅将视觉特征作为输入的静态部分，还将时空约束生成的动态特征作为输入的动态部分；动态特征由反馈模块更新。

在轨迹恢复模块中，道路速度估计器根据地图匹配的轨迹计算每个时隙(1小时范围)中每条道路的速度分布，并采用矩阵分解方法来解决稀疏性问题。同时，道路迁移估计器基于来自道路网络上每个节点处的地图匹配轨迹的迁移频率提出了迁移概率矩阵，该迁移频率描绘了从其先前道路到其后续道路的先验概率。然后，最大后验路径搜索器以聚类结果为输入，搜索最大后验路线，以恢复聚类中每两个连续记录之间的轨迹，其中在似然部分考虑两个记录之间的行进时间，在先验部分考虑道路迁移。作为一个迭代框架，反馈模块计算恢复轨迹的时空可行性得分，在此基础上可以检测有噪声的记录并补充缺失的记录。相应地更新记录的动态嵌入，以便在下一次迭代中改进聚类结果，存在如下缺陷：1、需迭代使用时空信息，容易陷入局部最优，且耗时长。2、无法处理数据流输入。3、聚类模块适合处理快照视觉外观特征符合球状分布的数据，不适合处理其他分布数据。

因此，为了解决上述现有技术存在的缺陷，提出一种基于联合表达特征聚类的车辆轨迹恢复方法。

发明内容

本发明提出了一种基于联合表达特征聚类的车辆轨迹恢复方法，通过将时间和空间信息映射为特征向量，并结合外观视觉特征，使用设计的快速增量聚类方法完成对视频数据库中所有车辆轨迹的恢复。

为了实现上述目的，本发明的技术方案如下：一种基于联合表达特征聚类的车辆轨迹恢复方法，获取车辆快照，基于快照的时间和空间信息经过时空特征映射模块得到时空特征，再构建联合特征内积空间方便计算相似度进行聚类，最后通过快速增量聚类方法得到车辆快照类簇，输出估计得到的车辆快照ID。

进一步，时空特征映射模块的工作方式如下：

将快照位置信息，获得路网中相机对应路口点位置的节点嵌入作为空间嵌入，对时间戳进行特征扩增获得时间嵌入，以及原始时间戳、相机ID信息相结合，作为时间和空间信息的初始融合，然后通过时空特征映射器得到编码在高维空间中的最终时空特征表示，该过程可由公式可以表示为

使用对比学习训练网络，设定批大小为N，每次迭代从训练集中随机选择N条轨迹，然后对每个轨迹随机采样两个车辆快照，对于来自轨迹i的特定样本

进一步，快照位置信息包括经纬度或xy坐标值，以及道路节点的嵌入。

进一步，高维联合特征空间构建方式如下：

车辆快照之间联合相似度，如果有车牌特征的话就考虑车牌特征，缺失车牌特征的话，只使用其他快照特征，其他模态特征之间权重比例保持不变；

当车牌特征存在时，定义联合特征为f＝[f

当特征对中存在车牌特征时，定义线性操作权重函数

进一步，快速增量聚类；添加并维护Index，基于联合特征表达进行索引，判断球型分布系数计算当前批快照与现有类簇相似度，以进行聚类；

对于每一批传入的快照，构建联合特征表示，并添加及维护有车牌和没有车牌特征的内积空间Index，基于当前批次快照合并两个空间的索引结果获得对应的索引和分数，F

为能够处理不同分布的快照特征和时空特征快照，使用球形分布系数T

最后，具有最高相似性的类簇

采用上述方案后实现了以下有益效果：算法扩展了特征空间并重新定义了度量空间，可以有效地获得更优的结果，设计的基于局部点集距离的方法可以适用于不同分布特征的快照集合，不仅限于球型簇数据分布，提升轨迹恢复的效果，由于在距离度量层面融合了时空信息，所以可以实现经过一次聚类获得最终结果，不需迭代，算法可适用于可扩展性的视频数据流(车辆快照)输入。同时我们设计的基于局部点集距离的方法可以更快的进行聚类。促进基于视频数据库车辆轨迹的刑侦技术、智慧城市等应用。

本发明中将时空约束融入到联合特征表达空间中，能够帮忙获得明显更优的轨迹恢复结果；测度空间体现了时空约束，只需进行一次聚类，无需迭代；利用Top-thres点(局部相似点)距离对聚类进行加速，更快得到车辆轨迹结果；球型分布系数可以帮忙聚类方法不仅适用于球型分布类簇，还可以调整以适用于非球型分布数据。

附图说明

图1为现有技术流程图；

图2为现有技术流程示意图；

图3为本发明基于联合表达特征聚类的车辆轨迹恢复方法实施例的流程图；

图4是本发明时空特征映射的流程示意图；

图5是本发明聚类过程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

下面通过具体实施方式进一步详细说明：

一种基于联合表达特征聚类的车辆轨迹恢复方法，基本如附图3和附图4所示，包括如下方法：获取快照，基于其时间和空间信息经过时空特征映射器得到时空特征，再构建联合特征内积空间方便计算相似度进行聚类，最后通过快速增量聚类方法得到车辆快照类簇，输出估计得到的车辆快照ID。

具体的，时空特征映射模块的工作方式如下：

将快照位置信息(快照位置信息包括经纬度或xy坐标值，以及道路节点的嵌入)，获得路网中相机对应路口点位置的节点嵌入(node embedding)作为空间嵌入(spatioembedding)，对时间戳进行特征扩增获得时间嵌入(temporal embedding)，以及原始时间戳、相机ID信息相结合，作为时间和空间信息的初始融合，然后通过时空特征映射器得到编码在高维空间中的最终时空特征表示，

该过程用公式可以表示为

使用对比学习训练网络，给定个批大小(batch size)为N，每次迭代从训练集中随机选择N条轨迹，然后对每个轨迹随机采样两个车辆快照，对于来自轨迹i的特定样本

其中f为对应快照x的特征，

高维联合特征空间构建方式如下：

车辆快照之间联合相似度，如果有车牌特征的话就考虑车牌特征，缺失车牌特征的话，只使用其他快照特征，其他模态特征之间权重比例保持不变；

当车牌特征存在时，定义联合特征为f＝[f

当特征对中存在车牌特征时，定义线性操作权重函数

快速增量聚类；对于每一批传入的快照，我们构建特征表示，并在联合特征空间检索获得相似快照索引和分数，F

为能够处理不同分布的快照特征和时空特征快照，使用球形分布系数T

最后，具有最高相似性的类簇

本发明提升轨迹恢复效果，相较于VeTrac算法(基于邻接矩阵)GCN融合快照one-hot表达向量、STVTR算法迭代使用时空信息修改动态特征，我们的方法基于融合时空后的特征更具表达力、恢复的轨迹更优。相较于STVTR算法中聚类方法，我们的聚类方法能有效处理更加多样分布的快照特征。现有算法运行时间较长，需提升轨迹恢复算法效率。VeTrac算法和STVTR算法均需要迭代，我们的方法不需要，同时适用于可扩展性的视频(车辆快照)数据流输入。本发明将时空约束融入到联合特征表达空间中，能够帮忙获得明显更优的轨迹恢复结果；测度空间体现了时空约束，只需进行一次聚类，无需迭代。利用Top-thres点(局部相似点)距离对聚类进行加速，更快得到车辆轨迹结果；球型分布系数可以帮忙聚类方法不仅适用于球型分布类簇，还可以调整以适用于非球型分布特征数据。

以上所述的仅是本发明的实施例，方案中公知的具体结构和/或特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。