掌桥专利:专业的专利平台
掌桥专利
首页

轨迹预测方法、装置、计算机设备和存储介质

文献发布时间:2024-04-29 00:47:01


轨迹预测方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域,特别是涉及一种轨迹预测方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

自动驾驶技术的快速发展已经在交通领域引起了广泛的关注。在实现自动驾驶的过程中,预测驾驶环境中各交通参与者的运动轨迹,可以为自动驾驶系统提供有关路径规划和避免碰撞的重要信息。

在当前的障碍物轨迹预测方法中,一种常见的策略是引入外部额外先验信息进行模型训练以预测轨迹,这种方法高度依赖外部信息,如果外部信息不准确将直接影响轨迹预测准确度,而现有的轨迹预测模型也不可避免的存在预测结果准确度不高的问题。

发明内容

基于此,有必要针对上述技术问题,提供一种能够提升轨迹预测准确度的轨迹预测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面,本申请提供了一种轨迹预测方法,包括:

获取车辆在驾驶环境下的环境数据;

通过轨迹预测模型,对所述环境数据进行特征提取,得到环境数据特征;

基于所述环境数据构建模拟地图,对所述模拟地图进行特征提取,得到模拟地图特征;

将所述环境数据特征以及所述模拟地图特征进行匹配,得到匹配结果;

针对所述环境数据中各交通参与者,基于所述匹配结果,从所述模拟地图中选择与当前交通参与者对应的目标位置作为预测轨迹终点位置,并从所述模拟地图中确定当前交通参与者的当前地图位置作为预测轨迹起点位置;

基于各交通参与者对应的所述预测轨迹起点位置和预测轨迹终点位置,生成各交通参与者的预测轨迹。

在其中一个实施例中,所述将所述环境数据特征以及所述模拟地图特征进行匹配,得到匹配结果,包括:

确定所述环境数据特征中的环境数据关键点;

确定所述模拟地图特征中的地图关键点;

通过相似度计算的方式,将环境数据关键点与地图关键点进行匹配,得到关键点匹配结果。

在其中一个实施例中,所述基于所述匹配结果,从所述模拟地图中确定当前交通参与者的当前地图位置作为预测轨迹起点位置,包括:

从所述环境数据关键点中确定当前交通参与者的运动轨迹终点;

基于所述关键点匹配结果,确定与所述运动轨迹终点相匹配的地图关键点,将与所述运动轨迹终点相匹配的地图关键点的位置作为所述当前地图位置。

在其中一个实施例中,所述轨迹预测模型是通过如下方式构建的:

获取车辆在驾驶环境下的环境数据样本以及所述环境数据样本中各交通参与者的预测轨迹样本;

通过初始轨迹预测模型,对所述环境数据样本进行特征提取,得到环境数据样本特征;

基于所述环境数据样本构建模拟地图样本,对所述模拟地图样本进行特征提取,得到模拟地图样本特征;

将所述环境数据样本特征以及所述模拟地图样本特征进行匹配,得到匹配结果;

针对所述环境数据样本中各交通参与者,基于所述匹配结果,从所述模拟地图样本中选择与当前交通参与者对应的目标位置作为预测轨迹终点位置,并从所述模拟地图样本中确定当前交通参与者的当前地图位置作为预测轨迹起点位置;基于所述预测轨迹起点位置和预测轨迹终点位置,生成所述环境数据样本中当前交通参与者的预测轨迹;基于所述环境数据样本中各交通参与者分别对应的预测轨迹和分别对应的预测轨迹样本,对所述初始轨迹预测模型进行调整,直至预测轨迹与预测轨迹样本之间的差异在预设精确度范围内,得到所述轨迹预测模型。

在其中一个实施例中,所述环境数据样本中还包括至少两条不同时间步长的历史轨迹数据,且所述至少两条历史轨迹数据对应的预测轨迹样本相匹配;

和/或;

所述环境数据样本中还包括至少两条来源于不同位置的历史轨迹数据,且所述至少两条历史轨迹数据对应的预测轨迹样本相匹配。

在其中一个实施例中,基于各交通参与者对应的所述预测轨迹起点位置和预测轨迹终点位置,生成各交通参与者的预测轨迹,包括:

针对各交通参与者,基于所述当前交通参与者对应的所述预测轨迹起点位置和预测轨迹终点位置,生成各交通参与者的多条候选预测轨迹;基于轨迹平滑性、轨迹与障碍物的距离、以及轨迹速度,对所述多条候选预测轨迹分别进行评估;基于评估结果,从所述多条候选预测轨迹中确定目标预测轨迹作为所述当前交通参与者的预测轨迹。

在其中一个实施例中,所述环境数据包括:各交通参与者的运动数据、障碍物信息以及道路结构信息,所述运动数据包括交通参与者的运动轨迹、速度和加速度。

第二方面,本申请还提供了一种轨迹预测方法,包括:

获取车辆在驾驶环境下的环境数据样本,以及所述环境数据样本中各交通参与者的预测轨迹样本;

通过初始轨迹预测模型,对所述环境数据样本进行特征提取,得到环境数据样本特征;

基于所述环境数据样本构建模拟地图样本,对所述模拟地图样本进行特征提取,得到模拟地图样本特征;

将所述环境数据样本特征以及所述模拟地图样本特征进行匹配,得到匹配结果;

针对所述环境数据样本中各交通参与者,基于所述匹配结果,从所述模拟地图样本中选择与当前交通参与者对应的目标位置作为预测轨迹终点位置,并从所述模拟地图样本中确定当前交通参与者的当前地图位置作为预测轨迹起点位置;基于所述预测轨迹起点位置和预测轨迹终点位置,生成所述环境数据样本中当前交通参与者的预测轨迹;基于所述环境数据样本中各交通参与者分别对应的预测轨迹和分别对应的预测轨迹样本,对所述初始轨迹预测模型进行调整,直至预测轨迹与预测轨迹样本的差异在预设精确度范围内,得到所述轨迹预测模型。

第三方面,本申请还提供了一种轨迹预测装置,包括:

第一获取模块,用于获取车辆在驾驶环境下的环境数据;

第一特征提取模块,用于通过轨迹预测模型,对所述环境数据进行特征提取,得到环境数据特征;

第二特征提取模块,用于基于所述环境数据构建模拟地图,对所述模拟地图进行特征提取,得到模拟地图特征;

第一特征匹配模块,用于将所述环境数据特征以及所述模拟地图特征进行匹配,得到匹配结果;

位置确定模块,用于针对所述环境数据中各交通参与者,基于所述匹配结果,从所述模拟地图中选择与当前交通参与者对应的目标位置作为预测轨迹终点位置,并从所述模拟地图中确定当前交通参与者的当前地图位置作为预测轨迹起点位置;

轨迹预测模块,用于基于各交通参与者对应的所述预测轨迹起点位置和预测轨迹终点位置,生成各交通参与者的预测轨迹。

第四方面,提供了一种轨迹预测模型训练装置,包括:

第二获取模块,用于获取车辆在驾驶环境下的环境数据样本,以及所述环境数据样本中各交通参与者的预测轨迹样本;

第三特征提取模块,用于通过初始轨迹预测模型,对所述环境数据样本进行特征提取,得到环境数据样本特征;

第四特征提取模块,用于基于所述环境数据样本构建模拟地图样本,对所述模拟地图样本进行特征提取,得到模拟地图样本特征;

第二特征匹配模块,用于将所述环境数据样本特征以及所述模拟地图样本特征进行匹配,得到匹配结果;

轨迹预测模型生成模块,用于针对所述环境数据样本中各交通参与者,基于所述匹配结果,从所述模拟地图样本中选择与当前交通参与者对应的目标位置作为预测轨迹终点位置,并从所述模拟地图样本中确定当前交通参与者的当前地图位置作为预测轨迹起点位置;基于所述预测轨迹起点位置和预测轨迹终点位置,生成所述环境数据样本中当前交通参与者的预测轨迹;基于所述环境数据样本中各交通参与者分别对应的预测轨迹和分别对应的预测轨迹样本,对所述初始轨迹预测模型进行调整,直至预测轨迹与预测轨迹样本的差异在预设精确度范围内,得到所述轨迹预测模型。

第五方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述各实施例方法的步骤。

第六方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述各实施例方法的步骤。

第七方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各实施例方法的步骤。

上述轨迹预测方法、装置、计算机设备、存储介质和计算机程序产品,在本实施例中,获取车辆在驾驶环境下的环境数据;通过轨迹预测模型,对所述环境数据进行特征提取,得到环境数据特征;基于所述环境数据构建模拟地图,对所述模拟地图进行特征提取,得到模拟地图特征;将所述环境数据特征以及所述模拟地图特征进行匹配,得到匹配结果,这样可以形成环境数据特征和模拟地图特征之间的匹配关系,从而通过已训练好的轨迹预测模型,针对所述环境数据中各交通参与者,可以基于所述匹配结果,从所述模拟地图中选择与当前交通参与者对应的目标位置作为预测轨迹终点位置,并从所述模拟地图中确定当前交通参与者的当前地图位置作为预测轨迹起点位置,从而基于各交通参与者对应的所述预测轨迹起点位置和预测轨迹终点位置,生成各交通参与者的预测轨迹,通过本申请轨迹预测模型准确预测得到对各交通参与者的轨迹终点位置,从而基于该轨迹终点位置可以准确预测得到各交通参与者的预测轨迹,相对于现有的轨迹预测模型,预测精确度更高,同时,本申请是基于实际采集的环境数据进行轨迹预测,而不是通过引入外部额外先验信息以进行轨迹预测,提升了轨迹预测模型的预测精确度。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为一个实施例中轨迹预测方法的流程示意图;

图2为一个实施例中轨迹预测模型训练方法的流程示意图;

图3为一个实施例中轨迹预测装置的结构框图;

图4为一个实施例中轨迹预测模型训练装置的结构框图;

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

在当前的障碍物轨迹预测方法中,一种常见的策略是引入外部额外先验信息,如环境细节信息或车辆传感器数据,以更好地捕捉障碍物的运动模式和环境交互,但是这种方式存在许多缺陷,具体来说,1、依赖于外部先验信息:这种方法对准确的外部信息高度依赖,包括道路状况、天气、其他车辆的行为等等,如果这些信息的质量或完整性存在问题,预测结果可能会受到严重影响,甚至导致不准确的轨迹预测。2、数据类型和数量的多样性:在实际道路上,自动驾驶车辆可能面临多样性的数据类型和数量,引入外部额外先验信息往往无法充分适应这种多样性,因为它们通常在设计之初假定了特定类型和数量的先验信息。3、训练和推理时间:添加额外的先验信息通常导致模型的复杂性增加,从而延长了训练和推理的时间。这不仅限制了其在实时应用中的实用性,还增加了计算资源的要求。

另一种方法是改进现有的轨迹预测模型,但它们也存在一些不足之处:1、缺乏时间上的一致性:许多现有模型通常通过逐步推导的方式来预测障碍物的轨迹,这可能导致最终预测结果在时间维度上不连续或不平滑。这种不平滑性可能不符合自动驾驶系统的需要,因为自动驾驶车辆需要高度平滑的轨迹来确保安全和舒适的驾驶体验。2、轨迹预测的精度低以及计算效率低。

为了解决上述问题,本申请提出了轨迹预测方法。在一个实施例中,如图1所示,提供了一种轨迹预测方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:

步骤S101、获取车辆在驾驶环境下的环境数据;

终端可以获取车辆在自动驾驶环境下的环境数据,车辆上的激光雷达、相机、全球定位系统(global positioning system,GPS)等传感器可以提供丰富的环境数据。

步骤S102、通过轨迹预测模型,对环境数据进行特征提取,得到环境数据特征;

将环境数据输入轨迹预测模型中,通过轨迹预测模型中的特征提取模块对对环境数据进行特征提取得到环境数据特征;

步骤S103、基于环境数据构建模拟地图,对模拟地图进行特征提取,得到模拟地图特征;

终端构建与环境数据对应的模拟地图,将模拟地图输入到轨迹预测模型中,通过轨迹预测模型中的特征提取模块对模拟地图中的各地图元素进行特征提取,得到模拟地图特征。

步骤S104、将环境数据特征以及模拟地图特征进行匹配,得到匹配结果;

终端通过轨迹预测模型将环境数据特征映射到模拟地图中,匹配得到与环境数据特征对应的模拟地图特征。

步骤S105、针对环境数据中各交通参与者,基于匹配结果,从模拟地图中选择与当前交通参与者对应的目标位置作为预测轨迹终点位置,并从模拟地图中确定当前交通参与者的当前地图位置作为预测轨迹起点位置;

环境数据中各交通参与者包括上述车辆、上述车辆周围的行人以及车辆;

本申请需要对环境数据中各交通参与者均进行轨迹预测,因此针对环境数据中各交通参与者,通过已训练好的轨迹预测模型,基于该匹配结果,从模拟地图中选择的目标位置,作为当前交通参与者的预测轨迹终点位置,以此可以选择得到各交通参与者分别对应的预测轨迹终点位置;

同时,通过已训练好的轨迹预测模型,基于该匹配结果,从模拟地图中确定当前交通参与者的当前地图位置作为预测轨迹起点位置;

步骤S106、基于各交通参与者对应的预测轨迹起点位置和预测轨迹终点位置,生成各交通参与者的预测轨迹。

在本实施例中,预测轨迹起点位置的数量一般是一个,预测轨迹终点位置的数量可以是一个或一个以上,终端基于当前交通参与者对应的预测轨迹起点位置以及预测轨迹终点位置,得到当前交通参与者的一条或一条以上的预测轨迹,从而针对各交通参与者,均可以生成各交通参与者的预测轨迹。

生成各交通参与者在模拟地图上的预测轨迹后,可以将模拟地图上的预测轨迹映射到车辆实际驾驶环境中,得到各交通参与者在实际驾驶环境中的预测轨迹。

在本实施例中,获取车辆在驾驶环境下的环境数据;通过轨迹预测模型,对所述环境数据进行特征提取,得到环境数据特征;基于所述环境数据构建模拟地图,对所述模拟地图进行特征提取,得到模拟地图特征;将所述环境数据特征以及所述模拟地图特征进行匹配,得到匹配结果,这样可以形成环境数据特征和模拟地图特征之间的匹配关系,从而通过已训练好的轨迹预测模型,针对所述环境数据中各交通参与者,可以基于所述匹配结果,从所述模拟地图中选择与当前交通参与者对应的目标位置作为预测轨迹终点位置,并从所述模拟地图中确定当前交通参与者的当前地图位置作为预测轨迹起点位置,从而基于各交通参与者对应的所述预测轨迹起点位置和预测轨迹终点位置,生成各交通参与者的预测轨迹,通过本申请轨迹预测模型准确预测得到对各交通参与者的轨迹终点位置,从而基于该轨迹终点位置可以准确预测得到各交通参与者的预测轨迹,相对于现有的轨迹预测模型,预测精确度更高,同时,本申请是基于实际采集的环境数据进行轨迹预测,而不是通过引入外部额外先验信息以进行轨迹预测,提升了轨迹预测模型的预测精确度。

在本实施例中,由于不需要引入外部额外先验信息以进行轨迹预测,因此也避免了现有方案中存在的无法满足数据类型和数量的多样性需求以及模型训练和推理时间长的缺陷。

在一个示例性的实施例中,所述环境数据包括:各交通参与者的运动数据、障碍物信息以及道路结构信息,所述运动数据包括交通参与者的运动轨迹、速度和加速度。

在本实施例中,道路结构信息包括道路标线、交通标识、路口标识、道路的几何形状。

障碍物信息包括城市建筑、树木、岩石等的位置。

对应的,基于环境数据所提取的环境数据特征包括:环境数据关键点、速度、加速度等,环境数据关键点包括交通参与者的运动轨迹上的各轨迹点,当然还包括对道路标线、路口标识等识别得到的其他关键点。

一种可能的场景是:环境数据中包括交通参与者第1-10s的轨迹、速度、加速度、道路结构信息、障碍物信息等,将所述环境数据特征以及所述模拟地图特征进行匹配,得到匹配结果后,交通参与者第10s所在位置在模拟地图中的对应地图位置即为预测轨迹起点位置,然后基于匹配结果从模拟地图中选择目标位置作为预测的交通参与者第13s可能达到的位置,从而生成交通参与者第10-13s的预测轨迹。

在一个示例性的实施例中,所述将所述环境数据特征以及所述模拟地图特征进行匹配,得到匹配结果,包括:

确定所述环境数据特征中的环境数据关键点;

确定所述模拟地图特征中的地图关键点;

通过相似度计算的方式,将环境数据关键点与地图关键点进行匹配,得到关键点匹配结果。

在本实施例中,在环境数据特征包括环境数据关键点的情况下,确定模拟地图中的地图关键点后,通过相似度计算的方式,确定与各环境数据关键点相似度在预设相似度范围内的地图关键点,作为与环境数据关键点相匹配的地图关键点。

在本实施例中,相似度计算方式可以是:距离相似度算法,和/或计算两关键点之间方向和形状等的相似度,从而确定两关键点是否相似。

在一个示例性的实施例中,所述基于所述匹配结果,从所述模拟地图中确定当前交通参与者的当前地图位置作为预测轨迹起点位置,包括:

从所述环境数据关键点中确定当前交通参与者的运动轨迹终点;

基于所述关键点匹配结果,确定与所述运动轨迹终点相匹配的地图关键点,将与所述运动轨迹终点相匹配的地图关键点的位置作为所述当前地图位置。

可以理解的是,环境数据关键点中必然包括各交通参与者当前的运动轨迹上的起点、终点以及途经点等,当前交通参与者的运动轨迹上的终点即为该交通参与者的预测轨迹的起点;

基于关键点匹配结果,确定与运动轨迹终点相匹配的地图关键点,该地图关键点的位置即为交通参与者在地图对应的当前运动轨迹的终点位置,也即为交通参与者在地图上的当前地图位置,从而可以将当前地图位置作为预测轨迹起点位置。

在一个示例性的实施例中,基于所述匹配结果,从所述模拟地图中选择与当前交通参与者对应的目标位置作为预测轨迹终点位置,包括:基于该关键点匹配结果,从模拟地图中选择目标地图关键点,目标地图关键点的位置即为目标位置,从而作为预测轨迹终点位置。

在一个示例性的实施例中,基于各交通参与者对应的所述预测轨迹起点位置和预测轨迹终点位置,生成各交通参与者的预测轨迹,包括:

从预测轨迹起点位置到预测轨迹终点位置可能会途经地图上的其他地图关键点,则轨迹预测模型还可以从地图的地图关键点中选择预测轨迹起点位置以及预测轨迹终点位置之间途径的地图关键点,以实现对轨迹的途径关键点的预测,从而基于预测轨迹起点位置、预测轨迹终点位置以及途径的地图关键点,生成各交通参与者的预测轨迹。

在一个示例性的实施例中,所述轨迹预测模型是通过如下方式构建的:

获取车辆在驾驶环境下的环境数据样本以及所述环境数据样本中各交通参与者的预测轨迹样本;

通过初始轨迹预测模型,对所述环境数据样本进行特征提取,得到环境数据样本特征;

基于所述环境数据样本构建模拟地图样本,对所述模拟地图样本进行特征提取,得到模拟地图样本特征;

将所述环境数据样本特征以及所述模拟地图样本特征进行匹配,得到匹配结果;

针对所述环境数据样本中各交通参与者,基于所述匹配结果,从所述模拟地图样本中选择与当前交通参与者对应的目标位置作为预测轨迹终点位置,并从所述模拟地图样本中确定当前交通参与者的当前地图位置作为预测轨迹起点位置;基于所述预测轨迹起点位置和预测轨迹终点位置,生成所述环境数据样本中当前交通参与者的预测轨迹;基于所述环境数据样本中各交通参与者分别对应的预测轨迹和分别对应的预测轨迹样本,对所述初始轨迹预测模型进行调整,直至预测轨迹与预测轨迹样本的差异在预设精确度范围内,得到所述轨迹预测模型。

在本实施例中,环境数据样本中包含的内容与上述环境数据中包含的内容类似,此处不再赘述;

终端还可以获取各交通参与者的预测轨迹样本,这里的各交通参与者是指环境数据样本中的各交通参与者。

将环境数据样本输入初始轨迹预测模型中,通过初始轨迹预测模型中的特征提取模块对所述环境数据样本进行特征提取得到环境数据特征;构建与环境数据样本对应的模拟地图样本,将模拟地图样本输入到初始轨迹预测模型中,通过初始轨迹预测模型中的特征提取模块对模拟地图样本中的各地图元素进行特征提取,得到模拟地图样本特征,终端通过初始轨迹预测模型将环境数据样本特征映射到模拟地图中,匹配得到与环境数据样本特征对应的模拟地图样本特征。

针对环境数据样本中各交通参与者,通过初始轨迹预测模型,基于该匹配结果,从模拟地图中选择的目标位置,作为当前交通参与者的预测轨迹终点位置;通过初轨迹预测模型,基于该匹配结果,从模拟地图样本中确定当前交通参与者的当前地图位置作为预测轨迹起点位置,终端基于当前交通参与者对应的预测轨迹起点位置以及预测轨迹终点位置,得到当前交通参与者的预测轨迹,从而针对各交通参与者,均可以生成各交通参与者的预测轨迹;

将环境数据样本中各交通参与者对应的预测轨迹与该交通参与者对应的预测轨迹样本进行对比,确定各交通参与者对应的预测轨迹与对应的预测轨迹样本之间的差异,基于该差异对初始轨迹预测模型的损失函数进行调整,直至模型预测得到的预测轨迹与预测轨迹样本的差异在预设精确度范围内,从而调整得到轨迹预测模型。

一种可能的场景是:车辆在驾驶环境下的环境数据样本以及预测轨迹样本,环境数据样本包括交通参与者第1-5s的运动轨迹,预测轨迹样本为交通参与者第6-8s的运动轨迹;

将环境数据样本特征以及模拟地图样本特征进行匹配后,基于该匹配结果由初始轨迹预测模型从地图中选择一个目标位置作为预测轨迹终点位置,并从地图中选择交通参与者第5s的位置作为预测轨迹起点位置,基于预测轨迹起点位置以及预测轨迹终点位置生成第6-8s交通参与者的轨迹,即预测轨迹,将预测轨迹与6-8s的运动轨迹进行对比,比较两者之间的差异对初始轨迹预测模型调优,目的是使得轨迹预测模型预测得到的运动轨迹越来越靠近预测轨迹样本。

为了确保预测轨迹在时间和空间上保持连贯性和平滑性,需要对轨迹预测模型进行一致性约束,这有助于防止预测结果出现不连续或不平滑的情况。一致性约束包括时间一致性约束和空间一致性约束。时间一致性约束要求模型在不同时间步长的输入下生成相似的预测结果,以保持时间上的连续性。空间一致性约束要求模型在不同位置或区域的输入下生成相似的预测结果,以保持空间上的连贯性。具体来说:

在一个示例性的实施例中,所述环境数据样本中还包括至少两条不同时间步长的历史轨迹数据,且所述至少两条历史轨迹数据对应的预测轨迹样本相匹配;

和/或;

所述环境数据样本中还包括至少两条来源于不同位置的历史轨迹数据,且所述至少两条历史轨迹数据对应的预测轨迹样本相匹配。

环境数据样本中还包括至少两条不同时间步长的历史轨迹数据,如上述可以选择与历史轨迹数据的终点位置对应的当前地图位置作为预测轨迹起点位置,同时基于包含历史轨迹数据的环境数据得到匹配结果后,可以基于该匹配结果确定预测轨迹终点位置,因此每一交通参与者的历史轨迹数据实际上均与由该交通参与者的历史轨迹数据预测得到的该交通参与者的预测轨迹相匹配,因此认为在模型训练时,历史轨迹数据具有对应的预测轨迹样本。

轨迹预测中的时间一致性约束是指在进行轨迹预测时,要求模型的输出轨迹在时间上保持连续性和一致性。具体来说,这意味着模型应该在不同时间步长的输入下产生相似的轨迹预测,以确保预测结果在时间上不会发生突变或不连贯的情况;

为了进行时间一致性约束,环境数据样本中还包括至少两条不同时间步长的历史轨迹数据,且将至少两条历史轨迹数据对应的预测轨迹样本设置为相似甚至相同;

轨迹预测问题通常涉及到根据历史轨迹数据来预测未来一段时间内的轨迹。因为突然的轨迹变化可能会导致危险或不稳定的行为,时间一致性约束的目标是使得模型的预测结果在时间上保持平滑和连续,以反映真实世界中的运动和行为模式。时间一致性约束可以通过多种方式来实现,包括考虑历史轨迹数据的动态变化、使用平滑性约束、对轨迹预测结果进行滤波等方法。通过引入时间一致性约束,轨迹预测模型可以更好地适应不同时间点的输入数据,并产生更加稳定和可靠的轨迹预测结果,提高了在实际应用中的可行性和安全性。

空间一致性约束可以表述为:轨迹预测中的空间一致性约束是指在进行轨迹预测时,要求模型的输出轨迹在空间上保持连贯和一致。具体来说,这意味着模型应该在不同位置或不同区域的输入下产生相似的轨迹预测,以确保预测结果在空间上不会出现跳跃或不连贯的情况;

在本实施例中,模型训练时,环境数据样本中还包括至少两条来源于不同位置的历史轨迹数据,不同位置指的是实际驾驶环境中的不同位置,同时至少两条历史轨迹数据对应的预测轨迹样本相似甚至相同;

实现空间一致性约束的方法可以包括考虑环境地图、道路结构、障碍物位置等信息,以确保轨迹预测结果在空间上与实际情况相符合。此外,一些轨迹预测模型可能会使用平滑性约束、光滑的轨迹插值或者对轨迹进行滤波等技术来实现空间一致性。通过引入空间一致性约束,轨迹预测模型可以更好地适应不同空间位置的输入数据,并生成更加连贯和适应实际环境的轨迹预测结果,从而提高了预测的准确性和实用性。

一致性约束通过强调连续性和平滑性,有助于确保生成的轨迹在时间和空间上保持平滑。这意味着预测的轨迹在相邻时间步长之间不会发生剧烈的变化,从而更符合现实世界中行人或物体的自然行为。在复杂场景下,行人或物体的轨迹可能受到各种因素的影响,例如避让其他物体或应对突发情况。一致性约束可以减少模型产生误导性预测的可能性,因为它鼓励模型根据历史观测数据做出与之前一致的决策。这意味着模型更倾向于产生与先前行为相符的预测结果,而不会轻易受到噪声或异常值的干扰。

通过一致性约束,可以减少误导性预测、提高鲁棒性,并使模型更适应复杂场景。这些改进可以使轨迹预测模型更贴近实际应用,并提高其性能和可靠性。

在一个示例性的实施例中,基于各交通参与者对应的所述预测轨迹起点位置和预测轨迹终点位置,生成各交通参与者的预测轨迹,包括:

针对各交通参与者,基于所述当前交通参与者对应的所述预测轨迹起点位置和预测轨迹终点位置,生成各交通参与者的多条候选预测轨迹;基于轨迹平滑性、轨迹与障碍物的距离、以及轨迹速度,对所述多条候选预测轨迹分别进行评估;基于评估结果,从所述多条候选预测轨迹中确定目标预测轨迹作为所述当前交通参与者的预测轨迹。

在本实施中,针对每一交通参与者,可以预测得到多个预测轨迹终点位置,从而可以对应生成多条候选预测轨迹,对每条候选预测轨迹的轨迹平滑性、轨迹与障碍物的距离、以及轨迹速度分别进行评分,再将轨迹平滑性、轨迹与障碍物的距离、以及轨迹速度分别对应的评分与分别对应的权重进行加权计算,得到该候选预测轨迹的综合评分,基于各候选预测轨迹的综合评分,从候选预测轨迹中确定目标预测轨迹作为当前交通参与者的预测轨迹。

在本实施例中,考虑候选预测轨迹的轨迹平滑性,是因为生成的轨迹应该是平滑的,即各交通参与者的位置在连续时间内不应该出现剧烈的变化。为了评估平滑性,相邻时间步的轨迹之间的位置差异过大可能表明轨迹不够平滑。

考虑轨迹与障碍物的距离,是因为轨迹应该避免与障碍物发生碰撞。这可以通过检查轨迹与已知障碍物的距离来实现,如果轨迹与障碍物的距离小于一定阈值,那么该轨迹在轨迹与障碍物的距离这一项上评分较低。

轨迹的速度应该符合行驶规则,不应该过于迅猛或过于缓慢,若候选预测轨迹的速度大于对应阈值,则获取较低的评分。

在本实施例中,可以从多条候选预测轨迹中选择综合评分最高的轨迹作为当前交通参与者的预测轨迹。

在一个实施例中,如图2所示,提供了一种轨迹预测方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:

步骤S201、获取车辆在驾驶环境下的环境数据样本,以及环境数据样本中各交通参与者的预测轨迹样本;

步骤S202、通过初始轨迹预测模型,对环境数据样本进行特征提取,得到环境数据样本特征;

步骤S203、基于环境数据样本构建模拟地图样本,对模拟地图样本进行特征提取,得到模拟地图样本特征;

步骤S204、将环境数据样本特征以及模拟地图样本特征进行匹配,得到匹配结果;

步骤S205、针对环境数据样本中各交通参与者,基于匹配结果,从模拟地图样本中选择与当前交通参与者对应的目标位置作为预测轨迹终点位置,并从模拟地图样本中确定当前交通参与者的当前地图位置作为预测轨迹起点位置;基于预测轨迹起点位置和预测轨迹终点位置,生成环境数据样本中当前交通参与者的预测轨迹;基于环境数据样本中各交通参与者分别对应的预测轨迹和分别对应的预测轨迹样本,对初始轨迹预测模型进行调整,直至预测轨迹与预测轨迹样本的差异在预设精确度范围内,得到轨迹预测模型。

本实施例的具体实现参见上述对应实施例描述,此处不再赘述。

在本实施例中,通过上述方式训练得到轨迹预测模型,可以提升轨迹预测模型所预测得到的预测轨迹终点位置的准确度,从而可以提升预测轨迹的准确度,同时,本申请是基于实际采集的环境数据进行轨迹预测模型的训练,而不是通过引入外部额外先验信息进行模型训练,提升了轨迹预测模型的预测精确度。

综上,本申请的整体方案包括如下步骤:

1、数据采集

收集自动驾驶车辆在不同道路和交通条件下的环境数据。环境数据包括:道路结构、障碍物信息、各交通参与者的历史轨迹、速度、加速度、方向等。这些数据将用于训练和测试轨迹预测模型。

2、特征提取

(1)输入环境数据;

(2)数据预处理:对环境数据进行数据预处理。这包括去除传感器数据中的噪声、对数据进行校正、去除不可靠的测量值等。预处理可以提高数据的质量,有助于更准确地提取特征。

(3)特征选择:特征提取模块需要决定哪些信息是最重要的,以供轨迹预测模型使用。这可能涉及选择特定传感器的数据,选择特定特征类型(如位置特征、速度特征和加速度特征等),以及选择采样频率等。

(4)模拟地图生成:基于环境数据生成模拟地图,其中包括道路的几何形状、交通标志、道路标线、路口、障碍物等信息。

(5)数据编码:特征提取模块将从环境数据和模拟地图中提取的特征进行编码,以便输入轨迹预测模型。这可以包括将数据转化为适合神经网络的张量形式,进行归一化和标准化等操作。

(6)特征提取网络:特征提取模块包括一个特征提取网络,这是一个深度学习模型,用于学习有用的特征。

(7)输出特征向量:特征提取模块的输出包括模拟地图特征以及环境数据特征,以便轨迹预测模型进行进一步的分析和预测。

3、轨迹预测

轨迹终点位置的预测,包括:

(1)地图元素的分析:

地图数据准备:首先,准备模拟地图,包括道路网络、交通标志、交叉口、建筑物等。这些地图数据应该是数字化的,并包含模拟地图中各元素的几何形状、位置和属性信息。

环境建模:使用地图数据进行环境建模,将各个地图元素转化为计算机可理解的形式。这可以涉及到地图数据的处理和转换,以便于后续分析。

地图元素特征提取:对各个地图元素进行特征提取,得到环境数据特征,以捕捉其在环境中的重要性和影响。环境数据特征包括元素的形状、大小、位置、类型等特征。

(2)环境数据关键点的提取:

目标检测和跟踪:通过计算机视觉技术,对采集到的环境数据进行目标检测和跟踪。这将识别环境数据中的车辆、行人和其他障碍物,并跟踪它们的运动。

关键点提取:基于目标检测和跟踪的结果提取环境数据关键点,这些关键点可以是目标的中心、前部或其他具有代表性的位置。

(3)轨迹终点位置预测:

地图与传感器数据融合:将模拟地图与环境数据进行融合,以在地图上匹配实际环境中检测到的目标。这可以涉及地图匹配算法,将环境数据与地图元素进行匹配。

关键点匹配:将从环境数据中提取的环境数据关键点与模拟地图上的地图关键点进行匹配。

目标位置选择:基于关键点匹配的结果,选择模拟地图上的目标位置作为预测轨迹终点位置。这些位置坐标将作为候选预测轨迹终点位置用于后续的轨迹预测。

轨迹预测模型用于预测未来轨迹的终点位置,即车辆或交通参与者未来将达到的位置。这可以是一个多模态预测,其中轨迹预测模型给出多个可能的预测轨迹终点位置,每个预测轨迹终点位置都伴随着概率。

基于所预测的预测轨迹终点位置,轨迹预测模型将生成未来的轨迹。这些轨迹是由连续的位置坐标点组成,描述了各交通参与者在未来一段时间内的运动路径。

4、轨迹评估

基于轨迹平滑性、轨迹与障碍物的距离、以及轨迹速度,对所述多条候选预测轨迹分别进行评估。

5、最终轨迹选择

从所述多条候选预测轨迹中确定评分最高的目标预测轨迹作为所述当前交通参与者的预测轨迹。

本申请具有如下效果:

1、时间和空间上的一致性。通过添加时间和空间维度上的一致性约束,本发明产生了更加平滑的轨迹预测结果。这有助于改进驾驶体验,使自动驾驶车辆的运动更加连续和舒适。

2、提高计算效率以及预测准确度。相对于改进现有轨迹预测模型的方案,本发明方案能够提高计算效率,从而使其适用于实时应用。这有助于确保自动驾驶系统能够及时响应交通情况,提高道路上的安全性。同时,可以提升轨迹预测的准确度。

3、资源节约。通过减少对外部额外先验信息的依赖,本发明减轻了对先验信息准确度的严格要求,从而节省了资源,包括计算资源和存储空间,提升了轨迹预测模型的预测准确度。

4、多模态建模:针对任一交通参与者,允许模型生成多种可能的预测轨迹,以考虑不同行为和情景下的多种可能性。

5、基于不确定性估计的轨迹预测:本发明将轨迹预测分为预测轨迹终点位置的预测和轨迹生成两个阶段,分别建模为离散的分布和连续的分布,以更好地捕获不确定性。这一创新点有助于提高预测的可靠性和鲁棒性。

6、提高系统可用性。由于准确性的提高、时间上的一致性和计算效率的提高,本发明可以提高自动驾驶系统的可用性,增加其在不同交通情境下的适用性。

应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的轨迹预测方法的轨迹预测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个轨迹预测装置实施例中的具体限定可以参见上文中对于轨迹预测方法的限定,在此不再赘述。

基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的轨迹预测模型训练方法的轨迹预测模型训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个轨迹预测装置实施例中的具体限定可以参见上文中对于轨迹预测方法的限定,在此不再赘述。

在一个示例性的实施例中,如图3所示,提供了一种轨迹预测装置300,包括:

第一获取模块301,用于获取车辆在驾驶环境下的环境数据;

第一特征提取模块302,用于通过轨迹预测模型,对所述环境数据进行特征提取,得到环境数据特征;

第二特征提取模块303,用于基于所述环境数据构建模拟地图,对所述模拟地图进行特征提取,得到模拟地图特征;

第一特征匹配模块304,用于将所述环境数据特征以及所述模拟地图特征进行匹配,得到匹配结果;

位置确定模块305,用于针对所述环境数据中各交通参与者,基于所述匹配结果,从所述模拟地图中选择与当前交通参与者对应的目标位置作为预测轨迹终点位置,并从所述模拟地图中确定当前交通参与者的当前地图位置作为预测轨迹起点位置;

轨迹预测模块306,用于基于各交通参与者对应的所述预测轨迹起点位置和预测轨迹终点位置,生成各交通参与者的预测轨迹。

在其中一个实施例中,第一特征匹配模块304,具体用于:

确定所述环境数据特征中的环境数据关键点;

确定所述模拟地图特征中的地图关键点;

通过相似度计算的方式,将环境数据关键点与地图关键点进行匹配,得到关键点匹配结果。

在其中一个实施例中,位置确定模块305在所述基于所述匹配结果,从所述模拟地图中确定当前交通参与者的当前地图位置作为预测轨迹起点位置时,具体用于:

从所述环境数据关键点中确定当前交通参与者的运动轨迹终点;

基于所述关键点匹配结果,确定与所述运动轨迹终点相匹配的地图关键点,将与所述运动轨迹终点相匹配的地图关键点的位置作为所述当前地图位置。

在其中一个实施例中,所述轨迹预测模型是通过如下方式构建的:

获取车辆在驾驶环境下的环境数据样本以及所述环境数据样本中各交通参与者的预测轨迹样本;

通过初始轨迹预测模型,对所述环境数据样本进行特征提取,得到环境数据样本特征;

基于所述环境数据样本构建模拟地图样本,对所述模拟地图样本进行特征提取,得到模拟地图样本特征;

将所述环境数据样本特征以及所述模拟地图样本特征进行匹配,得到匹配结果;

针对所述环境数据样本中各交通参与者,基于所述匹配结果,从所述模拟地图样本中选择与当前交通参与者对应的目标位置作为预测轨迹终点位置,并从所述模拟地图样本中确定当前交通参与者的当前地图位置作为预测轨迹起点位置;基于所述预测轨迹起点位置和预测轨迹终点位置,生成所述环境数据样本中当前交通参与者的预测轨迹;基于所述环境数据样本中各交通参与者分别对应的预测轨迹和分别对应的预测轨迹样本,对所述初始轨迹预测模型进行调整,直至预测轨迹与预测轨迹样本之间的差异在预设精确度范围内,得到所述轨迹预测模型。

在其中一个实施例中,所述环境数据样本中还包括至少两条不同时间步长的历史轨迹数据,且所述至少两条历史轨迹数据对应的预测轨迹样本相匹配;

和/或;

所述环境数据样本中还包括至少两条来源于不同位置的历史轨迹数据,且所述至少两条历史轨迹数据对应的预测轨迹样本相匹配。

在其中一个实施例中,轨迹预测模块306具体用于:

针对各交通参与者,基于所述当前交通参与者对应的所述预测轨迹起点位置和预测轨迹终点位置,生成各交通参与者的多条候选预测轨迹;基于轨迹平滑性、轨迹与障碍物的距离、以及轨迹速度,对所述多条候选预测轨迹分别进行评估;基于评估结果,从所述多条候选预测轨迹中确定目标预测轨迹作为所述当前交通参与者的预测轨迹。

在其中一个实施例中,所述环境数据包括:各交通参与者的运动数据、障碍物信息以及道路结构信息,所述运动数据包括交通参与者的运动轨迹、速度和加速度。

在一个示例性的实施例中,如图4所示,提供了一种轨迹预测模型训练装置400,包括:

第二获取模块401,用于获取车辆在驾驶环境下的环境数据样本,以及所述环境数据样本中各交通参与者的预测轨迹样本;

第三特征提取模块402,用于通过初始轨迹预测模型,对所述环境数据样本进行特征提取,得到环境数据样本特征;

第四特征提取模块403,用于基于所述环境数据样本构建模拟地图样本,对所述模拟地图样本进行特征提取,得到模拟地图样本特征;

第二特征匹配模块404,用于将所述环境数据样本特征以及所述模拟地图样本特征进行匹配,得到匹配结果;

轨迹预测模型生成模块405,用于针对所述环境数据样本中各交通参与者,基于所述匹配结果,从所述模拟地图样本中选择与当前交通参与者对应的目标位置作为预测轨迹终点位置,并从所述模拟地图样本中确定当前交通参与者的当前地图位置作为预测轨迹起点位置;基于所述预测轨迹起点位置和预测轨迹终点位置,生成所述环境数据样本中当前交通参与者的预测轨迹;基于所述环境数据样本中各交通参与者分别对应的预测轨迹和分别对应的预测轨迹样本,对所述初始轨迹预测模型进行调整,直至预测轨迹与预测轨迹样本的差异在预设精确度范围内,得到所述轨迹预测模型。

上述轨迹预测和轨迹预测模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个示例性的实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种轨迹预测方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个示例性的实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

相关技术
  • 一种行车轨迹预测方法、系统、计算机设备及存储介质
  • 车辆仿真轨迹的生成方法及装置、计算机设备及存储介质
  • 客户稳定性的预测方法、装置、计算机设备和存储介质
  • 软件可靠性预测方法、装置、计算机设备和存储介质
  • 短时交通流变化预测方法、装置、计算机设备及存储介质
  • 轨迹预测方法、装置、电子设备及计算机可读存储介质
  • 轨迹预测方法、装置、计算机设备和存储介质
技术分类

06120116594818