基于在线学习的路口引导线生成方法、系统及存储介质

技术领域

本发明涉及高精地图制作技术领域，特别涉及一种基于在线学习的路口引导线生成方法、系统及存储介质。

背景技术

在众包高精度地图制作中，引导线是车道的一个地图要素，是一条安全、舒适、可行驶的轨迹，可用于引导智能驾驶车通过该段车道；引导线属于行动规划中的静态引导线，通常以离线的方式生成，预设于高精度地图中。在普通和结构化特征清晰，准确的车道内，通常将车道中心线作为车道的引导线，但是，在道路路口中，无清晰的道路结构情况下，为两个连通的车道规划一条引导线则是一件非常有挑战的工作。

目前的路口引导线生成方法主要可分为两类，一类是基于数学模型的方法，将其建模成非凸的数学优化问题，制定优化目标函数和遵守交规、防碰撞等约束条件，通过曲线拟合和数值优化的算法来生成安全和舒适的引导线；该方法严重依赖地图中道路元素的完备性和精确性，如车道边线、车道中心线等，而对于道路结构不清的自由空间则不适用，且生成的轨迹也难以满足人的舒适性和车辆控制上的可跟随性。另一类是基于数据驱动的学习方式，以深度神经网络为代表，构建大规模轨迹数据集，训练出一个轨迹规划模型，生成引导线轨迹更符合人驾驶行为。但目前基于神经网络规划模型的离线方式训练模型，模型更新周期慢，难适应高精度地图制作中的新路口场景。

发明内容

本发明的提供一种基于在线学习的路口引导线生成方法、系统及存储介质，能自动适应新路口场景进行轨迹规划，可在道路路口无清晰的道路结构情况下，为两个连通的车道规划一条合理可控的引导线。

第一方面，提供一种基于在线学习的路口引导线生成方法，包括以下步骤：

获取目标道路路口内的历史通行轨迹及历史引导线轨迹；

将所述历史通行轨迹的轨迹点与所述历史引导线轨迹的轨迹点进行坐标值转换；

基于条件变分自编码器对坐标转换后的所述历史通行轨迹及所述历史引导线轨迹进行网络训练，获取目标引导线轨迹；

基于Carla仿真平台对所述目标引导线轨迹的轨迹点进行调整，获取最终引导线轨迹。

根据第一方面，在第一方面的第一种可能的实现方式中，所述“将所述历史通行轨迹的轨迹点与所述历史引导线轨迹的轨迹点进行坐标值转换”步骤，具体包括以下步骤：

将所述历史通行轨迹的轨迹点的全局坐标值与所述历史引导线轨迹的轨迹点的全局坐标值分别转换为局部坐标值；或者，

将所述历史通行轨迹的轨迹点的全局坐标值与所述历史引导线轨迹的轨迹点的全局坐标值分别转换为局部坐标值，并基于预设旋转角度旋转轨迹点的局部坐标值所在的局部坐标系；或者，

将所述历史通行轨迹的轨迹点的全局坐标值与所述历史引导线轨迹的轨迹点的全局坐标值分别转换为行为坐标值。

根据第一方面，在第一方面的第二种可能的实现方式中，所述“基于条件变分自编码器对坐标转换后的所述历史通行轨迹及所述历史引导线轨迹进行网络训练，获取目标引导线轨迹”步骤，具体包括以下步骤：

在条件变分自编码器中，对所述历史通行轨迹与所述历史引导线轨迹进行特征向量编码；

对特征向量编码后的所述历史通行轨迹与所述历史引导线轨迹预测先验正太分布；

对特征向量编码后的历史通行轨迹与先验正太分布结果进行轨迹解码，获取目标引导线轨迹。

根据第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述“对所述历史通行轨迹与所述历史引导线轨迹进行特征向量编码”步骤，具体包括以下步骤：

基于轨迹时空特征编码子模型提取所述历史通行轨迹与所述历史引导线轨迹的时空特征向量，对应获取通行时空特征向量及引导线时空特征向量；

基于车道特征表示子模型融合历史通行轨迹的所有所述通行时空特征向量，获取车道表示向量。

根据第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述“对特征向量编码后的所述历史通行轨迹与所述历史引导线轨迹预测先验正太分布”步骤，具体包括以下步骤：

基于全连接层神经网络联合所述引导线时空特征向量与所述车道表示向量，预测先验正太分布的均值与方差、及选取标准正太分布中满足预设维度条件的采样向量；

根据所述均值、所述方差及所述采样向量，获取轨迹解码输入向量。

根据第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述“对特征向量编码后的历史通行轨迹与先验正太分布结果进行轨迹解码，获取目标引导线轨迹”步骤，具体包括以下步骤：

基于全连接层神经网络联合所述轨迹解码输入向量与所述车道表示向量；

基于长短记忆神经网络将联合后的所述轨迹解码输入向量与所述车道表示向量进行循环输出训练；

基于全连接层神经网络对长短记忆神经网络的输出值进行训练、预测目标引导线轨迹。

根据第一方面，在第一方面的第六种可能的实现方式中，所述“基于Carla仿真平台对所述目标引导线轨迹的轨迹点进行调整，获取最终引导线轨迹”步骤，具体包括以下步骤：

基于MPC模型对所述目标引导线轨迹的轨迹点进行预设条件约束，获取约束引导线轨迹；

基于孪生网络判断所述目标引导线轨迹的轨迹点与所述约束引导线轨迹的轨迹点之间的相似性，并根据相似性对所述目标引导线轨迹的轨迹点进行调整，获取最终引导线轨迹。

根据第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，所述“根据相似性对所述目标引导线轨迹的轨迹点进行调整，获取最终引导线轨迹”步骤，具体包括以下步骤：

当判断出目标引导线轨迹的其中一轨迹点与对应的约束引导线轨迹的其中一轨迹点相似时，则目标引导线轨迹的其中一轨迹点为最终引导线轨迹的轨迹点；

当判断出目标引导线轨迹的其中一轨迹点与对应的约束引导线轨迹的其中一轨迹点不相似时，则约束引导线轨迹的其中一轨迹点为最终引导线轨迹的轨迹点。

第二方面，提供一种基于在线学习的路口引导线生成系统，包括：

历史轨迹获取模块，用于获取目标道路路口内的历史通行轨迹及历史引导线轨迹；

坐标转换模块，与所述历史规划获取模块通信连接，用于将所述历史通行轨迹的轨迹点与所述历史引导线轨迹的轨迹点进行坐标值转换；

目标引导线轨迹获取模块，与所述坐标转换模块通信连接，用于基于条件变分自编码器对坐标转换后的所述历史通行轨迹及所述历史引导线轨迹进行网络训练，获取目标引导线轨迹；

最终引导线轨迹获取模块，与所述目标引导线轨迹获取模块通信连接，用于基于Carla仿真平台对所述目标引导线轨迹的轨迹点进行调整，获取最终引导线轨迹。

第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的基于在线学习的路口引导线生成方法。

与现有技术相比，本发明的优点如下：是数据驱动型的基于CVAE的轨迹生成模型，能自动适应新路口场景进行轨迹规划，可在道路路口无清晰的道路结构情况下，为两个连通的车道规划一条合理可控的引导线。

附图说明

图1是本发明的一种基于在线学习的路口引导线生成方法的一实施例的流程示意图；

图2是本发明基于CVAE模型生成目标引导线轨迹的流程示意图；

图3是本发明的一种基于在线学习的路口引导线生成系统的结构示意图。

附图说明：

100、基于在线学习的路口引导线生成系统；110、历史轨迹获取模块；120、坐标转换模块；130、目标引导线轨迹获取模块；140、最终引导线轨迹获取模块。

具体实施方式

现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明，但将理解，不是想要将本发明限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

注意：接下来要介绍的示例仅是一个具体的例子，而不作为限制本发明的实施例必须为如下具体的步骤、数值、条件、数据、顺序等等。本领域技术人员可以通过阅读本说明书来运用本发明的构思来构造本说明书中未提到的更多实施例。

参见图1所示，本发明实施例提供一种基于在线学习的路口引导线生成方法，包括以下步骤：

S100，获取目标道路路口内的历史通行轨迹C＝{C

S200，将所述历史通行轨迹的轨迹点与所述历史引导线轨迹的轨迹点进行坐标值转换；

S300，基于条件变分自编码器对坐标转换后的所述历史通行轨迹及所述历史引导线轨迹进行网络训练，获取目标引导线轨迹；

S400，基于Carla仿真平台对所述目标引导线轨迹的轨迹点进行调整，获取最终引导线轨迹。

具体地，本实施例中，由于现有数据驱动型的轨迹规划，主要采用基于神经网络模型，离线的训练需要提前构建场景的数据集，制作成本高，针对上述问题，本发明设计了一种基于条件变分自编码器(Conditional Variational Autoencoder,CVAE)的轨迹规划模型，基本数学形式描述为：T＝g(z,V)，该公式的含义是在已知z、V的情况下通过函数g生成模型所求的引导线轨迹T，T由经纬度组成的点序列，z为服从高斯分布的固定维度的随机向量，V为模型提取的车道驾驶行为的语义向量，g为生成模型；因此，本发明是数据驱动型的基于CVAE的轨迹生成模型，能自动适应新路口场景进行轨迹规划，可在道路路口无清晰的道路结构情况下，为两个连通的车道规划一条合理可控的引导线。

优选地，在本申请另外的实施例中，所述“S200，将所述历史通行轨迹的轨迹点与所述历史引导线轨迹的轨迹点进行坐标值转换”步骤，具体包括以下步骤：

S210，将所述历史通行轨迹的轨迹点的全局坐标值与所述历史引导线轨迹的轨迹点的全局坐标值分别转换为局部坐标值；或者，

S220，将所述历史通行轨迹的轨迹点的全局坐标值与所述历史引导线轨迹的轨迹点的全局坐标值分别转换为局部坐标值，并基于预设旋转角度旋转轨迹点的局部坐标值所在的局部坐标系；或者，

S230，将所述历史通行轨迹的轨迹点的全局坐标值与所述历史引导线轨迹的轨迹点的全局坐标值分别转换为行为坐标值。

具体地，本实施例中，历史通行轨迹的轨迹点的经度和维度是地球坐标值，不能作为CVAE模型输入，需要将全局的地球坐标值转换为局部的坐标值或其他等价(行为坐标)的表示。本专利设计了三种轨迹点的表示方法：

S210，与全局坐标系同方向的局部坐标转换如下：

/>

其中x,y分别表示经度值和纬度值，上标l,g分别表示局部坐标和全局坐标，下标i表示第i个轨迹点，下标0表示轨迹的第一个采样点。

S220，车辆进入路口方向为y轴正方向，y轴右手边为y轴正方向的笛卡尔坐标系，基于预设旋转角度旋转轨迹点的局部坐标值所在的局部坐标系，旋转坐标转换如下：

x

y

x

S230，当前采样点的行为坐标值为其坐标值减去前一采样点坐标值，如下公式，其中字母符号的含义雨上述公式含义相同，第一个轨迹点的行为坐标为自身相减；

参见图2所示，优选地，在本申请另外的实施例中，所述“S300，基于条件变分自编码器对坐标转换后的所述历史通行轨迹及所述历史引导线轨迹进行网络训练，获取目标引导线轨迹”步骤，具体包括以下步骤：

S310，在条件变分自编码器中，对所述历史通行轨迹与所述历史引导线轨迹进行特征向量编码；

轨迹点的特征编码，即将轨迹点编码成高维的特征向量；轨迹点为经度和纬度的二维独立特征，需要编码成更高维特征向量，以提升CVAE模型的性能。

S320，对特征向量编码后的所述历史通行轨迹与所述历史引导线轨迹预测先验正太分布；

S330，对特征向量编码后的历史通行轨迹与先验正太分布结果进行轨迹解码，获取目标引导线轨迹；

轨迹解码模型，即将输入的特征向量解码成轨迹的点序列。

优选地，在本申请另外的实施例中，所述“S310，对所述历史通行轨迹与所述历史引导线轨迹进行特征向量编码”步骤，具体包括以下步骤：

S311，基于轨迹时空特征编码子模型提取所述历史通行轨迹与所述历史引导线轨迹的时空特征向量，对应获取通行时空特征向量及引导线时空特征向量；

S312，基于车道特征表示子模型融合历史通行轨迹的所有所述通行时空特征向量，获取车道表示向量。

具体地，本实施例中，轨迹时空特征编码子模型(Spatial-Temporal Block,STblock)，即提取轨迹的时空特征向量，轨迹的点序列具有空间特征和时间序列特征；STblock、由全连接神经网络(Fully Connected，FC)FC层，卷积层(Convolution Layer，CONV)和长短记忆神经网络(Long Short-Term Memory，LSTM)组成。

基于轨迹时空特征编码子模型ST-block对历史引导线轨迹X编码，得到历史引导线轨迹的引导线时空特征向量V

车道特征表示子模型Fusion block，即提取能表示车道结构和驾驶行为的车道表示向量。车道内有多条历史通行轨迹，每条轨迹对车道表示向量都提供了一定的信息量，将多条轨迹的时空特征向量融合即可得到车道表示向量。

因此，将历史通行轨迹的所有所述通行时空特征向量V

优选地，在本申请另外的实施例中，所述“S320，对特征向量编码后的所述历史通行轨迹与所述历史引导线轨迹预测先验正太分布”步骤，具体包括以下步骤：

S321，基于全连接层神经网络联合所述引导线时空特征向量与所述车道表示向量，预测先验正太分布的均值与方差、及选取标准正太分布中满足预设维度条件的采样向量；

S322，根据所述均值、所述方差及所述采样向量，获取轨迹解码输入向量。

具体地，本实施例中，计算样本的先验分布，即假设样本服从正太分布N(μ,σ

优选地，在本申请另外的实施例中，所述“S330，对特征向量编码后的历史通行轨迹与先验正太分布结果进行轨迹解码，获取目标引导线轨迹”步骤，具体包括以下步骤：

S331，基于全连接层神经网络联合所述轨迹解码输入向量与所述车道表示向量；

S332，基于长短记忆神经网络将联合后的所述轨迹解码输入向量与所述车道表示向量进行循环输出训练；

S333，基于全连接层神经网络对长短记忆神经网络的输出值进行训练、预测目标引导线轨迹。

具体地，本实施例中，基于全连接层神经网络FC联合所述轨迹解码输入向量z与所述车道表示向量V

同时，在CVAE模型训练过程中，需要定义损失函数如下：

其中

优选地，在本申请另外的实施例中，所述“S400，基于Carla仿真平台对所述目标引导线轨迹的轨迹点进行调整，获取最终引导线轨迹”步骤，具体包括以下步骤：

S410，基于MPC模型对所述目标引导线轨迹的轨迹点进行预设条件约束，获取约束引导线轨迹；

S420，基于孪生网络判断所述目标引导线轨迹的轨迹点与所述约束引导线轨迹的轨迹点之间的相似性，并根据相似性对所述目标引导线轨迹的轨迹点进行调整，获取最终引导线轨迹。

具体地，本实施例中，仿真子模块主要采用Carla仿真平台，它是一种用于自动驾驶的开源模拟器，支持自动驾驶系统的开发、训练和验证；基于MPC(Model PredictiveControl)模型，设定预设横向力系数和曲率约束条件，生成一条控制可执行的轨迹，由点序列组成

基于LSTM的孪生网络用于对T和T

优选地，在本申请另外的实施例中，所述“S420，根据相似性对所述目标引导线轨迹的轨迹点进行调整，获取最终引导线轨迹”步骤，具体包括以下步骤：

S421，当判断出目标引导线轨迹的其中一轨迹点与对应的约束引导线轨迹的其中一轨迹点相似时，则目标引导线轨迹的其中一轨迹点为最终引导线轨迹的轨迹点；

S422，当判断出目标引导线轨迹的其中一轨迹点与对应的约束引导线轨迹的其中一轨迹点不相似时，则约束引导线轨迹的其中一轨迹点为最终引导线轨迹的轨迹点。

具体地，本实施例中，由于T

同时参见图3所示，本发明实施例还提供了一种基于在线学习的路口引导线生成系统100，包括：历史轨迹获取模块110、坐标转换模块120、目标引导线轨迹获取模块130、最终引导线轨迹获取模块140；

历史轨迹获取模块110，用于获取目标道路路口内的历史通行轨迹及历史引导线轨迹；

坐标转换模块120，与所述历史规划获取模块110通信连接，用于将所述历史通行轨迹的轨迹点与所述历史引导线轨迹的轨迹点进行坐标值转换；

目标引导线轨迹获取模块130，与所述坐标转换模块120通信连接，用于基于条件变分自编码器对坐标转换后的所述历史通行轨迹及所述历史引导线轨迹进行网络训练，获取目标引导线轨迹；

最终引导线轨迹获取模块140，与所述目标引导线轨迹130获取模块通信连接，用于基于Carla仿真平台对所述目标引导线轨迹的轨迹点进行调整，获取最终引导线轨。

因此，本发明是数据驱动型的基于CVAE的轨迹生成模型，能自动适应新路口场景进行轨迹规划，可在道路路口无清晰的道路结构情况下，为两个连通的车道规划一条合理可控的引导线。

具体的，本实施例与上述方法实施例一一对应，各个模块的功能在相应的方法实施例中已经进行详细说明，因此不再一一赘述。

基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的所有方法步骤或部分方法步骤。

本发明实现上述方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

基于同一发明构思，本申请实施例还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法中的所有方法步骤或部分方法步骤。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(例如声音播放功能、图像播放功能等)；存储数据区可存储根据手机的使用所创建的数据(例如音频数据、视频数据等)。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、服务器和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。