考虑长尾型场景的驾驶行为决策与知识动态更新方法

技术领域

本发明属于自动驾驶感知方法技术领域，涉及一种考虑长尾型场景的驾驶行为决策与知识动态更新方法。

背景技术

在自动驾驶领域，底层架构和大部分的技术问题已经迎刃而解，但仍有那最后的5％，被称为“长尾”问题，依然是自动驾驶发展的一大挑战，这些问题限制了自动驾驶系统的全面应用。其中，“长尾”场景案例指日常发生的种类繁多、发生概率较低或者突发的、危险的、非理想的情况。虽然，依照先验经验所构建的各种模型和算法能够覆盖绝大多数潜在危险场景类型，但是，以人类先验知识为基础所构建的各种模型或算法与人类的认知范围一样是有限的，难以完全覆盖所有类型潜在危险场景，若以此为指导进行驾驶行为决策，难以处理“长尾型”潜在危险场景。此外，现有研究方法在每次决策过程中都将当前所遇场景作为全新的任务进行处理，缺少对所遭遇场景和对应驾驶行为决策方案的知识进行记忆并形成经验的认知环节。

事实上，在人类驾驶员进行驾驶行为决策的过程中，一方面，人类驾驶员能够根据已有知识进行类比推理，将已有驾驶知识进行迁移运用，实现举一反三。对于熟悉场景及相似类型的场景，人类会使用已有的知识进行指导，形成应对一般场景的常规型驾驶行为决策方案，而对于超出原有知识范围的“长尾型”潜在危险场景时，人类驾驶员多会采用稳健的驾驶行为，形成应对特殊场景的保守型驾驶行为方案。另一方面，在完成对长尾类型潜在危险场景的风险进行决策操作后，人类驾驶员会根据车辆的实际行驶状况对其驾驶执行行为进行评估并记忆，形成个人的驾驶经验，从而将原本的“长尾型”场景转变为可被直接处理的一般性场景。

为了效仿人类驾驶员的驾驶行为机制，从而应对由“长尾”问题可能带来的安全隐患，本发明是一种以构建面向自动驾驶系统的类人化驾驶行为决策和知识更新方法为目标，提高自动驾驶系统应对长尾类型场景的驾驶行为决策能力。这种具有自学习属性的驾驶行为决策模型的研究旨在提高自动驾驶车辆在复杂场景下的决策能力，这将为自动驾驶技术的进一步发展提供新的思路和解决方案。

发明内容

本发明的目的是提供一种考虑长尾型场景的驾驶行为决策与知识动态更新方法，解决了现有技术在应对长尾类型潜在危险场景时决策困难的问题，提高了自动驾驶系统决策过程中的鲁棒性与可靠性。

本发明所采用的技术方案是，考虑长尾型场景的驾驶行为决策与知识动态更新方法的方法，具体按照以下步骤实施：

步骤1、感知场景图像信息，并生成对图像信息的完整描述文本；

步骤2、根据步骤1得到的描述文本，对场景类型进行推理，判断其是否为长尾类型潜在危险场景；

步骤3、根据步骤2的推理结果，作出驾驶行为决策；

步骤4、对步骤3作出的驾驶行为决策结果进行评估，若存在风险，执行步骤5，若不存在风险，决策完成；

步骤5、调整步骤4中不合理的执行方案直至方案无风险，并将调整后的方案进行存储更新。

本发明的特点还在于：

步骤1中生成完整描述文本的具体过程为：

使用Inception-v3网络构建编码器提取场景图像特征，然后采用Embedding+GRU+Attention+全链接构建解码器对编码器所得特征进行解码处理，得到交通场景中元素动态文本，场景元素文本和场景宏观时空信息文本，再通过多主语融合算法得到完整描述文本。

步骤2具体为：

对步骤1得到的完整描述文本进行三元组抽取，得到描述文本的结构化三元组，然后将所得三元组的头尾实体和关系置于基于DeepPath在前期构建的常见类型潜在危险场景知识图谱中进行多线程混合推理，得到当前待预测场景的尾实体，若该尾实体存在于前期构建的场景类型集中，则当前场景为已知类型场景；若不存在，则认为当前场景属于长尾类型潜在危险场景。

步骤3具体为：

对于已知类型场景，在本体概率扩展过程中采用已有知识所用概率分布进行先验概率赋值，并通过本体扩展关系构建常规型驾驶行为决策网络，进行驾驶行为决策定量计算；对于长尾类型潜在危险场景，采用较为保守的先验概率赋值构建保守型驾驶行为决策网络。

在驾驶行为决策网络构建时采用本体加贝叶斯的方式，将本体映射为贝叶斯网络的节点，并根据本体中类与实例之间的属性关系映射为贝叶斯网络的有向边，对本体赋予先验概率，使本体转化为贝叶斯网络。

常规型驾驶行为决策网络的构建过程为：

若当前场景为已知类型场景，则直接调用前期经验数据库中该本体的先验概率并利用贝叶斯网络进行驾驶行为决策。

保守型驾驶行为决策网络的构建过程为：

若当前场景为长尾类型潜在危险场景，则将各个本体的先验概率调整至风险发生时的较高数值进行驾驶行为决策。

步骤4中采用场景实际风险评估网络对驾驶行为决策结果进行评估，具体为：

通过滑动窗口采集驾驶系统在执行步骤3后产生的车辆实际动力学参数，作为场景实际风险评估网络的输入，选择特定步长对各通道数据进行截取并输入至网络中，通过Bi-LSTM层，Attention层以及Softmax分类层，计算出当前输入下车辆的运动状态中是否出现紧急修正操作，若出现紧急修正操作，则认为原有驾驶决策方案存在风险；反之，则不存在风险。

步骤5中通过BP算法修正贝叶斯网络中各项元素所附初值及占比对不合理的执行方案进行调整，直至方案无风险。

调整方案至无风险后，对于已知类型场景，判断其是否对原有先验概率进行过调整，若发生过调整，则将调整过的先验概率对图谱中数据层原有数据进行更新，若未发生调整则完成决策；对于长尾类型潜在危险场景，利用Bi-LSTM提取其三元组并更新对应数据层信息。

本发明的有益效果是：

(1)本发明方法通过融合知识图谱与深度学习技术，构建了一种考虑长尾型场景的驾驶行为决策与知识动态更新方法，本发明方法融合图像特征、车辆动力学特征、人类知识特征，进行驾驶行为决策、决策方案评估和驾驶先验经验更新，相较于传统自动驾驶系统单纯基于道路场景图像和车辆参数的驾驶行为决策方案，本发明方法的决策结果具有更强的迁移性与自学习性；

(2)本发明方法在驾驶行为决策过程中，通过引入知识图谱技术，使自动驾驶系统能够根据场景类型调用不同的驾驶行为决策方案，解决了传统自动驾驶系统驾驶决策方案内容单一、适应性不足的问题，为自动驾驶系统进行车辆控制提供了一种灵活可靠的决策输入；

(3)本发明方法在驾驶先验经验更新过程中，不仅包含对驾驶行为决策网络中的各项参数进行更新，还从数据层角度对先验知识进行更新，弥补了传统自动驾驶系统缺乏对场景信息和驾驶决策结果的记忆环节的不足，提高了自动驾驶系统的在线学习能力。

附图说明

图1是本发明方法的流程图；

图2是本发明方法的过程框图；

图3是本发明方法中目标初识别模块在设定识别区域的场景中生成的文本描述示意图；

图4是本发明方法中采用的一种知识图谱的总体示意图；

图5是本发明实施例1场景类型推理中的场景图像示意图；

图6是本发明实施例1场景类型推理的推理过程示意图；

图7是本发明方法中驾驶行为决策示意图；

图8是本发明方法的场景实际风险评估网络输入及构成示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

参照图1和图2，本发明方法的构思及原理是：

本发明的方法是一种解决自动驾驶领域中自主车辆难以有效对长尾类型场景进行安全可靠决策的问题，这种类人化驾驶行为决策方法采用融合知识、数据加概率的三重混合驱动方式来提高自动驾驶车辆的决策可靠性与安全性。其一，知识驱动是通过使用知识图谱推理技术进行驾驶知识存储、实时信息表征和场景类型推理，知识图谱推理技术能够像人类驾驶员一样推理与记忆，从而挖掘场景中潜在的重要隐含信息并提供用以记忆的平台，是进行类人化场景驾驶行为决策的重要基础。其二，数据驱动贯穿本发明的整个过程，具体体现在驾驶行为决策阶段的感知层面、场景风险评估阶段的评估层面、驾驶先验经验存储阶段的知识抽取层面，分别实现对场景信息的感知、场景实际风险的评估、场景知识的抽取。其三，概率驱动是在贝叶斯算法基础上，融合知识驱动所推理出的场景类型信息，针对不同类型场景对不同本体赋予合适对应的先验概率，运用概率驱动的技术来指定合适的驾驶行为决策方案。

本发明方法综合考虑了人类驾驶员应对长尾类型与非长尾类型场景的驾驶行为决策特点，制定了常规型和保守型驾驶行为决策方案，分别用以应对不同交通场景，同时增加了人类根据实际驾驶效果进行驾驶策略调整的过程，并且引入了人类驾驶员记忆驾驶行为策略与场景特征的记忆过程。

首先，本发明方法建立了一种多维场景信息图像描述模型，使用编解码来生成文本描述，能够抽取并描述交通场景元素信息、时间和位置等多维信息，并且能够将所有信息融合生成包含多维信息的交通场景描述文本。

其次，基于生成的全面的交通场景描述文本和三元组抽取模型，将生成的文本进行输入至三元组抽取模型，得到当前描述场景的三元组，把三元组的头尾实体数据作为多线程混合推理模型的输入，得到推理场景类型，与知识图谱中原有场景类型进行对比验证，若二者不相符合，则判定为长尾型场景类型，采用保守型驾驶行为决策方案，使用保守先验概率对不同本体进行赋值；反之则采用常规型驾驶行为策略，使用原有数据中存储的先验概率进行本体赋值。

最后，将采集到的车辆实时动力学参数作为输入参数，通过场景实际风险评估网络进行评估，判定原有决策是否安全可靠，当其判定出现紧急驾驶行为，如紧急制动、猛打方向盘等一系列状况时，则判定原有驾驶行为策略不合理，采用BP神经网络对相应决策过程中的参数进行调整，并依据调整后的驾驶策略对原有决策过程中所涉及的本体、先验概率等进行更新并存储，从而实现自动驾驶系统的先验知识动态更新。

本发明方法基于以下框架进行步骤过程的设置：场景信息感知与描述，场景类型推理，驾驶行为决策，驾驶行为决策结果评估，驾驶先验知识动态更新。

综上所述，本发明考虑长尾型场景的驾驶行为决策与知识动态更新方法，如图1、2所示，具体按照以下步骤实施：

步骤1、场景图像信息感知与描述。

场景图像信息感知：应用车载相机感知一定时序间隔的实时场景图像，获得所需要的多维特征信息。

场景图像信息描述：本发明提出一种图像描述模型，其具体构建方式为：使用Inception-v3网络构建编码器提取图像特征，采用Embedding+GRU+Attention+全链接构建解码器对编码器所得特征进行解码处理，以捕获交通场景元素的文本信息、位置以及时间文本信息。利用图像描述模型得到场景中元素动态文本，场景元素文本和场景宏观时空信息文本，再通过多主语融合算法得到完整描述文本。

具体为：基于图像描述模型，首先获取场景元素文本S

步骤2、场景类型推理。

首先将步骤1得到的描述文本S

步骤3、驾驶行为决策。

步骤2已通过求解判断出当前场景是否为已有场景类型，对于已有或相似场景类型，则在本体概率扩展过程中采用已有知识所用概率分布进行先验概率赋值(如图7所示)，并通过本体扩展关系构建常规型驾驶行为决策网络进行驾驶行为决策定量计算；反之，若当前场景信息与已有场景完全不同或相似度较低(如：“长尾型”潜在危险场景)，则采用较为保守的先验概率赋值构建保守型驾驶行为决策网络。

其中，在驾驶行为决策网络构建时采用本体加贝叶斯(Bayesian Network,BN)的方式，这是考虑到知识图谱中各本体之间的关系与贝叶斯网络中各节点之间存在一定的映射关系，可以将本体映射为贝叶斯网络的节点，并根据本体中类与实例之间的属性关系映射为贝叶斯网络的有向边，只需对本体赋予先验概率，使本体就能转化为贝叶斯网络。

然而，在进行贝叶斯网络的先验概率赋值时，考虑到场景所处地理位置、时间等综合因素影响，同一本体往往具有不同的先验概率，例如：在陌生场景中(如长尾场景)，人类驾驶员会将本体发生风险的先验概率设置较高，例如：本体X发生风险的先验概率为P(AB)＝0.8；而在熟悉的场景中，人类驾驶员则会根据前期积攒的经验将同一本体发生风险的先验概率进行调整，例如降低或者赋予X更高的数值。因此，在经过步骤1、2后，自动驾驶系统若判定所遭遇场景为经验数据中所包含的类型，则直接调用前期经验数据库中该本体的先验概率并利用贝叶斯网络进行驾驶行为决策，并执行相应驾驶操作，这个过程所构建的决策网络即为常规型驾驶行为决策网络。反之，在遭遇长尾类型场景时(即陌生的场景时)，则将各个本体的先验概率调整至风险发生时的较高数值，这个过程所构建的决策网络即为保守型驾驶行为决策网络，并执行相应驾驶操作。

步骤4、驾驶行为决策结果评估。

虽然在步骤2中已经对场景类型进行了评估，但是考虑到基于先验经验所评估的场景结果可能会与实际结果存在偏差，进而导致步骤3所产生的驾驶行为决策方案同样可能会出现偏差，所以还需要通过其它参数用以衡量驾驶行为决策方案的有效性。

本步骤采用场景实际风险评估网络对实际场景风险进行动态评估，进而完成对驾驶决策的动态反馈修正。其中场景实际风险评估网络主要通过滑动窗口采集一定步长内的车辆速度信息、加速度信息和方向盘转角信息作为输入层，经过Bi-LSTM层、Attention层和Softmax分类层，完成网络的构建与训练，网络结构图如图8所示。

将驾驶系统在执行步骤3后产生的车辆实际动力学参数，如转向角、制动力等作为场景实际风险评估网络的输入，选择特定步长对各通道数据进行截取并输入至网络中，通过Bi-LSTM层，Attention层以及Softmax层，计算出当前输入下车辆的运动状态中是否出现紧急修正操作，若该过程中存在紧急修正操作，则认为原有驾驶决策方案存在风险，执行步骤5；反之，则认为原有驾驶决策方案安全可靠，决策完成。

步骤5、驾驶先验知识动态更新。

若步骤4判断出的风险决策结果不合理，则通过BP算法修正贝叶斯网络中各项元素所附初值及占比，直至决策结果满足要求。当风险决策结果与实际风险状况相符时，对于与已有场景相似的场景类型，还需判断其是否对原有先验概率进行过调整，若发生过调整，则需将调整过的先验概率对图谱中数据层原有数据进行更新；若未发生调整则完成决策。而对于诸如“长尾型”潜在危险场景，则还需利用Bi-LSTM提取其三元组并更新对应数据层信息。其中，数据层的更新主要是考虑场景元素、属性值等具体参数的更新。

实施例1

参照图1和图2，根据本发明方法上述的过程，本实施例具体按照以下步骤实施：

步骤1，输入为驾驶车辆车载相机所感知的场景时序图像信息，场景图像是根据自主车辆上的摄像传感器所采集的实时视频以一定间隔分割出来的图像，并以帧为单位。首先，通过使用Inception-v3网络构建编码器提取图像特征Feature_1，采用Embedding+GRU+Attention等构建一个文本描述网络解码器，将Feature_1输入至解码器中得到对场景中各物体的属性文本描述(即：是什么，或有什么)。同时，通过结合卡尔曼滤波对目标进行跟踪，结合单目视觉测距原理，实现对前方目标的运动状态文本描述(如：匀速、减速和加速)。最后，模型将交通场景元素属性描述文本和运动状态描述文本进行融合，生成包含多维信息的交通场景描述文本S

步骤2，如图2所示，对描述文本S

步骤3，如图2所示，对于已有场景类型，在本体概率扩展过程中，采用已有知识所用概率分布进行先验概率赋值，并通过本体扩展关系构建常规型驾驶行为决策网络，进行驾驶行为决策定量计算；反之，若当前场景信息与已有场景完全不同或相似度较低(如：“长尾型”潜在危险场景)，则采用较为保守的先验概率赋值构建保守型驾驶行为决策网络。

本实施例在驾驶行为决策网络构件中采用贝叶斯网络，整个决策过程示意图如图7所示，将驾驶行为决策网络结构分为环境构成部分(图7中驾驶行为决策网络部分的上半部分虚线框)和车辆构成部分(图7中驾驶行为决策网络部分的下半部分虚线框)，分别对应场景宏观类型信息和内外传感器参数信息。

步骤4，如图2所示，通过采集智能体执行原有驾驶行为决策后的车辆实际动力学参数，实现对实际场景风险的动态评估，进而完成对驾驶决策的动态反馈修正。如图8所示，为场景实际风险评估网络的结构图，将车辆的实际参数输入至该网络中进行二分类处理，判断出执行步骤3决策的风险状况，若风险较大，则认为原有驾驶行为决策不合理，需要对参数进行更新，执行步骤5；反之，则认为原有驾驶行为决策合理，无需调整。

步骤5，如图2中的驾驶先验经验动态更新模型所示，首先根据步骤4对驾驶行为决策的评估结果进行判断，若驾驶行为决策结果不合理，则通过BP算法修正贝叶斯网络中各项元素所附初值及占比，直至决策结果满足要求。当风险决策结果与实际风险状况相符时，对于与已有场景相似的场景类型，还需判断其是否对原有先验概率进行过调整，若发生过调整，则需将调整过的先验概率对图谱中数据层原有数据进行更新，若未发生调整，则完成决策；而对于诸如“长尾型”潜在危险场景，则还需利用Bi-LSTM提取其三元组并更新对应数据层信息。其中，数据层的更新主要是属性值(不同本体的初始先验概率)等具体参数的更新，例如：场景中的本体A、本体B和本体C初始对应的先验概率为0.75，0.65，0.31，而经过步骤4发现，若采用上述先验概率进行驾驶行为决策所得决策结果不合理，则通过设置最小学习率(learning rate)对上述三值进行调整，直至调整后的结果所产生的虚拟动力学输出不再被判定为危险决策类型。

实施例2

本实施例具体按照以下步骤实施：

步骤1、感知场景图像信息，并生成对图像信息的完整描述文本；

步骤2、根据步骤1得到的描述文本，对场景类型进行推理，判断其是否为长尾类型潜在危险场景；

步骤3、根据步骤2的推理结果，作出驾驶行为决策；

步骤4、对步骤3作出的驾驶行为决策结果进行评估，若存在风险，执行步骤5，若不存在风险，决策完成；

步骤5、调整步骤4中不合理的执行方案直至方案无风险，并将调整后的方案进行存储更新。

实施例3

在实施例2的基础上，步骤1中生成完整描述文本的具体过程为：

使用Inception-v3网络构建编码器提取场景图像特征，然后采用Embedding+GRU+Attention+全链接构建解码器对编码器所得特征进行解码处理，得到交通场景中元素动态文本，场景元素文本和场景宏观时空信息文本，再通过多主语融合算法得到完整描述文本。