确定驾驶策略的方法、装置、车辆及存储介质
文献发布时间:2023-06-19 19:27:02
技术领域
本申请涉及人工智能技术领域,尤其涉及一种确定驾驶策略的方法、装置、车辆及存储介质。
背景技术
随着电子地图、车辆导航和人工智能等技术不断发展,自动驾驶技术能够基于驾驶策略行驶至目标地点,提升用户出行体验。
相关技术中,可以利用激光雷达或者图像传感器等捕捉环境信息,并基于针对环境信息的识别结果等来确定驾驶策略。然而,识别结果错误可能导致不当的驾驶策略,进而造成交通事故,威胁乘员的人身财产安全。
发明内容
为解决或部分解决相关技术中存在的问题,本申请提供一种确定驾驶策略的方法、装置、车辆及存储介质,能够提升驾驶策略的安全性和可靠性。
本申请一方面提供一种确定驾驶策略的方法,包括:获得针对特定对象的识别结果以及该识别结果的感知不确定度;至少基于识别结果和感知不确定度确定驾驶策略;其中,感知不确定度是基于至少两个感知模型针对特定对象的识别结果来确定的。
在一种实施方式中,获得针对特定对象的识别结果以及该识别结果的感知不确定度,包括:获得至少两个感知模型针对特定对象的至少两个识别结果和与至少两个识别结果对应的至少两个置信度,至少两个感知模型的训练方式不同;基于至少两个置信度确定针对特定对象的识别结果的感知不确定度。
在一种实施方式中,获得至少两个感知模型针对特定对象的至少两个识别结果和与至少两个识别结果对应的至少两个置信度,包括:利用第一类感知模型处理包括特定对象的感知数据,得到第一识别结果和第一置信度,第一类感知模型存储在第一芯片中;利用第二类感知模型处理特定对象的感知数据,得到第二识别结果和第二置信度,第二类感知模型存储在第二芯片中,其中,训练第一类感知模型和第二类感知模型所采用的训练数据至少部分相同,和/或,相同训练数据的输入顺序不同。
在一种实施方式中,第二类感知模型包括至少一个感知子模型,第二置信度包括至少一个子置信度;基于至少两个置信度确定针对特定对象的识别结果的感知不确定度,包括:基于至少一个子置信度确定感知不确定度,或者,基于第一置信度和至少一个子置信度确定感知不确定度。
在一种实施方式中,上述方法还包括:构建第二类感知模型。其中,构建第二类感知模型,包括:构建至少两个感知子模型,感知子模型的拓扑结构与第一类感知模型的拓扑结构相同;利用与训练第一类感知模型相同的训练数据集训练至少两个感知子模型,其中,至少两个感知子模型各自的初始模型参数不同,和/或,输入至少两个感知子模型的训练数据集的输入顺序不同。
在一种实施方式中,基于至少两个置信度确定针对特定对象的识别结果的感知不确定度,包括:基于至少两个置信度确定感知识别均值和方差;基于感知识别均值和方差确定感知不确定度。
在一种实施方式中,基于感知识别均值和方差确定感知不确定度,包括:基于感知识别均值和方差确定认知不确定性,并且基于方差确定偶然不确定;基于认知不确定性和偶然不确定计算感知不确定度。
在一种实施方式中,至少基于识别结果和感知不确定度确定驾驶策略,包括:至少基于识别结果确定第一驾驶策略;至少基于感知不确定度更新第一驾驶策略,得到第二驾驶策略,以提升第一驾驶策略的安全性。
在一种实施方式中,第一驾驶策略包括行驶参考线;至少基于感知不确定度更新第一驾驶策略,得到第二驾驶策略,包括:至少基于感知不确定度确定针对特定对象的参考线偏移量;基于参考线偏移量更新行驶参考线,得到第二驾驶策略。
在一种实施方式中,参考线偏移量与偏移量标定值相关,或者,参考线偏移量与偏移量标定值、特定对象的尺寸和尺寸系数相关。
在一种实施方式中,上述方法还包括:基于驾驶策略控制移动平台的底盘系统。
本申请另一方面提供一种确定驾驶策略的装置,包括:信息获得模块和策略确定模块。其中,信息获得模块用于获得针对特定对象的识别结果以及该识别结果的感知不确定度;策略确定模块用于至少基于识别结果和感知不确定度确定驾驶策略;其中,感知不确定度是基于至少两个感知模型针对特定对象的识别结果来确定的。
本申请另一方面提供一种车辆,包括:车身主体;感测装置,设置于车身主体,用于获得感知信息;处理器,与感测装置耦接,用于接收和处理感知信息;存储器,其上存储有可执行代码,当可执行代码被处理器执行时,使处理器执行如上述的方法。
本申请另一方面提供一种计算机可读存储介质,其上存储有可执行代码,当可执行代码被电子设备的处理器执行时,使处理器执行如上的方法。
本申请另一方面提供一种计算机程序产品,包括可执行代码,当可执行代码被执行时,实现如上的方法。
本申请提供的技术方案可以包括以下有益效果:
本申请实施例的技术方案,可以通过至少两个感知模型获得针对特定对象的识别结果和感知不确定度,进而根据感知不确定度来计算识别结果的可靠性。这样使得本实施例可以根据识别结果的可靠性来制定驾驶策略,如向可靠性差的识别结果的对象提供更多的安全冗余,有效提升基于该驾驶策略自动行驶时乘员的人身财产安全性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述,本申请的上述以及其它目的、特征和优势将变得更加明显,其中,在本申请示例性实施方式中,相同的参考标号通常代表相同部件。
图1是本申请一实施例示出的可以应用确定驾驶策略的方法、装置、车辆及存储介质的一种示例性系统架构;
图2是本申请一实施例示出的车辆、车载传感器的结构示意图;
图3是相关技术示出的容易发生交通事故的一种应用场景;
图4是相关技术示出的容易发生交通事故的另一种应用场景;
图5是本申请一实施例示出的确定驾驶策略的方法的流程图;
图6是本申请一实施例示出的原始感知模型和感知不确定性提取模型的示意图;
图7是本申请一实施例示出的控制逻辑的示意图;
图8是本申请一实施例示出的行驶参考线和参考线偏移量的示意图;
图9是本申请一实施例的确定驾驶策略的装置的框图;以及
图10是本申请一实施例示出的硬件系统的示意图;
图11是本申请一实施例的车辆的框图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式,然而应该理解,可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本申请更加透彻和完整,并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
随着高级驾驶辅助系统(Advanced Driving Assistance System,简称ADAS)及无人驾驶技术的快速发展,多种传感器被加载在汽车上以感知汽车的周围环境,例如,单双目摄像头、毫米波雷达以及卫星导航等。
电子地图中包括车道的实际地理位置等信息。移动平台的位置信息映射在电子地图上,使得用户可以清晰地得知移动平台的位置信息。移动平台的位置信息可以通过全球导航卫星系统(Global Navigation Satellite System,简称GNSS)、惯导定位等方式获得。
例如,北斗定位系统、全球定位系统(Global Positioning System,简称GPS)系统应用在交通管理方面,可以将道路网上的车辆实时位置、运行轨迹准确地反映在控制中心的电子地图上,以便实时监视道路网上的车辆流向、流量、流速、密度、路网负荷程度等各种交通信息。GPS系统与城市交通信号控制系统、交通地理信息系统、交通情报信息系统相连接可以进行实时的交通信号控制,交通诱导和交通流组织优化,从而达到充分利用路网、缩短车辆旅行时间、降低行车延误、减少车辆空驶、保障行车安全、提高道路通行能力的目的。GPS系统还可以用于执行紧急任务的车辆定位、指挥、调度、救援和管理。GPS系统的民用定位精度是10米。
惯导定位,主要依靠惯性测量单元(Inertial Measurement Unit,简称IMU)来实现。IMU是主要用来测量物体运动的传感器。物体的空间运动有6个自由度,沿着三轴的平动和绕着三轴的转动。IMU是靠惯性定律来进行测量。对于平动的测量通常采用加速度计的方式,而转动的测量是通过陀螺仪来实现。惯导定位主要受限于高精度的IMU的价格过高,零件的精度和价格之间呈现指数关系。低精度的IMU只能在短程距离中较精准地对移动平台进行定位。惯性导航通常是用于支持其他导航系统,提供比使用任何单一系统更高的精确度。
相关技术的自动驾驶系统依赖于感知模型的准确性输出进行移动平台的决策和运动规划。例如,在位置A与位置B之间为移动平台找到一条符合约束条件的路径,这个约束可以是无碰撞、路径最短、机械功最小等。当感知模型输出的信息不准确或错误时,车辆将进行不安全的决策和运动规划。例如,大多数车辆的感知模型是单一的,且无法评估自身输出的不确定性,这使得整车存在较高的预期功能安全风险。
本申请实施例基于同源机载自动驾驶摄像头的数据,计算感知模型的感知不确定性,使得移动平台能够基于带不确定性的感知信息进行决策和运动规划,有效提高移动平台的预期功能安全。
以下将通过图1至图11对本申请实施例的一种确定驾驶策略的方法、装置、车辆及存储介质进行详细描述。
图1是本申请一实施例示出的可以应用确定驾驶策略的方法、装置、车辆及存储介质的一种示例性系统架构。需要注意的是,图1所示仅为可以应用本申请实施例的系统架构的示例,以帮助本领域技术人员理解本申请的技术内容,但并不意味着本申请实施例不可以用于其他设备、系统、环境或场景。
参见图1,根据该实施例的系统架构100可以包括移动平台101、102、103,网络104和云端105。网络104用以在移动平台101、102、103和云端105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。移动平台101、102上可以搭载有传感器,如毫米波雷达、摄像头、激光雷达等,以实现感测移动平台101、102的周围环境信息,如障碍物信息和车道线信息等。
用户可以使用移动平台101、102、103通过网络104与其他移动平台和云端105进行交互,以接收或发送信息等。如发送模型训练请求、模型参数下载请求和接收经训练的模型参数等。经训练的模型可以对图像数据或者点云数据中对象进行分类,如车道线、障碍物等。移动平台101、102、103可以安装有各种通讯客户端应用,例如,辅助驾驶应用、自动驾驶应用、车机应用、网页浏览器应用、数据库类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等应用等。
移动平台101、102、103包括但不限于汽车、机器人、飞行器、平板电脑、膝上型便携计算机等电子设备。
云端105可以接收模型训练请求、接收模型参数下载请求、调整模型参数进行模型训练、下发模型拓扑结构、下发经训练的模型参数等,还可以发送气象信息、实时交通信息等给移动平台101、102、103。例如,云端105可以为后台管理服务器、服务器集群、车联网等。
需要说明的是,移动平台、网络和云端的服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的移动平台、网络和云端。
图2是本申请一实施例示出的车辆、车载传感器的结构示意图。
参见图2,车辆100可以包括一个或多个如下部件:车身主体110、惯性测量单元(Inertial Measurement Unit,简称IMU)130和拍摄装置140等。IMU 130和拍摄装置140设置于车身主体110上。
此外,车辆100上还可以设置一个或多个超声波传感器、毫米波雷达等,以提升感知的车辆环境信息的全面性和准确性。例如,超声波传感器可以设置在前后保险杠内部。例如,毫米波雷达可以设置在前后保险杠内部。
例如,拍摄装置140包括摄像头,在光敏器件上对摄像头采集的光信号进行成像,并传输给图像处理器。这样使得可以通过图像识别的方式得到障碍物。为了保障在行车过程中能够拍到清晰画面,摄像头像素包括但不限于:30万、100万、200万、500万或者800万等。呈现的画质分辨率包括360P、720P、1080P、2K乃至4K。
摄像头传感器是一种被动式传感器,对光照变化十分敏感,在雨雾黑夜等的天气影响下,摄像头传感器的成像质量就会大幅度下降,使得感知算法很难实现物体的检测识别。此外,作为一个被动式传感器,摄像头传感器在测距,测速性能上表现不如激光雷达和毫米波雷达。
在一些应用场景下,如果仅依靠摄像头捕捉的图像来进行障碍物识别,错误的识别结果可能造成严重的交通事故。参见图3,为异常道路场景。某车型在自动驾驶过程中,误将横置于马路中间的白色货车车厢识别为白云,径直撞上白色货车车厢,造成严重交通事故。参见图4,为异常服饰导致的感知错误场景。蹲下疏通下水道的环卫工人被误识别为桩桶或者塑料袋,这可能导致自动驾驶的汽车为了紧急避险等场景下,发生碰撞环卫工人交通事故的可能,带来较大安全隐患。本申请的技术方案尤其适用于主要依靠摄像头获得环境感知信息的应用场景,以降低安全隐患。
本申请实施可以采用多个模型来识别特定对象,得到多个识别结果。然后根据各识别结果的置信度一致性来确定感知不确定度,进而可以基于识别结果和感知不确定度确定驾驶策略,有效提升针对感知不确定性高的特定对象的驾驶策略安全可靠性。
此外,为了进一步提升辅助驾驶或自动驾驶性能,车辆100还可以设置激光雷达(Laser Detecting and Ranging,简称Lidar)120,来提升环境感知能力。激光雷达120可以设置于车身主体110中。Lidar通过发射和接收激光束,测量激光信号的时间差和相位差来确定距离,通过水平旋转扫描来测量角度,并根据这两个参数建立二维的极坐标系,再通过获取不同俯仰角度信号获取三维中的高度信息。高频激光可以在一秒内获取大量(如150万个)的位置点信息(称为点云),并根据这些信息进行三维建模。激光雷达以其分辨率高、抗有源干扰能力强、低空探测性能好、轻巧灵便等优点,但是在下雪天气下效果不佳。
例如,激光雷达120可以安装在前保险杠两侧的位置。此外,激光雷达还可以安装在车顶位置或者车前窗上方位置等,在此不做限定。激光雷达120可以包括脉冲激光雷达和连续波激光雷达,可以使用紫外线、可见光或近红外光作为光源。由于激光雷达120能够准确地检测出特定目标与移动平台之间的距离,能有效消除一些因图像误识别造成的交通事故。
图5是本申请一实施例示出的确定驾驶策略的方法的流程图。
参见图5,该确定驾驶策略的方法可以包括操作S510~操作S520。
在操作S510,获得针对特定对象的识别结果以及该识别结果的感知不确定度。
在本实施例中,感知不确定度是基于至少两个感知模型针对特定对象的识别结果来确定的。相关技术可以根据单个识别结果的置信度来判断识别结果是否可靠。例如,置信度99%的识别结果为高可靠结果。置信度95%的识别结果的可靠性高于置信度90%的识别结果的可靠性。但是置信度阈值过高或过低都可能影响识别结果,如置信度阈值过高可能造成识别不出特定对象,置信度阈值过低可能造成误识别。如何兼顾以上场景等就成为一个亟待解决的问题。
以神经网络作为识别模型为例,其识别结果受到网络拓扑结构、训练数据(多种场景覆盖率、数据质量)、损失函数、设备计算能力等的影响。如识别模型对不同类型的对象的识别效果、不同应用场景下的识别效果等有差异,难以实现多场景下的高可靠性结果输出。参见图3和图4所示,一旦识别模型的识别结果错误,可能造成严重后果。
本实施例中采用至少两个感知模型获得针对同一特定对象的识别结果,进而可以得到针对该特定对象的识别结果的感知不确定度。例如,不同感知模型针对同一特定对象输出的识别结果的一致性越高,则该识别结果的可靠性越高。同理,多个识别结果的一致性越差,则该识别结果的可靠性越差。这样可以基于多个识别结果的一致性来确定识别结果的感知不确定度。其中,感知模型的拓扑结构可相同或不同。例如,可以采用长短时记忆模型和门控循环单元模型等不同拓扑结构的神经网络作为感知模型。例如,可以采用不同的训练数据对相同拓扑结构的神经网络进行训练,得到多个感知模型。例如,可以采用相同的训练数据以不同的训练方式对相同拓扑结构的神经网络进行训练,得到多个感知模型,在此不做限定。
在操作S520,至少基于识别结果和感知不确定度确定驾驶策略。
在本实施例中,可以结合识别结果和感知不确定度共同确定驾驶策略。其中,识别结果可以包括特定对象的种类信息,还可以包括该种类信息的置信度。驾驶策略可以包括规划路径、行驶速度、避障策略、风险偏好等,在此不做限定。感知不确定度可以是和方差、标准差或者其他类似评价指标相关的计算结果。
例如,先基于识别结果确定初始驾驶策略。然后,再基于感知不确定度来优化该初始驾驶策略。具体地,可以至少基于当前位姿、识别的障碍物(如行人或车辆)规划行驶方向的参考线。然后再基于感知不确定度来修改该参考线以提升行驶安全性。
又例如,基于识别结果的感知不确定度来确定各识别结果的权重,进而可以基于各识别结果和对应的权重来确定驾驶策略。具体地,可以将感知不确定度高(如权重之和低)的识别结果设置为需要避开的对象,然后基于此生成驾驶策略。
需要说明的是,以上确定驾驶策略的方式仅为示例性说明,不能理解为对本公开的限定,还可以采用多种至少基于识别结果和感知不确定度来确定驾驶策略的其它方式。
在某些实施例中,上述方法还可以包括如下所示的操作,基于驾驶策略控制移动平台的底盘系统。
例如,控制移动平台的底盘系统包括但不限于:驱动控制、制动控制、转向控制、车身姿态控制或者综合控制等控制技术中的至少一种。具体地,可以实现诸如牵引力的控制、巡航控制、制动抱死、制动压力辅助控制、电动助力转向、四轮转向控制、防滑控制、稳定性控制等中至少一种。通过控制移动平台的底盘系统,使得移动平台能够按照该驾驶策略(如规划路径)从当前位置安全地抵达目的地。
本申请实施例可以通过多个感知模型获得针对特定对象的识别结果和感知不确定度,进而根据感知不确定度来计算识别结果的可靠性。据此可以根据识别结果的可靠性来制定驾驶策略,以给驾驶策略提供更多的安全冗余,有效提升基于该驾驶策略自动行驶时的乘员人身财产安全性。
以下对感知不确定度的计算方式进行示例性说明。
例如,感知不确定度可以基于置信度均值和置信度方差等来确定。其中,置信度是多个识别模型针对同一特定对象的识别结果的置信度。
在某些实施例中,获得针对特定对象的识别结果以及该识别结果的感知不确定度可以包括如下操作。
首先,获得至少两个感知模型针对特定对象的至少两个识别结果和与至少两个识别结果对应的至少两个置信度,至少两个感知模型的训练方式不同。例如,识别结果:行人的置信度为96%、路灯的置信度99%等。为了得到多个感知模型针对特定对象的识别结果的置信度,可以采用不同的训练方式来训练具有相同拓扑结构的识别模型。
然后,基于至少两个置信度确定针对特定对象的识别结果的感知不确定度。例如,可以基于多个置信度的一致性指标判断识别结果的感知不确定度。其中,一致性指标包括但不限于:均值、方差、标准差等。需要说明的是,还可以通过人工智能技术计算多个识别结果的感知不确定度,在此不做限定。
例如,上述获得至少两个感知模型针对特定对象的至少两个识别结果和与至少两个识别结果对应的至少两个置信度可以包括如下两个操作。
首先,利用第一类感知模型处理包括特定对象的感知数据,得到第一识别结果和第一置信度,第一类感知模型存储在第一芯片中。
然后,利用第二类感知模型处理特定对象的感知数据,得到第二识别结果和第二置信度,第二类感知模型存储在第二芯片中,其中,训练第一类感知模型和第二类感知模型所采用的训练数据至少部分相同,和/或,相同训练数据的输入顺序不同。
图6是本申请一实施例示出的原始感知模型和感知不确定性提取模型的示意图。
参见图6,感知不确定性提取模型中包括多个模型1~模型N,每个模型的拓扑结构可以和原始感知模型相同。为了训练模型1~模型N,可以采用与原始感知模型相同的训练数据集,但是数据输入顺序被随机打乱。
感知识别模型可以是用于确定拍摄图像中是否包括特定对象的分类模型,如预先经过训练的分类模型。分类模型包括但不限于:线性回归(Linear Regression)、逻辑回归(Logistic Regression)、决策树(Decision Trees)、Naive Bayes(贝叶斯)、K临近(K-Nearest Neighbors)、支持向量机(Support Vector Machines)、随机决策森林(RandomDecision Forests or Bagging)、神经网络(Neural Networks)等。
在某些实施例中,分类模型可以采用深度神经网络(Deep Neural Networks)。例如,分类模型可以对输入的图像数据进行特征提取,得到特征图。然后,基于特征图或者特征图以及其它特征等,对点图像中像素进行分类。又例如,分类模型可以对输入的图像数据中各帧进行特征提取,得到特征图;然后,从特征图中确定与特定对象对应的候选框;接着,基于候选框从特征图中获取目标对象的特征数据;然后,基于目标对象的特征数据确定候选框的类别。
在一个具体实施例中,原始感知模型可以包括全连接层(FC)、长短时记忆网络(LSTM)和双向长短时记忆网络(Bi-LSTM)等。例如,图像数据经由两个并行全连接层后分别输入LSTM和Bi-LSTM。LSTM和Bi-LSTM各自输出的结果经融合后输入至少一层全连接网络,进而输出识别结果。LSTM的核心是细胞状态。细胞状态可以理解为类似长期记忆线,可以将上一时刻的细胞状态传递到下一时刻的细胞状态,达到序列信息的学习和记忆目的,这也是LSTM能够避免梯度消失的原因。Bi-LSTM将每个时刻的正向和反向隐层输出进行了拼接,使得Bi-LSTM提取的双向特征更加能捕捉到数据中的语义信息,如能更好地提取逆序输入的数据中的语义信息。
原始感知模型可以由片上系统芯片(SOC)进行数据处理。例如,原始感知模型的模型参数等可以存储在SOC1中。感知不确定性提取模型的模型参数等也可以存储在SOC1中,或者存储在其它SOC中。
相关技术中,可以采用双SOC架构来提升系统的计算能力。例如,SOC1用于实现传感器数据处理以获得识别结果,还可以用于实现数据路由、底盘控制等。为了实现负载均衡,可以将感知不确定性提取模型分配在SOC2。
本实施例中,感知模型输出聚焦在目标类型和物体宽高信息上。例如,域控制器SoC1基于感知模型进行目标识别,输出目标类型K
域控制器(Domain Controller,简写为DC)是指在“域”模式下,至少有一台服务器负责每一台联入网络的电脑和用户的验证工作,该服务器称为域控制器。域控制器(DC)负责允许主机访问域资源。它对用户进行身份验证,存储用户帐户信息并为域实施安全策略。
在某些实施例中,第二类感知模型包括至少一个感知子模型,第二置信度包括至少一个子置信度。相应地,基于至少两个置信度确定针对特定对象的识别结果的感知不确定度,包括:基于至少一个子置信度确定感知不确定度,或者,基于第一置信度和至少一个子置信度确定感知不确定度。
图7是本申请一实施例示出的控制逻辑的示意图。
参见图7,车载摄像头将同源图像信息分别输入域控制器SOC1和域控制器SOC2,这样使得SOC1中的原始感知模型和SOC2中的感知不确定性提取模型可以基于相同的图像信息输出识别结果或者感知不确定性。本实施例中采用双SOC架构,能够增加计算能力,并且提供识别通道冗余(如SOC1中模型异常时,可以采用SOC2中模型输出的识别结果)。此外,和相关技术中已采用的双SOC架构兼容性更好。具体地,可以复用现有的控制器,在不做硬件变更的情况下实现预期功能安全能力的提升,具有成本优势。此外,双SOC符合功能安全的冗余要求,当SOC1失效时,SOC2可以输出感知结果。另外,总体控制器的计算能力提升,有利于合理布置算法和算力要求。
需要说明的是,SOC1中原始感知模型输出识别结果的均值和方差可以用于SOC2中感知不确定性的计算,从而减少SOC2中需要布置的同构模型的数量。例如,图7中SOC1的感知模型输出的识别结果和置信度可以发送给感知不确定性提取模型,以便基于SOC1的输出结果和SOC2中感知不确定性提取模型的子模型的输出结果,来计算感知不确定性。
在某些实施例中,可以通过如下方式构建感知不确定性提取模型。具体地,构建感知不确定性提取模型(第二类感知模型)可以包括如下操作。首先,构建至少两个感知子模型,感知子模型的拓扑结构与第一类感知模型的拓扑结构相同。然后,利用与训练第一类感知模型相同的训练数据集训练至少两个感知子模型,其中,至少两个感知子模型各自的初始模型参数不同,和/或,输入至少两个感知子模型的训练数据集的输入顺序不同。
在一个具体实施例中,车载摄像头提供同源图像信息到车载双SoC自动驾驶域控制器。其中,域控制器SoC1基于感知模型进行目标识别,输出目标类型K
例如,感知不确定性提取模型基于SoC1中的原始感知模型,通过以下方法得到:首先,构建N个模型初始参数不同的感知模型,如通过各模型的参数随机初始化来实现。然后进行模型训练,其中,感知模型的训练数据集为同一数据集,但是数据输入顺序通过随机输入打乱,如训练集数据随机输入。其中,多个新训练的模型1~N为同一数据集训练出的,但是训练输入顺序不同,目的是为了得到系统的认知不确定性和偶然不确定性。模型本身的输出速度没有区别,区别点在于输出结果的均值和方差的差异。
具体地,可以通过如下方式确定识别结果的感知不确定度。
获取模型i的感知识别均值μ
其中,均值和方差通过以下方式获取:模型i进行目标识别,得出M个分类结果和其置信度P
在某些实施例中,基于至少两个置信度确定针对特定对象的识别结果的感知不确定度可以包括如下操作,首先,基于至少两个置信度确定感知识别均值和方差。然后,基于感知识别均值和方差确定感知不确定度。
例如,感知识别均值的计算式如式(1)所示。
感知识别的方差计算式如式(2)所示。
在得到均值和方差之后,可以基于均值和方差计算感知不确定度。
在某些实施例中,基于感知识别均值和方差确定感知不确定度可以包括如下操作。首先,基于感知识别均值和方差确定认知不确定性,并且基于方差确定偶然不确定。然后,基于认知不确定性和偶然不确定计算感知不确定度。
计算感知不确定性
其中,式(3)的等号和减号之间的部分是认知不确定性计算式,后一部分是偶然不确定性修正项。感知不确定性分为认知不确定性和偶然不确定性,认知不确定性来自模型的不确定性,偶然不确定性来自数据的不确定性。需要说明的是,还有其他的方式提取不确定性,比如贝叶斯神经网络的方法,在此不做限定。此外,本实施例中采取公式计算不确定性计算方式,是考虑到采用神经网络的方法会加大模型的复杂度和计算量,但是,在算力充足的场景下同样适用。
以下对确定驾驶策略的过程进行示例性说明。
在某些实施例中,至少基于识别结果和感知不确定度确定驾驶策略可以包括如下操作:首先,至少基于识别结果确定第一驾驶策略。然后,至少基于感知不确定度更新第一驾驶策略,得到第二驾驶策略,以提升第一驾驶策略的安全性。
其中,可以采用多种相关技术实现至少基于识别结果确定第一驾驶策略。例如,识别结果表示特定对象为障碍物,则可以生成绕过该特定对象的路径。例如,识别结果表示特定对象为结冰的路面,则可以生成低速慢行通过的驾驶策略。例如,识别结果表示特定对象是急转弯路段标识,则可以采用降低行驶速度的驾驶策略。本实施例中,在上述基础之上,如果确定存在感知不确定度高的特定对象,则为了提升驾驶安全性,可以选取绕过该特定对象的驾驶策略。
在某些实施例中,第一驾驶策略包括行驶参考线。相应地,至少基于感知不确定度更新第一驾驶策略,得到第二驾驶策略可以包括如下操作:首先,至少基于感知不确定度确定针对特定对象的参考线偏移量。然后,基于参考线偏移量更新行驶参考线,得到第二驾驶策略。
其中,参考线偏移量可以基于专家经验或者使用效果标定得到,也可以是通过仿真模拟得到,还可以是根据特定对象的尺寸来确定的。具体地,参考线偏移量与偏移量标定值相关,或者,参考线偏移量与偏移量标定值、特定对象的尺寸和尺寸系数相关。
例如,更新行驶参考线的计算式如式(4)所示。
L
其中,L
横向偏移量的计算式可以如式(5)所示。
其中,
在某些实施例中,为了进一步增加横向偏移量和实际应用长度的匹配度,横向偏移量的计算式还可以如式(6)所示。
其中,D
图8是本申请一实施例示出的行驶参考线和参考线偏移量的示意图。
参见图8,道路中散落有棉花垛,相关技术可能将其误识别为云朵,其规划的行驶路径如图8中虚线所示,导致发生交通事故。本实施例中虽然也可能将其误识别为云朵,但是,识别结果的感知不确定度较高,如果超过感知不确定度阈值,则会基于参考线偏移量对图8所示的虚线行驶路径进行更新,如实线所示的行驶路径,有效提升了自动驾驶或辅助驾驶技术的安全性。
在某些实施例中,当识别结果的感知不确定度较高时,还可以通过其它方式来提升驾驶安全性。例如,系统可以接收识别结果、感知不确定度信息、定位信息以及距离信息等,进行车辆的决策规划。当感知不确定性超过一定阈值
本实施例利用移动平台上已有的设备,无新增传感器或设备,通过软件更新方式,实现基于双SoC芯片自动驾驶域控制器的感知预期功能安全策略,具有明显的成本优势和技术优势。
本申请的另一方面还提供了一种确定驾驶策略装置的框图。
图9是本申请一实施例的确定驾驶策略的装置的框图。
参见图9,该确定驾驶策略的装置900可以包括:信息获得模块910和策略确定模块920。
信息获得模块910用于获得针对特定对象的识别结果以及该识别结果的感知不确定度。
策略确定模块920用于至少基于识别结果和感知不确定度确定驾驶策略。其中,感知不确定度是基于至少两个感知模型针对特定对象的识别结果来确定的。
在某些实施例中,信息获得模块910可以包括信息获得单元和感知不确定获得单元。
信息获得单元用于获得至少两个感知模型针对特定对象的至少两个识别结果和与至少两个识别结果对应的至少两个置信度,至少两个感知模型的训练方式不同。
感知不确定获得单元用于基于至少两个置信度确定针对特定对象的识别结果的感知不确定度。
在某些实施例中,该确定驾驶策略的装置900还可以包括模型构建模块。该模型构建模块包括:子模型构建单元和子模型训练单元。
子模型构建单元用于构建至少两个感知子模型,感知子模型的拓扑结构与第一类感知模型的拓扑结构相同。
子模型训练单元用于利用与训练第一类感知模型相同的训练数据集训练至少两个感知子模型,其中,至少两个感知子模型各自的初始模型参数不同,和/或,输入至少两个感知子模型的训练数据集的输入顺序不同。
在某些实施例中,策略确定模块920可以包括策略确定单元和策略更新单元。
其中,策略确定单元用于至少基于识别结果确定第一驾驶策略。
策略更新单元用于至少基于感知不确定度更新第一驾驶策略,得到第二驾驶策略,以提升第一驾驶策略的安全性。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不再做详细阐述说明。
图10是本申请一实施例示出的硬件系统的示意图。
参见图10,整个系统至少包含三个部分:传感器部分、车载双SoC自动驾驶域控制器、底盘系统。
其中,传感器部分可以包括车载摄像头、毫米波雷达和定位装置(如GNSS)。传感器部分提供停周围物体图像、位置、速度等信息,GNSS提供车辆的定位信息。
车载双SoC自动驾驶域控制器用于接收车辆图像信息、速度信息和定位信息等,实现目标识别和感知不确定性计算,并基于感知输出和不确定性信息进行决策规划,控制车辆底盘系统,规避预期功能安全风险。
底盘系统用于接收来自自动驾驶控制器的转向、驱动以及制动等控制信号。
本申请基于双SoC芯片的自动驾驶域控制器获取同源车载自动驾驶摄像头的数据,进行感知不确定性的计算。决策规划时可以基于带不确定性的感知信息进行车辆决策规划,从而提高整车的预期功能安全。
本申请的另一方面还提供了一种车辆。
图11是本申请一实施例的车辆的框图。
参见图11,车辆1100包括车身主体、存储器1110、处理器1120和拍摄装置1140。
拍摄装置1140与设置于车身顶部或者车身前端等。例如,拍摄装置1140可以包括机体、镜头和感光材料。此外,还可以包括光圈、快门、测距、取景、测光、输片、计数、自拍、对焦、变焦等系统。
存储器1110可以包括各种类型的存储单元,例如系统内存、只读存储器(ROM)和永久存储装置。其中,ROM可以存储处理器1120或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备,例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外,存储器1110可以包括任意计算机可读存储媒介的组合,包括各种类型的半导体存储芯片(例如DRAM,SRAM,SDRAM,闪存,可编程只读存储器),磁盘和/或光盘也可以采用。在一些实施方式中,存储器1110可以包括可读和/或写的可移除的存储设备,例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM,双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
处理器1120可以是中央处理单元(Central Processing Unit,简称CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。处理器与至少两个激光雷达耦接,至少用于接收来自激光雷达的点云。
存储器1110上存储有可执行代码,当可执行代码被处理器1120处理时,可以使处理器1120执行上文述及的方法中的部分或全部。
此外,车辆1100还可以包括激光雷达1130。激光雷达1130可以设置一个或者多个。例如,至少两个激光雷达1130分别设置于车身主体的至少两个位置,分别用于采集点云。例如,一个激光雷达1130设置在车身主体的前端的左侧,一个激光雷达1130设置在车身主体的前端的右侧。例如,一个激光雷达1130设置在车身主体的前端的左侧,一个激光雷达1130设置在车身主体的前端的右侧,一个激光雷达1130设置在车身主体的前挡风玻璃的上方,或者设置在车顶的上方。
可以理解的,如果无特别说明,在本申请各个实施例中的各功能单元/模块可以集成在一个单元/模块中,也可以是各个单元/模块单独物理存在,也可以两个或两个以上单元/模块集成在一起。上述集成的单元/模块既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
集成的单元/模块如果以硬件的形式实现时,该硬件可以是数字电路,模拟电路等等。硬件结构的物理实现包括但不局限于晶体管,忆阻器等等。如果无特别说明,人工智能处理器可以是任何适当的硬件处理器,比如CPU、GPU、FPGA、DSP和ASIC等等。如果无特别说明,存储模块可以是任何适当的磁存储介质或者磁光存储介质,比如,阻变式存储器(Resistive Random Access Memory,简称RRAM)、动态随机存取存储器(Dynamic RandomAccess Memory,简称DRAM)、静态随机存取存储器(Static Random-Access Memory,简称SRAM)、增强动态随机存取存储器(Enhanced Dynamic Random Access Memory,简称EDRAM)、高带宽内存(High-Bandwidth Memory,简称HBM)、或者混合存储立方(HybridMemory Cube,简称HMC)等等。
集成的单元/模块如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括如果干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
在一种可能的实现方式中,还公开了一种板卡,其包括存储器件、接口装置和控制器件以及上述处理器;其中,处理器与存储器件、控制器件以及接口装置分别连接;存储器件用于存储数据;接口装置用于实现处理器与外部设备之间的数据传输;控制器件用于对处理器的状态进行监控。
此外,根据本申请的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者,本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质),其上存储有可执行代码(或计算机程序或计算机指令代码),当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时,使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。
- 驾驶模式控制方法、装置、车辆及计算机可读存储介质
- 自动驾驶车辆的信息升级方法、装置及存储介质
- 无人驾驶车辆的控制方法、装置、设备和存储介质
- 人工神经网络的车辆安全驾驶检测方法、装置及存储介质
- 智能驾驶控制方法和装置、车辆、电子设备、存储介质
- 无人驾驶车辆的换道策略确定方法、设备和存储介质
- 自动驾驶策略的训练方法、装置、自动驾驶方法、设备、车辆和计算机可读存储介质