碰撞预警方法、装置、电子设备和存储介质
文献发布时间:2023-06-19 18:58:26
技术领域
本公开涉及计算机视觉技术,尤其是一种碰撞预警方法、装置、电子设备和存储介质。
背景技术
车辆碰撞预警系统是通过声音、视觉、触觉等提醒驾驶员以避免或减缓交通事故的车辆辅助系统。相关技术中,比如L2辅助驾驶ADAS(Advanced Driving AssistanceSystem,高级驾驶辅助系统)技术具有前向碰撞预警(Forward Collision Warning,简称:FCW)功能和后向碰撞预警(Rear Collision Warning,简称:RCW)功能,但是,由于车辆结构的阻碍,驾驶员对侧向存在一定的视觉死角,因此容易导致侧向碰撞(或称横向碰撞),使得车辆行驶安全性较差。
发明内容
为了解决上述侧向碰撞导致车辆行驶安全性较差等技术问题,提出了本公开。本公开的实施例提供了一种碰撞预警方法、装置、电子设备和存储介质。
根据本公开实施例的一个方面,提供了一种碰撞预警方法,包括:获取当前车辆的周围环境视觉信息及所述当前车辆的当前状态信息;基于所述周围环境视觉信息,确定目标可行驶安全区域边界;基于所述当前状态信息,确定目标预警区域;基于所述目标可行驶安全区域边界及所述目标预警区域,确定横向碰撞风险状态,所述横向碰撞风险状态包括有风险和无风险两种状态;响应于所述横向碰撞风险状态为有风险,进行横向碰撞预警。
根据本公开实施例的另一个方面,提供了一种碰撞预警装置,包括:第一获取模块,用于获取当前车辆的周围环境视觉信息及所述当前车辆的当前状态信息;第一处理模块,用于基于所述周围环境视觉信息,确定目标可行驶安全区域边界;第二处理模块,用于基于所述当前状态信息,确定目标预警区域;第三处理模块,用于基于所述目标可行驶安全区域边界及所述目标预警区域,确定横向碰撞风险状态,所述横向碰撞风险状态包括有风险和无风险两种状态;第四处理模块,用于响应于所述横向碰撞风险状态为有风险,进行横向碰撞预警。
根据本公开实施例的再一方面,提供一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行本公开上述任一实施例所述的碰撞预警方法。
根据本公开实施例的又一方面,提供一种电子设备,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现本公开上述任一实施例所述的碰撞预警方法。
基于本公开上述实施例提供的碰撞预警方法、装置、电子设备和存储介质,通过基于车辆的当前状态信息确定目标预警区域,基于车辆的周围环境视觉信息确定目标可行驶安全区域边界,进而基于目标可行驶安全区域边界及目标预警区域,确定横向碰撞风险状态,当确定出横向碰撞风险状态为有风险时,可以及时进行碰撞预警,提醒车辆上的用户及时采取避障措施,实现了横向碰撞的有效预警,以避免或减缓交通事故的发生,有效提高车辆行驶安全性。
下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是本公开提供的碰撞预警方法的一个示例性的应用场景;
图2是本公开一示例性实施例提供的碰撞预警方法的流程示意图;
图3是本公开另一示例性实施例提供的碰撞预警方法的流程示意图;
图4是本公开一示例性实施例提供的步骤2023的流程示意图;
图5是本公开一示例性实施例提供的最大安全椭圆区域边界的示意图;
图6是本公开一示例性实施例提供的碰撞风险状态的一种无风险状态示意图;
图7是本公开一示例性实施例提供的碰撞风险状态的一种有风险状态示意图;
图8是本公开一示例性实施例提供的碰撞风险状态的另一种有风险状态示意图;
图9是本公开另一示例性实施例提供的步骤2023的流程示意图;
图10是本公开一示例性实施例提供的步骤2031的流程示意图;
图11是本公开一示例性实施例提供的碰撞预警装置的结构示意图;
图12是本公开另一示例性实施例提供的碰撞预警装置的结构示意图;
图13是本公开电子设备一个应用实施例的结构示意图。
具体实施方式
下面,将参考附图详细地描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。
应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解,本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
还应理解,在本公开实施例中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。
还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
另外,本公开中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。
还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
在实现本公开的过程中,发明人发现,车辆碰撞预警系统通常具有前向碰撞预警功能和后向碰撞预警功能,但是,由于车辆结构的阻碍,驾驶员对侧向存在一定的视觉死角,因此容易导致侧向碰撞(或称横向碰撞),使得车辆行驶安全性较差。
图1是本公开提供的碰撞预警方法的一个示例性的应用场景。
在车辆行驶过程中,为了能够及时进行横向碰撞预警,利用本公开的碰撞预警方法,可以基于周围环境视觉信息确定目标可行驶安全区域边界,基于车辆的当前状态信息,确定目标预警区域,进而结合目标可行驶安全区域边界和目标预警区域,确定出是否具有横向碰撞风险,若有风险,则可以及时进行横向碰撞预警,从而及时提醒驾驶员采取避障措施,避免侧向视觉死角导致横向碰撞事故的发生,有效提高车辆行驶安全性。其中,车辆的当前状态信息可以包括车辆的横向速度,还可以包括其他相关信息,比如车辆宽度、车辆的纵向速度、横向加速度等等,具体可以根据实际需求设置。周围环境视觉信息可以通过车辆上安装的摄像头采集获得,比如针对横向碰撞,可以通过侧视摄像头采集车辆侧向环境周围信息,侧视摄像头可以包括左前摄像头、左后摄像头、右前摄像头和右后摄像头,其中,左前摄像头,可以安装于车辆左前方,用于采集当前环境的左后视角的视觉信息;左后摄像头,可以安装于车辆左后方,用于采集当前环境的左前视角的视觉信息;右前摄像头,可以安装于车辆右前方,用于采集当前环境的右后视角的视觉信息;右后摄像头,可以安装于车辆右后方,用于采集当前环境的右前视角的视觉信息。具体摄像头设置方式可以根据实际需求设置,不限于上述方式。目标可行驶安全区域边界包括可行驶安全区域边界上的多个坐标点,各坐标点可以是车辆坐标系下的坐标点,车辆坐标系可以根据实际需求建立,比如以车辆后轴中心为坐标原点,以车辆长度方向为纵轴(用x表示),以车辆宽度方向为横轴(用y表示)。
图2是本公开一示例性实施例提供的碰撞预警方法的流程示意图。本实施例可应用在电子设备上,具体比如车载计算平台上,如图2所示,包括如下步骤:
步骤201,获取当前车辆的周围环境视觉信息及当前车辆的当前状态信息。
其中,当前状态信息可以包括车辆的横向速度,还可以包括其他相关信息,比如车辆的纵向速度、横向加速度等等,具体可以根据实际需求设置。当前状态信息可以基于车辆上的相关采集设备采集获得,比如速度传感器、加速度传感器等。周围环境视觉信息可以通过车辆上安装的摄像头采集获得,具体不再赘述。
步骤202,基于周围环境视觉信息,确定目标可行驶安全区域边界。
其中,目标可行驶安全区域边界包括可行驶安全区域边界上的多个坐标点,各坐标点可以是车辆坐标系下的坐标点。目标可行驶安全区域边界可以基于可行驶区域边界确定,具体来说,目标可行驶安全区域边界可以是可行驶区域(Free Space)边界,或者目标可行驶安全区域边界所形成的目标可行驶安全区域也可以是可行驶区域边界所形成的可行驶区域的子集,具体可以根据实际需求设置。可行驶区域边界是指当前车辆可行驶道路区域与障碍物的交界。可行驶区域边界的确定方式可以采用任意可实施的方式,比如基于多目标检测或语义分割等方式从周围环境视觉信息中确定出障碍物区域和路面区域,从而基于障碍物区域和路面区域获得可行驶区域边界,具体的,可以先确定图像像素坐标系下的可行驶区域轮廓像素点集,进而通过坐标系转换,获得车辆坐标系下的可行驶区域轮廓坐标点集,基于可行驶区域轮廓坐标点集即可确定可行驶区域边界。
步骤203,基于当前状态信息,确定目标预警区域。
其中,当前状态信息表征了车辆后续的行驶方向及在行驶方向上的速度,不同的速度导致可能碰撞的时间和危险程度不同,因此可以基于当前状态信息确定出目标预警区域,用于横向碰撞预警的判断,由于结合了当前车辆的当前状态信息,不同的车辆状态目标预警区域不同,比如当横向速度较大时,目标预警区域在横向上设置较大值,从而可以及早发现碰撞风险,提高碰撞预警的准确性和有效性。
步骤203和步骤202不分先后顺序。
步骤204,基于目标可行驶安全区域边界及目标预警区域,确定横向碰撞风险状态,横向碰撞风险状态包括有风险和无风险两种状态。
其中,有风险表示当前车辆有横向碰撞风险,无风险表示当前车辆没有横向碰撞风险。目标可行驶安全区域边界表征了当前车辆的可行驶区域范围,目标预警区域表征了基于当前车辆的当前状态信息需要进行预警的区域范围,通过目标可行驶安全区域边界和目标预警区域的关系,可以确定当前车辆的横向碰撞风险。
在一个可选示例中,还可以基于目标可行驶安全区域边界及目标预警区域确定前向碰撞风险和/或后向碰撞风险,具体可以根据实际需求设置。
在一个可选示例中,还可以根据实际需求将有风险设置为多个风险等级,针对不同的风险等级,可以设置不同的预警方式和/或预警内容,具体可以根据实际需求设置。比如针对不同风险等级设置不同的目标预警区域,通过目标可行驶安全区域边界与各目标预警区域的关系,确定出风险等级。
步骤205,响应于横向碰撞风险状态为有风险,进行横向碰撞预警。
当确定出当前车辆的横向碰撞风险状态为有风险,表示当前车辆需要采取相应的避障措施,因此可以及时进行横向碰撞预警,提醒驾驶员及时采取相应的避障措施,避免侧向视觉死角导致横向碰撞事故的发生。
本实施例提供的碰撞预警方法,通过基于车辆的当前状态信息确定目标预警区域,基于车辆的周围环境视觉信息确定目标可行驶安全区域边界,进而基于目标可行驶安全区域边界及目标预警区域,确定横向碰撞风险状态,当确定出横向碰撞风险状态为有风险时,可以及时进行横向碰撞预警,提醒车辆上的用户及时采取避障措施,实现了横向碰撞的有效预警,以避免或减缓因侧向视觉死角导致交通事故的发生,提高横向碰撞预警的及时有效性,有效提高车辆行驶安全性。
图3是本公开另一示例性实施例提供的碰撞预警方法的流程示意图。
在一个可选示例中,步骤204的基于目标可行驶安全区域边界及目标预警区域,确定横向碰撞风险状态,包括:
步骤2041,响应于目标预警区域超出目标可行驶安全区域边界,确定横向碰撞风险状态为有风险。
其中,目标预警区域表示在该区域内出现障碍物均需要进行预警,目标可行驶安全区域边界是车辆可行驶的安全区域边界,当目标预警区域超出目标可行驶安全区域边界,表示在目标预警区域内可能有障碍物存在,因此确定横向碰撞风险状态为有风险。
步骤2042,响应于目标预警区域未超出目标可行驶安全区域边界,确定横向碰撞风险状态为无风险。
其中,由于目标预警区域是基于当前车辆的当前状态信息确定的预警区域,当目标预警区域未超出目标可行驶安全区域边界时,表示在目标预警区域内不存在障碍物,因此确定横向碰撞风险状态为无风险,暂不需要进行横向碰撞预警。
本公开通过将目标预警区域范围与目标可行驶安全区域边界所确定的目标可行驶安全区域范围进行比较,基于目标预警区域是否在目标可行驶安全区域范围内,确定是否有横向碰撞风险,可以在有效保证车辆在可行驶安全区域内行驶的情况下,进一步保证车辆在当前状态下的横向碰撞风险的及时有效预警,进一步提升车辆行驶安全性。
在一个可选示例中,步骤202的基于周围环境视觉信息,确定目标可行驶安全区域边界,包括:
步骤2021,基于周围环境视觉信息,确定图像像素坐标系下的可行驶区域轮廓像素点集。
其中,周围环境视觉信息可以包括至少一个视角中各视角分别对应的环境图像,其中每个视角对应车辆上的一个摄像头。比如前述的4个侧视摄像头则可以获得4个视角分别对应的环境图像。基于各环境图像,可以采用一定方式确定各视角分别对应的图像像素坐标系下的可行驶区域轮廓像素点集,作为周围环境视觉信息对应的图像坐标系下的可行驶区域轮廓像素点集。可行驶区域轮廓像素点集是图像像素坐标系下可行驶区域边界上的像素点集,具体确定原理不再赘述。
步骤2022,基于可行驶区域轮廓像素点集,确定当前车辆对应的车辆坐标系下的可行驶区域轮廓坐标点集。
其中,可以通过图像像素坐标系与车辆坐标系的转换关系,将可行驶区域轮廓像素点集转换到车辆坐标系下,获得当前车辆对应的车辆坐标系下的可行驶区域轮廓坐标点集。比如先从图像像素坐标系转换到相机坐标系,再从相机坐标系转换到车辆坐标系,具体转换原理不再赘述。
步骤2023,基于可行驶区域轮廓坐标点集,确定目标可行驶安全区域边界。
其中,可行驶区域轮廓坐标点集构成了前述的可行驶区域边界,目标可行驶安全区域边界可以基于可行驶区域边界,根据一定的需求进一步确定,比如可行驶区域边界形状可能是不规则形状,可以在可行驶区域边界范围内,确定出规则形状的区域边界作为目标可行驶安全区域边界,具体形状可以根据实际需求设置,比如椭圆形、矩形等,以便于描述其形状。在实际应用中,也可以将可行驶区域轮廓坐标点集形成的边界作为目标可行驶安全区域边界,具体可以根据实际需求设置。
本公开通过周围环境视觉信息确定出图像像素坐标系下的可行驶区域轮廓像素点集,进而转换到车辆坐标系下,获得可行驶区域轮廓坐标点集,基于可行驶区域轮廓坐标点集确定出目标可行驶安全区域边界,实现了仅基于环视图像的可行驶安全区域边界的确定,无需雷达等其他类型的传感器辅助,可以有效降低传感器成本。
图4是本公开一示例性实施例提供的步骤2023的流程示意图。
在一个可选示例中,步骤2023的基于可行驶区域轮廓坐标点集,确定目标可行驶安全区域边界,包括:
步骤20231a,基于可行驶区域轮廓坐标点集,确定当前车辆周围可行驶的最大安全椭圆区域边界,最大安全椭圆区域边界以车辆坐标系的原点为中心。
其中,最大安全椭圆区域边界的长半轴可以是沿车辆坐标系的横向方向的半轴也可以是纵向方向的半轴,具体可以根据实际需求设置。
在一个可选示例中,由于车辆纵向方向的速度通常较大,横向方向的速度通常较小,为了兼容纵向和横向的安全性,可以设置最大安全椭圆区域边界的长半轴为纵向方向,短半轴为横向方向。
步骤20232a,将最大安全椭圆区域边界作为目标可行驶安全区域边界。
示例性的,图5是本公开一示例性实施例提供的最大安全椭圆区域边界的示意图。其中,椭圆表示最大安全椭圆区域边界,椭圆周围的小圆圈表示可行驶区域轮廓坐标点集中的坐标点。椭圆中心的小矩形可以表示当前车辆。
本公开基于可行驶区域轮廓坐标点集,确定当前车辆周围可行驶的最大安全椭圆区域边界作为目标可行驶安全区域边界,而椭圆更加契合车辆行驶特点范围,从而使得基于最大安全椭圆区域边界所确定的横向碰撞风险状态更加准确有效。
在一个可选示例中,步骤20231a的基于可行驶区域轮廓坐标点集,确定当前车辆周围可行驶的最大安全椭圆区域边界,包括:基于可行驶区域轮廓坐标点集及预设约束条件,确定最大安全椭圆区域边界对应的描述参数,描述参数包括最大安全椭圆区域边界的长半轴参数和短半轴参数;基于描述参数,确定最大安全椭圆区域边界。
其中,预设约束条件可以根据实际需求设置,比如需要满足可行驶区域轮廓坐标点集中的所有坐标点都不能位于椭圆内,而是位于椭圆外部或椭圆上,预设约束条件还可以包括其他相关条件,比如长半轴为纵向、短半轴为横向,等等,具体可以根据实际需求设置。长半轴参数包括长半轴长度,短半轴参数包括短半轴长度。
示例性的,根据椭圆方程:
其中,a表示纵向方向(车辆坐标系的x轴方向)的半轴长度,b表示横向方向(车辆坐标系的y轴方向)的半轴长度。本公开的问题的目标方程为max f=(a+b),约束条件为所有包络点(可行驶区域轮廓坐标点集中的坐标点)都落在椭圆上或椭圆外,既所有包络点都满足:
为了保证最大安全椭圆区域边界的形状不会过于畸形,根据车辆行驶特点,可以设置椭圆的纵向半轴大于横向半轴且不能超过太多,比如,对椭圆的形状加以约束: