掌桥专利:专业的专利平台
掌桥专利
首页

技术领域

本发明涉及计算机视觉技术领域,具体涉及一种本车运动状态检测方法、装置、设备及存储介质。

背景技术

目前车辆辅助驾驶技术应用越来越广,可加装的用于汽车的行车记录仪以及带有摄像头的后视镜也逐渐智能化,带有L1级的辅助报警功能越来越普遍。

得益于低成本的AI(Artificial Intelligence,人工智能)芯片的发展,基于深度学习神经网络的智能辅助算法越来越受欢迎。例如,目前有一些带有驾驶辅助报警功能的行车记录仪包含了前车起步功能,在城市道路拥挤时提醒驾驶员。现有的本车运动状态判断多依赖于其他传感器,这需要额外的成本,有时也使用纯图像的方式来判断本车是否为停止状态,但受制于传感器灵敏度导致报警不够准确。

现有技术方法使用纯图像来判断本车是否为停止状态,使用了一些传统的方法如深度学习直接对图像进行判定,准确率较低。

发明内容

本申请提供了一种本车运动状态检测方法、装置、计算机设备及存储介质,仅通过图像数据以及深度学习神经网络技术,实现对于本车运动状态的检测,该技术方案如下。

一方面,提供了一种本车运动状态检测方法,所述方法包括:

获取至少两帧原始图像;

对所述至少两帧原始图像进行图像分割,分别获取至少两帧目标蒙版图;

将所述至少两帧目标蒙版图融合,并对融合后的蒙版图中的各个像素求反,获得背景蒙版图;

基于所述背景蒙版图以及所述至少两帧原始图像,获取背景图像;

对所述背景图像执行运动状态检测,以获得自身车辆的运动状态。

又一方面,提供了一种本车运动状态检测装置,所述装置包括:

图像获取模块,用于获取至少两帧原始图像;

目标蒙版图获取模块,用于对所述至少两帧原始图像进行图像分割,分别获取至少两帧目标蒙版图;

背景蒙版图获取模块,用于将所述至少两帧目标蒙版图融合,并对融合后的蒙版图中的各个像素求反,获得背景蒙版图;

背景图像获取模块,用于基于所述背景蒙版图以及所述至少两帧原始图像,获取背景图像;

运动状态检测模块,用于对所述背景图像执行运动状态检测,以获得自身车辆的运动状态。

在一种可能的实现方式中,所述目标蒙版图获取模块,在于,

针对每一帧原始图像,进行语义分割或者实例分割,获得包括车辆、行人等的可运动目标的蒙版图,其中目标区域为1,背景区域为0。

在另一种可能的实现方式中,所述目标蒙版图获取模块,还在于,

对所述原始图像进行目标检测,将所述原始图像中位于目标检测框内的像素值确定为1,将所述原始图像中位于目标检测框外的像素值确定为0,以获得所述目标蒙版图。

在一种可能的方式中,所述背景图像获取模块,在于,

针对每一帧原始图像,使用获得的目标蒙版图与其相乘,得到每一帧的背景图像,最终获得至少两帧的背景图像。

在另一种可能的实现方式中,所述目标背景图像包括至少两帧背景轮廓图像;

所述背景图像获取模块,用于,

针对每帧原始图像,对所述原始图像进行灰度处理,获得灰度图;

获取所述灰度图中的各个像素点的梯度值,以获得所述原始图像对应的梯度轮廓图;

将所述至少两帧原始图像分别对应的梯度轮廓图,分别与所述背景蒙版图,按照像素点位置进行像素值乘积,获得至少两帧背景轮廓图像。

在一种可能的实现方式中,所述运动状态检测模块,在于,

通过运动检测模型的第一分支,对所述自身车辆的行驶状态进行检测,确定所述自身车辆的行驶状态;所述行驶状态包括静止、前进以及后退中的一者;

通过运动检测模型的第二分支,对所述自身车辆的转向状态进行检测,确定所述自身车辆的转向状态,所述转向状态包括直行、左转以及右转中的一者。

在一种可能的实现方式中,当所述原始图像为所述自身车辆前方的图像时,所述装置还包括:

前车状态获取模块,用于根据所述至少两帧原始图像,确定自身车辆的前方车辆的运动状态;

前车起步预警模块,用于当检测到所述自身车辆的运动状态为静止状态,且所述前方车辆的运动状态为远离所述自身车辆,生成前车起步预警信号,以指示所述自身车辆发生前车起步预警。

在一种可能的实现方式中,当所述原始图像为自身车辆侧后方的图像时,所述装置还包括:

后车状态获取模块,用于根据所述至少两帧原始图像,检测所述原始图像中后方车辆的运动状态;所述后方车辆的运动状态包括所述后方车辆与所述自身车辆的相对位置以及相对速度;

转向危险报警模块,用于当检测到所述自身车辆的运动状态为转向状态,且所述后方车辆的相对位置以及相对速度中的至少一者满足碰撞条件,生成转向危险报警信号,以指示所述自身车辆发生转向危险报警。

再一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现上述的本车运动状态检测方法。

又一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现上述的本车运动状态检测方法。

再一方面,提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质中读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机设备执行上述本车运动状态检测方法。

本申请提供的技术方案可以包括以下有益效果:

当需要对自身车辆的运动状态进行检测时,可以先获取到至少两帧原始图像,对至少两帧原始图像进行图像分割,分别获取目标蒙版图,计算机设备再将目标蒙版图融合并进行求反操作,得到背景蒙版图,此时背景蒙版图即指示的是去除原始图像中可移动的车辆、行人等目标后的背景图,包含比如不可移动路面标识、树木等静态物体的区域,通过多帧背景图可以判断本车相机的运动状态,去除可运动目标对于本车运动判断的干扰,从而提升了本车运动状态的准确性。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种本车运动状态检测系统的结构示意图。

图2是根据一示例性实施例示出的一种本车运动状态检测方法的流程图。

图3是根据一示例性实施例示出的一种本车运动状态检测方法的流程图。

图4示出了本申请实施例涉及的一种背景蒙版图的获取流程图。

图5是根据一示例性实施例示出的一种本车运动状态检测装置的结构方框图。

图6示出了本申请一示例性实施例示出的计算机设备的结构框图。

具体实施方式

下面将结合附图对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

应理解,在本申请的实施例中提到的“指示”可以是直接指示,也可以是间接指示,还可以是表示具有关联关系。举例说明,A指示B,可以表示A直接指示B,例如B可以通过A获取;也可以表示A间接指示B,例如A指示C,B可以通过C获取;还可以表示A和B之间具有关联关系。

在本申请实施例的描述中,术语“对应”可表示两者之间具有直接对应或间接对应的关系,也可以表示两者之间具有关联关系,也可以是指示与被指示、配置与被配置等关系。

本申请实施例中,“预定义”可以通过在设备(例如,包括终端设备和网络设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现,本申请对于其具体的实现方式不做限定。

图1是根据一示例性实施例示出的一种本车运动状态检测系统的结构示意图。该本车运动状态检测系统中包含服务器110以及目标车辆120。其中,该目标车辆120中可以包括数据处理设备、图像采集设备以及数据存储模块等模块。

可选的,该目标车辆120中包括图像采集设备以及数据存储模块,该图像采集设备可以在目标车辆的运行过程中,对目标车辆周围的环境进行图像采集,并将采集到的图像保存在目标车辆中的数据存储模块中。

可选的,该目标车辆120通过传输网络(如无线通信网络)与服务器110实现通信连接,该目标车辆120可以通过无线通信网络,将数据存储模块中存储的各个数据(如采集到的图像)上传至服务器110,以便服务器110对采集到的图像进行处理,并根据采集到的图像,对图像中的车辆、行人、骑行者等进行识别。

可选的,该目标车辆中还包含有数据处理设备,该数据处理设备可以在目标车辆120的图像采集设备采集到图像时,对图像进行识别,判断采集到的图像中是否存在行人或车辆。

可选的,当图像采集设备为目标车辆中的行车记录仪时,当通过行车记录仪采集到的图片检测到前方存在车辆时,再进一步确定车辆所在的区域,并执行控制操作(如减速)或提醒操作(如语音提醒用户前方车辆起步)。

可选的,当图像采集设备为目标车辆中的智能后视镜时,当通过智能后视镜采集到的图片检测到车辆存在后方车辆时,可以进一步确定后方车辆所在的位置以及行驶的速度,当目标车辆处于转向状态时,计算机设备检测到后方车辆所在的位置以及行驶的速度满足碰撞风险时,则可以控制目标车辆发出转向预警,以提示目标车辆中的控制用户以及后方车辆。

可选的,上述服务器可以是由多个物理服务器构成的服务器集群或者是分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等技术运计算服务的云服务器。

可选的,该系统还可以包括管理设备,该管理设备用于对该系统进行管理(如管理各个模块与服务器之间的连接状态等),该管理设备与服务器之间通过通信网络相连。可选的,该通信网络是有线网络或无线网络。

可选的,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网,但也可以是其他任何网络,包括但不限于局域网、城域网、广域网、移动、有限或无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中,使用包括超文本标记语言、可扩展标记语言等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层、传输层安全、虚拟专用网络、网际协议安全等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

图2是根据一示例性实施例示出的一种本车运动状态检测方法的流程图。该方法由计算机设备执行,该计算机设备可以是如图1中所示的目标车辆中的数据处理设备。如图2所示,该本车运动状态检测方法可以包括如下步骤:

步骤201,获取至少两帧原始图像。

可选的,该至少两帧原始图像可以是在指定时间内采集到的原始图像。

可选的,该至少两帧原始图像可以是本车前方的图像,即该原始图像可以是自身车辆的行车记录仪采集到的图像;或者该至少两帧原始图像可以是自身车辆侧后方的图像,即该原始图像还可以是自身车辆的智能后视镜中的图像采集设备所采集到的图像。

步骤202,对该至少两帧原始图像进行图像分割,分别获取至少两帧目标蒙版图。

其中,目标蒙版图包含道路上的其他可运动的车辆、行人等至少一种物体。目标蒙版图可以区分出原始图像中的车辆、行人的图像区域。

此时计算机设备可以将原始图像中的车辆、行人等对应图像区域识别出来,计算机设备再将图像区域中车辆、行人等目标的像素点确定为1,将图像区域中背景区域的像素点确定为0,从而生成目标蒙版图。

步骤203,将该至少两帧目标蒙版图融合,并对融合后的蒙版图中的各个像素求反,获得背景蒙版图。

可选的,将各帧目标蒙版图融合时,计算机设备可以将至少两帧目标蒙版图进行或操作,也就是说各帧目标蒙版图之间,相同位置的像素值进行或操作,当各个蒙版图在某同一位置的像素值有存在至少一次1的值时,融合后的蒙版图中该位置的像素值为1。

而当对融合后的蒙版图进行取反操作后得到背景蒙版图后,此时原始图像中的背景区域在背景蒙版图中的值取1,背景蒙版图中的像素点为0的区域代表着可能出现行人、骑行者、机动车等运动物体的区域。

步骤204,基于所述背景蒙版图以及该至少两帧原始图像,获取背景图像。

可选的,计算机设备可以将背景蒙版图与至少两帧原始图像进行乘积处理,从而将原始图像中的背景区域保留下来,筛除掉原始图像中可运动的其他物体的图像区域。

步骤205,对该背景图像执行运动状态检测,以获得自身车辆的运动状态。

计算机设备对背景图像执行运动状态检测时,由于背景图像中筛除掉了其他可运动车辆、行人等目标的区域,仅使用背景区域,提高了自身车辆运动状态的检测准确率。

综上所述,当需要对车辆的运动状态进行检测时,可以先获取到至少两帧原始图像,并基于至少一种图像特征,对至少两帧原始图像进行图像分割,分别获取目标蒙版图,计算机设备再将目标蒙版图融合并进行求反操作,得到背景蒙版图,此时背景蒙版图即指示的是去除原始图像中可移动的车辆、行人等目标后的背景图,包含比如不可移动路面标识、树木等静态物体的区域,通过多帧背景图可以判断本车相机的运动状态,去除可运动目标对于本车运动判断的干扰,从而提升了本车运动状态的准确性。

图3是根据一示例性实施例示出的一种本车运动状态检测方法的流程图。该方法由计算机设备执行,该计算机设备可以是如图1中所示的目标车辆中的数据处理设备。如图3所示,该本车运动状态检测方法可以包括如下步骤:

步骤301,获取至少两帧原始图像。

在本申请实施例的一种可能的实现方式中,该至少两帧原始图像为图像采集设备采集到的至少两帧连续的原始图像。

在本申请实施例的另一种可能的实现方式中,该至少两帧原始图像之间的采集时间间隔小于目标阈值。也就是说,该至少两帧原始图像是在目标阈值的时间内所采集到的。

步骤302,对该至少两帧原始图像进行图像分割,分别获取至少两帧目标蒙版图。

在一种可能的实现方式中,当获取到目标车辆上的图像采集设备所采集到的原始图像后,计算机设备可以将该原始图像经过图像分割算法得到的结果,得到区分出行人、骑行者、机动车,得出行人、骑行者、机动车的蒙版图。且上述图像分割算法可以为通过深度学习卷积神经网络语义分割或者实例分割算法任务。

在一种可能的实现方式中,针对每一帧原始图像,对该原始图像进行目标检测,获得目标检测框;

将该原始图像中位于目标检测框内的像素值确定为1,将该原始图像中位于目标检测框外的像素值确定为0,以获得该目标蒙版图。

步骤303,将该至少两帧目标蒙版图中的各个像素点,按照对应图像坐标进行或操作,获得该融合后的蒙版图。

当获取到至少两帧目标蒙版图后,则可以将目标蒙版图中的各个像素点,按照像素点对应的位置进行或操作,也就是将多帧目标蒙版图中,相同坐标处的像素值进行或操作,从而获得融合后的蒙版图。

此时任一帧蒙版图中出现行人、骑行者、机动车等运动物体的像素位置,在融合后的蒙版图中都为1,也就是说此时融合后的蒙版图中,取0的像素值的像素点构成的区域即为原始图像中的背景区域。

步骤304,对融合后的蒙版图中的各个像素求反,获得背景蒙版图。

当获取到融合后的蒙版图后,计算机设备则继续对融合后的蒙版图中的各个像素执行求反操作,也就是将值为1的像素点的像素值变换为0,将值为0的像素点的像素值变换为1,此时原始图像中的背景区域在背景蒙版图中的值取1,背景蒙版图中的像素点为0的区域代表着可能出现行人、骑行者、机动车等运动物体的区域。

请参考图4,其示出了本申请实施例涉及的一种背景蒙版图的获取流程图。如图4所示,当计算机设备采集到不同帧的原始图像后,可以通过图像分割的方式,将选择出的区域内的图像遮蔽,得到不同帧分别对应的蒙版图。计算机设备再将不同帧分别对应的蒙版图进行与操作,此时任一帧蒙版图中出现行人、骑行者、机动车等运动物体的像素位置,在融合后的蒙版图中都为1(即图4中的白色区域)。而求反后得到的背景蒙版图中,像素点为0的区域代表着可能出现行人、骑行者、机动车等运动物体的区域(即图4中的黑色区域)。

步骤305,基于该背景蒙版图以及该至少两帧原始图像,获取背景图像。

在一种可能的实现方式中,计算机设备针对每帧原始图像,分别与该背景蒙版图,按照像素点位置进行像素值乘积,获得至少两帧背景图像。

在另一种可能的实现方式中,该背景图像包括至少两帧背景轮廓图像;计算机设备针对每帧原始图像,对该原始图像进行灰度处理,获得灰度图;获取该灰度图中的各个像素点的梯度值,以获得该原始图像对应的梯度轮廓图;将该至少两帧原始图像分别对应的梯度轮廓图,分别与该背景蒙版图,按照像素点位置进行像素值乘积,获得至少两帧背景轮廓图像。

即在获取到至少两帧原始图像时,计算机设备还可以对每张图进行灰度处理,然后灰度图使用Sobel算子对目标灰度图求梯度,得到梯度轮廓图。

此时计算机设备将梯度轮廓图,组成两通道或多通道的轮廓图,然后与背景蒙版图相乘,也就是在轮廓图中,针对每一帧梯度轮廓图,与在背景蒙版图中值为1对应的区域保留原像素值,与在背景蒙版图中值为0对应的区域的像素值确定为0,从而在轮廓图中保留背景区域,删除可能处于运动状态的物体(如行人、骑行者、机动车)的图像区域。

步骤306,对该目标背景图像执行运动状态检测,以获得目标车辆的运动状态。

在一种可能的实现方式中,通过运动检测模型的第一分支,对所述背景图像进行行驶状态识别,确定所述自身车辆的目标行驶状态;所述行驶状态包括静止、前进以及后退中的一者;

通过运动检测模型的第二分支,对所述背景图像进行转向状态识别,确定所述自身车辆转向状态,所述转向状态包括直行、左转以及右转中的一者。

即计算机设备可以通过运动检测模型对本车运动状态进行分类,从而直接区分本车的运动状态,自身车辆的运动状态包括静止、前进、后退、直行、左转、右转状态的区分,从而组合得出本车的运动状态。

可选的,运动检测模型的训练过程中,可以准备包含静止、前进、后退,直行、左转、右转状态的连续片段素材以及相应的语义分割图。连续片段仅包含静止、前进、后退的一种状态,并标注直行、左转、右转状态,作为训练样本以及标注信息。

实际训练的数据准备过程中,将训练样本通过如步骤302至步骤305的方式生成样本轮廓图像,并且可以动态调整帧间间隔的大小,对前进和后退、左转和右转进行通道上的调换进行数据增强。

在运动检测模型中,可以存在两个分类分支,其中一个分支区分静止、前进、后退,另一个分支区分直行、左转、右转状态,训练过程中可以同时对两个分支进行训练。

当训练完成后,可以直接通过运动检测模型实现自身车辆的运动状态的预测时,此时计算机设备获取两个分支分别的状态(也就是转向状态与行驶状态),从而得到目标车辆的完整运动状态。

在另一种可能的实现方式中,计算机设备可以对所述背景图像进行光流检测,得到光流图,然后以过相机中心的垂线将所述背景图像划分左右两个区域,分别分析左右区域的光流图,从而区分自身车辆的运动状态。

其中,光流图识别模型可以为FlowNet、FlowNet2及其变种等框架。光流图识别模型的训练过程中,可以准备若干连续片段素材以及相应的语义分割图,使用自监督方式训练光流。

在另一种可能的实现方式中,计算机设备还可以通过相机姿态估计模型,估计本车相机运动的本征矩阵,直接得到本车的运动状态。在相机姿态估计模型的训练过程中,可以准备若干连续片段素材以及相应的语义分割图,再使用Monodepth2的方法训练深度以及相机运动的本征矩阵,推理时,仅使用相机姿态识别分支即可,输入多帧图,输出姿态本征矩阵,然后解析出相机的运动状态。

进一步的,当计算机设备(也就是目标车辆中的数据处理设备)检测到本车的运动状态后,可以实现前车起步预警以及转向报警功能中的至少一者。

在一种可能的实现方式中,当该原始图像为自身车辆前方的图像时,计算机设备根据该至少两帧图像,检测自身车辆的前方车辆的运动状态;

当检测到自身车辆的运动状态为静止状态,且该前方车辆的运动状态为远离自身车辆,生成前车起步预警信号,以指示自身车辆发生前车起步预警。

计算机设备可以获取原始图像经过目标检测算法并经过筛选得到的前方主目标(如前方车辆),根据相机标定得到前方目标与本车(即目标车辆)的实际距离以及相对速度;

计算机设备再执行如步骤301至步骤306所示方案以得到本车的运动状态,当检测到自身车辆处于静止状态时,如果前方车辆目标距离在一个设定距离以内,且设定时间以内逐渐远离,则出发前车起步预警;当本车处于前进或者后退状态时,则忽略前方主目标的运动,不触发前车起步。准确且灵敏的自身车判断,能够有效避免由于IMU(InertialMeasurement Unit,惯性测量单元)、GPS(Global Positioning System,全球定位系统)等信息不够灵敏或者缺失造成的前车起步误判,尤其是缓慢倒车造成前车起步误判。

在一种可能的实现方式中,当该目标原始图像为自身车辆侧后方的图像时,计算机设备根据该至少两帧原始图像,检测该图像中后方车辆的运动状态;该后方车辆的运动状态包括该后方车辆与自身车辆的相对位置以及相对速度;

当检测到自身车辆的运动状态为转向状态,且该后方车辆的相对位置以及相对速度中的至少一者满足碰撞条件,生成转向危险报警信号,以指示自身车辆发生转向危险报警。

也就是说,在比如智能后视镜中,通过识别后侧方运动目标、自身车转向状态,可以实现转向预警,提醒驾驶员转向是否危险。

即计算机设备可以获取智能后视镜采集到的原始图像,经过目标检测算法得到的后侧方目标,根据相机标定得到后侧方目标与本车的实际距离以及相对速度;

计算机设备再基于上述本车运动状态检测方法得到的结果,当本车处于前进或者后退且转向时,若在一段设定的时间内,后侧目标与本车位置距离小于设定阈值、或者后侧目标接近本车速度大于设定阈值,则触发转向危险报警。

综上所述,当需要对车辆的运动状态进行检测时,可以先获取到至少两帧原始图像,并基于至少一种图像特征,对至少两帧原始图像进行图像分割,分别获取目标蒙版图,计算机设备再将目标蒙版图融合并进行求反操作,得到背景蒙版图,此时背景蒙版图即指示的是去除原始图像中可移动的车辆、行人等目标后的背景图,包含比如不可移动路面标识、树木等静态物体的区域,通过多帧背景图可以判断本车相机的运动状态,去除可运动目标对于本车运动判断的干扰,从而提升了本车运动状态的准确性。

图5是根据一示例性实施例示出的一种本车运动状态检测装置的结构方框图。该本车运动状态检测装置包括:

图像获取模块501,用于获取至少两帧原始图像;

目标蒙版图获取模块502,用于对所述至少两帧原始图像进行图像分割,分别获取至少两帧目标蒙版图;

背景蒙版图获取模块503,用于将所述至少两帧目标蒙版图融合,并对融合后的蒙版图中的各个像素求反,获得背景蒙版图;

背景图像获取模块504,用于基于所述背景蒙版图以及所述至少两帧原始图像,获取背景图像;

运动状态检测模块505,用于对所述背景图像执行运动状态检测,以获得自身车辆的运动状态。

在一种可能的实现方式中,所述目标蒙版图获取模块,在于,

针对每一帧原始图像,进行语义分割或者实例分割,获得包括车辆、行人等的可运动目标的蒙版图,其中目标区域为1,背景区域为0。

在另一种可能的实现方式中,所述目标蒙版图获取模块,还在于,

对所述原始图像进行目标检测,将所述原始图像中位于目标检测框内的像素值确定为1,将所述原始图像中位于目标检测框外的像素值确定为0,以获得所述目标蒙版图。

在一种可能的方式中,所述背景图像获取模块,在于,

针对每一帧原始图像,使用获得的目标蒙版图与其相乘,得到每一帧的背景图像,最终获得至少两帧的背景图像。

在另一种可能的实现方式中,所述目标背景图像包括至少两帧背景轮廓图像;

所述背景图像获取模块,用于,

针对每帧原始图像,对所述原始图像进行灰度处理,获得灰度图;

获取所述灰度图中的各个像素点的梯度值,以获得所述原始图像对应的梯度轮廓图;

将所述至少两帧原始图像分别对应的梯度轮廓图,分别与所述背景蒙版图,按照像素点位置进行像素值乘积,获得至少两帧背景轮廓图像。

在一种可能的实现方式中,所述运动状态检测模块,在于,

通过运动检测模型的第一分支,对所述自身车辆的行驶状态进行检测,确定所述自身车辆的行驶状态;所述行驶状态包括静止、前进以及后退中的一者;

通过运动检测模型的第二分支,对所述自身车辆的转向状态进行检测,确定所述自身车辆的转向状态,所述转向状态包括直行、左转以及右转中的一者。

在另一种可能的实现方式中,所述运动状态检测模块,还在于,

通过对背景图像进行光流检测,然后分别分析左右区域的光流图,从而区分目标车辆的运动状态。

在另一种可能的实现方式中,所述运动状态检测模块,还在于,

通过相机姿态估计模型,估计本车相机运动的本征矩阵,直接解析出本车的运动状态。

在一种可能的实现方式中,当所述原始图像为所述自身车辆前方的图像时,所述装置还包括:

前车状态获取模块,用于根据所述至少两帧原始图像,确定自身车辆的前方车辆的运动状态;

前车起步预警模块,用于当检测到所述自身车辆的运动状态为静止状态,且所述前方车辆的运动状态为远离所述自身车辆,生成前车起步预警信号,以指示所述自身车辆发生前车起步预警。

在一种可能的实现方式中,当所述原始图像为自身车辆侧后方的图像时,所述装置还包括:

后车状态获取模块,用于根据所述至少两帧原始图像,检测所述原始图像中后方车辆的运动状态;所述后方车辆的运动状态包括所述后方车辆与所述自身车辆的相对位置以及相对速度;

转向危险报警模块,用于当检测到所述自身车辆的运动状态为转向状态,且所述后方车辆的相对位置以及相对速度中的至少一者满足碰撞条件,生成转向危险报警信号,以指示所述自身车辆发生转向危险报警。

综上所述,当需要对车辆的运动状态进行检测时,可以先获取到至少两帧目标图像,并基于至少一种图像特征,对至少两帧目标图像进行图像分割,分别获取目标蒙版图,计算机设备再将目标蒙版图融合并进行求反操作,得到背景蒙版图,此时背景蒙版图即指示的是去除图像中可移动的车辆、行人等目标后的背景图,包含比如不可移动路面标识、树木等静态物体的区域,通过多帧背景图可以判断本车相机的运动状态,去除可运动目标对于本车运动判断的干扰,从而提升了本车运动状态的准确性。

图6示出了本申请一示例性实施例示出的计算机设备600的结构框图。该计算机设备可以实现为本申请上述方案中的服务器。所述计算机设备600包括中央处理单元(Central Processing Unit,CPU)601、包括随机存取存储器(Random Access Memory,RAM)602和只读存储器(Read-Only Memory,ROM)603的系统存储器604,以及连接系统存储器604和中央处理单元601的系统总线605。所述计算机设备600还包括用于存储操作系统609、应用程序610和其他程序模块611的大容量存储设备606。

所述大容量存储设备606通过连接到系统总线605的大容量存储控制器(未示出)连接到中央处理单元601。所述大容量存储设备606及其相关联的计算机可读介质为计算机设备600提供非易失性存储。也就是说,所述大容量存储设备606可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory,CD-ROM)驱动器之类的计算机可读介质(未示出)。

不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read Only Memory,EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-OnlyMemory,EEPROM)闪存或其他固态存储其技术,CD-ROM、数字多功能光盘(DigitalVersatile Disc,DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器604和大容量存储设备606可以统称为存储器。

根据本公开的各种实施例,所述计算机设备600还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备600可以通过连接在所述系统总线605上的网络接口单元607连接到网络608,或者说,也可以使用网络接口单元607来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括至少一条计算机程序,所述至少一条计算机程序存储于存储器中,中央处理单元601通过执行该至少一条计算机程序来实现上述各个实施例所示的方法中的全部或部分步骤。

在一示例性实施例中,还提供了一种计算机可读存储介质,用于存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如,该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。

在一示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述图2或图3任一实施例所示方法的全部或部分步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。

应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

技术分类

06120114731180