基于双目摄像机的盲区检测方法、系统及存储介质

技术领域

本发明涉及车辆盲区检测技术领域，尤涉及一种基于双目摄像机的盲区检测方法、系统及存储介质。

背景技术

现有技术方案中，盲区检测(BSD)是车载安全辅助驾驶的重要功能之一。目前盲区检测的技术方案中大致分为两种，一种是基于激光雷达、毫米波雷达之类的传感器，在车辆盲区范围内扫描来判断是否有目标物体存在。另一种则是基于视觉传感器，在车辆的盲区外设置摄像机，对行人、车辆等疑似目标物体，用图像算法的方式进行判别。其中，基于激光、雷达的传感器的BSD的技术问题方案至少存在如下缺点：1)传感器的造价较为昂贵，大多数消费者难以承受高昂的价格；2)传感器的安装较为复杂，车载安装需要花费高昂的人力成本以及后期的维护成本。而基于单目摄像机的BSD技术方案则是在车载的右侧盲区的前端或者后端安装摄像机，至少存在着如下缺点：1)覆盖范围有限，容易导致漏报；2)单目测距的精确度不够稳定，容易导致漏报误报；3)容易受到强光影响，照成精度下降。

因此，如此，导致驾驶员无法及时获取车辆当前位置周边的状况，容易造成安全隐患，不利于车辆的安全驾驶。

发明内容

因此，本发明要解决的技术问题在于克服现有技术方案中驾驶员无法及时获取车辆当前位置周边的状况，容易造成安全隐患，不利于车辆的安全驾驶的现象，从而提供一种基于双目摄像机的盲区检测的技术方案。

第一方面，根据本发明实施例提供一种基于双目摄像机的盲区检测方法，应用于安装有前置摄像机、后置摄像机两个摄像机的车辆，包括：

采用预先训练好的模型确定前置摄像机、后置摄像机两个摄像机的灭点及车道线；

基于所述灭点，检测预设范围内障碍物与车辆的相关侧边的距离；

根据障碍物与车辆的相关侧边的距离生成并发送相应的报警信息；

其中，所述相关侧边为前置摄像机、后置摄像机两个摄像机所在的车辆的侧边。

优选地，基于所述灭点，检测预设范围内障碍物与车辆的相关侧边的距离，包括：

根据前置摄像机的仰俯角、后置摄像机的仰俯角、障碍物底边与相机光轴间的夹角、前置摄像机的垂直视场角、后置摄像机的垂直视场角、灭点在图像中的坐标、障碍物在图像中的平面坐标确定障碍物与前后两个摄像机的纵向距离及横向距离。

优选地，所述根据前置摄像机的仰俯角、后置摄像机的仰俯角、障碍物底边与相机光轴间的夹角、前置摄像机的垂直视场角、后置摄像机的垂直视场角、灭点在图像中的坐标、障碍物在图像中的平面坐标确定障碍物与前置摄像机、后置摄像机的纵向距离及横向距离，包括：

采用第一数学模型(1-1)计算障碍物与前置摄像机的纵向距离、障碍物与后置摄像机的纵向距离；

采用第二数学模型(1-2)计算障碍物与前置摄像机的横向距离、障碍物与后置摄像机的横向距离；

其中，第一数学模型为：

h＝Z

第二数学模型为：

其中，

优选地，所述采用预先训练好的模型确定前置摄像机、后置摄像机的灭点及车道线，包括：

基于前置摄像机和后置摄像机计算预设灭点；

基于所述预设灭点，分别求取同一障碍物距离前置摄像机、后置摄像机的第一水平距离、第二水平距离；

若第一水平距离与第二水平距离的差值小于预设值，则确定所述预设灭点为确定的灭点。

优选地，所述预先训练好的模型的损失函数为：

L(X，Y)＝L

优选地，所述根据障碍物与车辆的距离生成并发送相应的报警信息，包括：

在位于车头第一距离到位于车位后第二距离范围内，

若所述障碍物距离前置摄像机、后置摄像机所在侧边的水平距离小于1m，则发送一级报警信息；

若所述障碍物距离前置摄像机、后置摄像机所在侧边的水平距离大于1m且小于2m，则发送二级报警信息；

若所述障碍物距离前置摄像机、后置摄像机所在侧边的水平距离大于2m且小于3m，则发送三级报警信息。

第二方面，根据本发明实施例提供一种基于双目摄像机的盲区检测设备，包括：

灭点、车道线确定模块，用于采用预先训练好的模型确定前置摄像机、后置摄像机两个摄像机的灭点及车道线；

距离检测模块，用于基于所述灭点，检测预设范围内障碍物与车辆的相关侧边的距离；

报警模块，用于根据障碍物与车辆的相关侧边的距离生成并发送相应的报警信息；

其中，所述相关侧边为前置摄像机、后置摄像机所在的侧边。

优选地，所述距离检测模块，还用于：

根据前置摄像机的仰俯角、后置摄像机的仰俯角、障碍物底边与相机光轴间的夹角、前置摄像机的垂直视场角、后置摄像机的垂直视场角、灭点在图像中的坐标、障碍物在图像中的平面坐标确定障碍物与前后两个摄像机的纵向距离及横向距离。

第三方面，根据本发明实施例提供一种基于双目摄像机的盲区检测设备，包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行上述任一项所述的基于双目摄像机的盲区检测方法。

第四方面，根据本发明实施例提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行上述任一项所述的基于双目摄像机的盲区检测方法。

本发明实施例提供的基于双目摄像机的盲区检测方法、设备及一种存储介质，至少具有如下有益效果：

本发明实施例提供的基于双目摄像机的盲区检测方法，采用预先训练好的模型确定前后两个摄像机的灭点及车道线；基于所述灭点，检测预设范围内障碍物与车辆的相关侧边的距离；因此，本方案，可对车辆车头前方及车位后方一定区域内车辆侧边的盲区进行检测，对检测到的障碍物进一步确定距离车侧边的距离，进而发送相应的报警信息，因此，本方案，可有效让驾驶员全面知晓当前车辆周边的状况，进而有效保障了车辆及周边环境的安全，有效保障了安全驾驶。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中车辆安装有前置摄像机、后摄像机双目摄像机的示意图；

图2为本发明实施例提供的基于双目摄像机的盲区检测方法的流程图；

图3为本发明实施例中基于前置BSD摄像机、后置BSD摄像机确定的灭点P的示意图；

图4为本发明实施例中确定障碍物与前后两个摄像机的纵向距离及横向距离的示意图；

图5为本发明实施例中根据障碍物的位置划分报警区域的示意图；

图6为本发明实施例中提供的基于双目摄像机的盲区检测设备的模块图；

图7为本发明实施例提供的基于双目摄像机的盲区检测设备的总线图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

针对车辆而言，对盲区内的障碍物进行有效检测，并根据检测到的障碍物与车辆之间的距离发出相应的预警信息，可有效降低车辆撞到障碍物发生误撞的概率，有效提高了人身及车辆安全，基此，本发明实施例提供一种基于双目摄像机的盲区检测方法、系统及存储介质。

实施例1

本发明实施例提供一种基于双目摄像机的盲区检测方法，应用于参见图1所示安装有前、后两个摄像机的车辆，在图1中，货车的车厢的前端安装有前置BSD摄像机，后端安装有后置BSD摄像机，同时安装有声光报警器作为预警装置。声光报警装置根据基于前置BSD摄像机、后置BSD摄像机的检测结果发出报警信息或者不发报警信息，当发送报警信息时，根据障碍物与前置摄像机、后置摄像机共同所在的侧边的距离情况，发送相应的报警信息，如一级报警信息、二级报警信息及三级报警信息等。

本申请实施例提供的基于双目摄像机的盲区检测方法，参见图2所示，包括：

步骤S12、采用预先训练好的模型确定前置摄像机、后置摄像机两个摄像机的灭点及车道线；

在本发明实施例中，参见图3所示，基于预先训练好的模型确定前置BSD摄像机、后置BSD摄像机的灭点P，在此指出，前置BSD摄像机、后置BSD摄像机检测出的多条车道线的延长点定义为灭点P。优选地，可以多次迭代求解平均灭点，确定为目标灭点。

步骤S14、基于所述灭点，检测预设范围内障碍物与车辆的相关侧边的距离；

在本发明实施例中，基于所述灭点，检测预设范围内障碍物与车辆的相关侧边的距离，包括：

根据前置摄像机的仰俯角、后置摄像机的仰俯角、障碍物底边与相机光轴间的夹角、前置摄像机的垂直视场角、后置摄像机的垂直视场角、灭点在图像中的坐标、障碍物在图像中的平面坐标确定障碍物与前置摄像机/后置摄像机的纵向距离及横向距离，其中，前后两个摄像机指前置摄像机和后置摄像机，而摄像机可以并不仅限于BSD摄像机。

在本发明实施例中，障碍物与前置BSD摄像机的距离、障碍物与后置BSD摄像机的距离以及障碍物与前置BSD摄像机、后置BSD摄像机所在的车辆侧边的横向距离可以根据前置摄像机的仰俯角、后置摄像机的仰俯角、障碍物底边与前、后摄像机的光轴间的夹角、前置摄像机的垂直视场角、后置摄像机的垂直视场角、灭点在图像中的坐标、障碍物在图像中的平面坐标计算出来。具体的计算方法如下：

参见图4所示，θ为前置摄像机的仰俯角或后置摄像机的仰俯角，β为障碍物底边与前置摄像机光轴/后置摄像机光轴的夹角，α为前置摄像机垂直视场角/后置摄像机垂直视场角的一半，p(u

在本发明实施例中，在计算出障碍物与前置BSD摄像机的纵向距离后，根据前置BSD摄像机与车头的距离可以计算障碍物与车头的距离，同理，在计算出后置BSD摄像机与障碍物的距离后，根据后置BSD摄像机与车尾的距离确定障碍物与车尾的距离，进而根据确定的障碍物与车头、车尾的距离发送相应的报警信息。

步骤S16、根据障碍物与车辆的相关侧边的距离生成并发送相应的报警信息；

其中，所述相关侧边为前、后两个摄像机所在的侧边。

在本发明实施例中，所述根据障碍物与车辆的相关侧边的距离生成并发送相应的报警信息，包括：

在位于车头第一距离到位于车位后第二距离范围内，

1)若所述障碍物与前、后摄像机所在侧边的水平距离小于1m，则发送一级报警信息；

2)若所述障碍物与前、后摄像机所在侧边的水平距离大于1m且小于2m，则发送二级报警信息；

3)若所述障碍物与前、后摄像机所在侧边的水平距离大于2m且小于3m，则发送三级报警信息。

在本发明实施例中，检测范围为车头前方一定距离到车头后方某个距离范围内，如车头前方1.5m到车头后方1.5m范围内，若检测到的障碍物与前置BSD摄像机、后置BSD摄像机所在的侧边的水平距离小于1m，则发送一级报警信息；其中，一级报警信息为最高等级的风险报警信息；而若检测到障碍物与前置BSD摄像机、后置BSD摄像机所在的侧边的水平距离大于1m且小于2m，则发送二级报警信息，二级报警信息是风险等级仅次于一级报警信息的报警信息；而当检测到障碍物与前置BSD摄像机、后置BSD摄像机所在的侧边的水平距离大于2m且小于3m，则发送三级报警信息，三级报警信息是较二级报警信息风险再低一级的报警信息。

具体参见图5中，当检测到障碍物位于一级报警区域时，则发送一级报警信息，当检测到障碍物位于二级报警区域时，则发送二级报警信息，当检测到障碍物位于三级报警区域时，则发送三级报警信息。作为一种可选实施例，一级报警信息设为更容易引起察觉，如报警声音更大，而二级报警信息次之，三级报警信息最小等。或者直接报出当前的风险等级，进而便于驾驶员及时了解盲区中的障碍物与当前车辆的位置关系，进而便于规避障碍物，从而有效保障了驾驶员安全驾驶车辆。

在本发明实施例中，所述采用预先训练好的模型确定前后两个摄像机的灭点及车道线，包括：

1)基于前置BSD摄像机和后置BSD摄像机计算预设灭点；

在本发明实施例中,采用CNN网络模型前置BSD摄像机和后置BSD摄像机计算灭点，具体方法可为：

①第一部分是深度网络提取特征，给获取的图像的每一个像素给予权重，该权重表示的就是像素属于该车道线的概率；

②第二部分就是根据第一部分提取的权重，以ground-truth中的曲线为基准，通过方向传播修正网络参数，输出的就是拟合出来的车道线曲线参数；

③第三部分则是回归得到的灭点。若当前拟合出来的车道线(小于等于4条)，若此时回归到的当前帧的灭点与拟合出的车道线的相交的距离较为近(在设定的偏差的阈值)，则此时的当前帧的灭点检测成功，反之则当前帧的灭点检测失败。

2)基于所述预设灭点，分别求取同一障碍物距离前置BSD摄像机、后置BSD摄像机的第一水平距离、第二水平距离；

3)若第一水平距离与第二水平距离的差值小于预设值，则确定所述预设灭点为确定的灭点。

在本发明实施例中，所述预先训练好的模型的损失函数为：

L(X，Y)＝L

实施例2

相应于上一实施例提供的基于双目摄像机的盲区检测方法，本发明实施例提供一种基于双目摄像机的盲区检测设备，参见图6所示，包括：

灭点、车道线确定模块61，用于采用预先训练好的模型确定前置摄像机、后置摄像机两个摄像机的灭点及车道线；

距离检测模块62，用于基于所述灭点，检测预设范围内障碍物与车辆的相关侧边的距离；

报警模块63，用于根据障碍物与车辆的相关侧边的距离生成并发送相应的报警信息；

其中，所述相关侧边为前、后两个摄像机所在的侧边。

优选地，所述距离检测模块62，还用于：

根据前置摄像机的仰俯角、后置摄像机的俯仰角、障碍物底边与相机光轴间的夹角、前置摄像机的垂直视场角、后置摄像机的垂直视场角、灭点在图像中的坐标、障碍物在图像中的平面坐标确定障碍物与前后两个摄像机的纵向距离及横向距离。

进一步地，所述距离检测模块62根据前置摄像机的仰俯角、后置摄像机的仰俯角、障碍物底边与相机光轴间的夹角、前置摄像机的垂直视场角、后置摄像机的垂直视场角、灭点在图像中的坐标、障碍物在图像中的平面坐标确定障碍物与前置摄像机、后置摄像机的纵向距离及横向距离，包括：

采用第一数学模型(1-1)计算障碍物与前置摄像机的纵向距离、障碍物与后置摄像机的纵向距离；

采用第二数学模型(1-2)计算障碍物与前置摄像机的横向距离、障碍物与后置摄像机的横向距离；

其中，第一数学模型为：

h＝Z

第二数学模型为：

其中，

优选地，所述灭点、车道线检测模块61，还用于：

基于前置摄像机和后置摄像机计算预设灭点；

基于所述预设灭点，分别求取同一障碍物距离前置摄像机、后置摄像机的第一水平距离、第二水平距离；

若第一水平距离与第二水平距离的差值小于预设值，则确定所述预设灭点为确定的灭点。

优选地，灭点、车道线确定模块61采用的预先训练好的模型的损失函数为：

L(X，Y)＝L

优选地，所述报警模块63，还用于：

在位于车头第一距离到位于车位后第二距离范围内，

若所述障碍物距离前置摄像机、后置摄像机所在侧边的水平距离小于1m，则发送一级报警信息；

若所述障碍物距离前置摄像机、后置摄像机所在侧边的水平距离大于1m且小于2m，则发送二级报警信息；

若所述障碍物距离前置摄像机、后置摄像机所在侧边的水平距离大于2m且小于3m，则发送三级报警信息。

作为一个实施例，所述距离检测模块62，还用于：

根据前置摄像机的仰俯角、后置摄像机的仰俯角、障碍物底边与相机光轴间的夹角、前置摄像机的垂直视场角、后置摄像机的垂直视场角、灭点在图像中的坐标、障碍物在图像中的平面坐标确定障碍物与前后两个摄像机的纵向距离及横向距离。

实施例3

本实施例提供了一种基于双目摄像机的盲区检测设备，如图7所示，该基于双目摄像机的盲区检测设备包括处理器701和存储器702，其中处理器701和存储器702可以通过总线或者其他方式连接，图5中以通过总线连接为例。

处理器701可以为中央处理器(Central Processing Unit，CPU)也可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、图形处理器(GraphicsProcessing Unit，GPU)、嵌入式神经网络处理器(Neural-network Processing Unit，NPU)或者其他专用的深度学习协处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器702作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中基于双目摄像机的盲区检测方法对应的程序指令/模块(如图6所示的灭点、车道线确定模块61，距离检测模块62，报警模块63)。处理器701通过运行存储在存储器702中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例2中的基于双目摄像机的盲区检测方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器701所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至处理器701。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器702中，当被所述处理器701执行时，执行如图2所示基于双目摄像机的盲区检测方法。

在本实施例中，存储器702存储有基于双目摄像机的盲区检测方法的程序指令或模块，处理器701执行存储在存储器702内的程序指令或模块时，采用预先训练好的模型确定前后两个摄像机的灭点及车道线；基于所述灭点，检测预设范围内障碍物与车辆的相关侧边的距离；根据障碍物与车辆的距离远近发送相应的报警信息；所述相关侧边为前、后两个摄像机所在的侧边。可有效让驾驶员全面知晓当前车辆周边的状况，进而有效保障了车辆及周边环境的安全，有效保障了安全驾驶。

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的标准动态监测方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、设备或计算机可读存储介质均可涉及或包含计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。