车辆智能驾驶的单目测距方法、装置、设备、介质及车辆

技术领域

本发明涉及车辆智能驾驶技术领域，尤其涉及一种车辆智能驾驶的单目测距方法、装置、设备、介质及车辆。

背景技术

智能驾驶辅助系统（ADAS）中，利用安装在车内的传感器，随时感知周围环境，采集数据，识别、检测和跟踪静态和动态物体，并结合导航仪地图数据进行系统计算和分析，使驾驶员提前意识到可能发生的危险，从而使驾驶员提前意识到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。其中，前方车辆测距是智能驾驶辅助系统中的基本需求之一，常应用于车辆的自适应巡航ACC，自动紧急制动AEB等功能，因此，对前方车辆距离计算时，对其计算结果准确性有较高的要求。

现有基于双目视觉系统的测距方法主要基于两相机间的视差计算来估算场景中障碍物的距离，此类方法计算量大，在保证准确性的同时，对处理单元计算能力要求高，并且要求两个相机水平同轴，光轴平行，采集同步且曝光参数一致等，实际应用时具有较大的局限性，另外，设置的两个相机以及高算力的处理单元实现成本大。

发明内容

本发明要解决的技术问题是：为了解决现有技术中的测距方法无法兼顾测量精度、应用局限性以及成本的技术问题，本发明提供了一种车辆智能驾驶的单目测距方法，提高了测量准确性，且使用不受局限，实现成本低。

本发明解决其技术问题所采用的技术方案是：一种车辆智能驾驶的单目测距方法，包括以下步骤：

步骤S1：从车载单目摄像头拍摄的视频流中按帧读取图像信息；

步骤S2：将所述图像信息输入至第一卷积神经网络模型检测，得到车辆实例分割图和深度图，所述车辆实例分割图内包括至少一个目标物的检测框；

步骤S3：提取每个所述目标物检测框对应的矩形框，根据所述矩形框对所述车辆实例分割图进行分割，获取所述目标物对应的感兴趣区域图，将所述感兴趣区域图输入至第二卷积神经网络模型检测，获取所述目标物的信息；

其中，所述目标物的信息包括：目标物类别、实际高度和所述目标物在图像中高度；

步骤S4：根据所述目标物的检测框和所述深度图，提取深度ROI图，通过聚类计算模型计算所述深度ROI图中像素点的最小距离，获得所述像素点的坐标s(

步骤S5：结合所述目标物的信息和所述像素点的坐标s(

步骤S6：将所述第一距离D1和所述第二距离D2进行融合处理计算，得到最终真实空间下所述车载单目摄像头距离所述目标物的距离。

进一步，具体地，在所述步骤S3中提取每个所述目标物检测框对应的矩形框具体包括以下步骤：

S31：建立像素坐标系

S32：获取所述目标物的检测框的上边界点(

S33：根据所述上边界点、所述下边界点、所述左边界点和所述右边界点的坐标绘制所述目标物检测框的矩形框，所述目标物在图像中高度为

进一步，具体地，在所述步骤S4中所述聚类计算模型包括：

S41：设所述深度ROI图中有n个像素点，初始计算时，每个像素点自为一个簇S，所述像素点对应的深度值为d

S42：计算每两个簇之间的距离，将距离最近的两个簇合并为一个簇；

S43：重复所述步骤S42，直至每两个簇之间的距离大于阈值T；

S44：分别统计两个簇中的所有像素点的数量，得到像素点数量最多的簇S

其中，当所述最小深度值d

或当所述最小深度值d

进一步，具体地，在所述步骤S5中所述几何测距模型包括：

S51：以所述车载单目摄像头为原点建立相机坐标系O-XYZ，垂直于所述像素坐标系

S52：在所述像素坐标系

；

其中，

进一步，具体地，所述步骤S6具体包括：获取所述第一距离D1的标准差σ1，以及所述第二距离D2的标准差σ2，并计算距离融合标准差，所述距离融合标准差的计算公式为：

；

根据所述距离融合标准差最终真实空间下所述车载单目摄像头距离所述目标物的距离D3，计算公式为：

。

进一步，具体地，还采用卡尔曼滤波算法对最终真实空间下所述车载单目摄像头距离所述目标物的距离D3处理。

一种采用如上所述的车辆智能驾驶的单目测距方法的车辆智能驾驶的单目测距装置，所述单目测距装置包括：

第一获取模块：从车载单目摄像头拍摄的视频流中按帧读取图像信息；

第一检测模块：将所述图像信息输入至第一卷积神经网络模型检测，得到车辆实例分割图和深度图，所述车辆实例分割图内包括至少一个目标物的检测框；

第二检测模块：提取每个所述目标物检测框对应的矩形框，根据所述矩形框对所述车辆实例分割图进行分割，获取所述目标物对应的感兴趣区域图，将所述感兴趣区域图输入至第二卷积神经网络模型检测，获取所述目标物的信息；

其中，所述目标物的信息包括：目标物类别、实际高度和所述目标物在图像中高度；

第一计算模块：根据所述目标物的检测框和所述深度图，提取深度ROI图，通过聚类计算模型计算所述深度ROI图中像素点的最小距离，获得所述像素点的坐标s(

第二计算模块：结合所述目标物的信息和所述像素点的坐标s(

融合计算模块：所述第一距离D1和所述第二距离D2进行融合处理得到最终真实空间下所述车载单目摄像头距离所述目标物的距离。

一种计算机设备，包括：

处理器；

存储器，用于存储可执行指令；

其中，所述处理器用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现如上所述的车辆智能驾驶的单目测距方法。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得处理器实现如上所述的车辆智能驾驶的单目测距方法。

一种车辆，包括如上所述的车辆智能驾驶的单目测距装置。

本发明的有益效果是：

通过设置的车载单目摄像头拍摄的视频流，相对于现有技术中基于两相机间的视差计算来估算场景中障碍物的距离，本申请使用不受局限，且实现成本低；

通过对原图像信息处理后，通过聚类算法模型计算第一距离，能够有效去除了外部干扰，第一距离的结果精度高，结合获取的实际数据，通过几何测距模型计算第二距离，第二距离的结果精度高，再对第一距离和第二距离融合计算，最终获取真实空间下的与前车的距离，相对于现有技术的单目测距，本发明的测量准确性高，且处理单元计算能力要求相对较低，进一步降低了实现成本。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明实施例一的流程示意图。

图2是本发明实施例一的图像信息示意图。

图3是本发明实施例一的车辆实例分割图的示意图。

图4是本发明实施例一的深度图的示意图。

图5是本发明实施例一的目标物的检测框在像素坐标系的示意图。

图6是本发明实施例一的部分深度ROI图

图7是本发明实施例一计算两个簇之间的距离示意图。

图8是本发明实施例一几何测距模型的原理示意图。

图9是本发明实施例二的结构示意图。

图10是本发明实施例三的硬件结构示意图

图中20、单目测距装置；200、第一获取模块；201、第一检测模块；202第二检测模块；203第一计算模块；204、第二计算模块；205、融合计算模块；

10、计算机设备；1002、处理器；1004存储器；1006、传输装置。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1：本申请实施例提供了一种车辆智能驾驶的单目测距方法，包括以下步骤：

步骤S1：从车载单目摄像头拍摄的视频流中按帧读取图像信息，如图2所示，通过设置的车载单目摄像头拍摄的视频流，相对于现有技术中基于两相机间的视差计算来估算场景中障碍物的距离，本申请使用不受局限，适用范围广，实现成本低；

步骤S2：将图像信息输入至第一卷积神经网络模型检测，得到车辆实例分割图和深度图，车辆实例分割图内包括至少一个目标物的检测框；

第一卷积神经网络采用但不限于SOLOv2分割网络结构，以获取车辆实例分割图；第一卷积神经网络内设置深度图预测分支，以获取深度图，第一卷积神经网络实现图像分割的精度高、速度快。若前方路况仅有一个车辆时，车辆实例分割图内仅有一个目标物的检测框，若前方路况仅有两个车辆时，车辆实例分割图内有两个目标物的检测框，车辆实例分割图内目标物的检测框数量与前方路况车辆数量相同，如图3所示。深度用于表示前方路况场景各点相对于车载单目摄像头的距离，即深度图中的每一个像素值表示前方路况场景中某一点与车载单目摄像头之间的距离。深度图是指以物体纵向深度值代替灰度图像的灰度级形成的图像，深度图的长度和宽度与图像信息的长度和宽度相同。图4为本实施例的一深度图的示意图，在图4中，颜色越深距离自车距离越近，颜色越浅距离自车距离越远。

步骤S3：提取每个目标物检测框对应的矩形框，根据矩形框对车辆实例分割图进行分割，获取目标物对应的感兴趣区域图，将感兴趣区域图输入至第二卷积神经网络模型检测，获取目标物的信息；其中，目标物的信息包括：目标物类别、实际高度和目标物在图像中高度；

在本实施例中，如图5所示，步骤S3中提取每个目标物检测框对应的矩形框具体包括以下步骤：

S31：建立像素坐标系

S32：获取目标物的检测框的上边界点(

S33：根据上边界点、下边界点、左边界点和右边界点的坐标绘制目标物检测框的矩形框，目标物在图像中高度为

在本实施例中，基于图像分割算法根据绘制的矩形框对车辆实例分割图进行分割，获取目标物对应的感兴趣区域图(ROI)，通过第二卷积神经网络模型检测得到目标物类型，第二卷积神经网络采用但不限于ShuffleNetv2网络结构，提高了对目标物分类的准确度，且处理速度快，目标物的类别包括但不限于小轿车、SUV或公交车，再根据目标物的类别获取目标物对应的实际高度，如：小轿车的实际高度为1.5m，SUV的实际高度为1.7m，公交车的高度为3m，以此进一步提高计算结果的准确性。

步骤S4：根据目标物的检测框和深度图，提取深度ROI图，通过聚类计算模型计算深度ROI图中像素点的最小距离，得到像素点的最小距离对应的像素点的坐标s(

在本实施例中，步骤S4中聚类计算模型包括：

S41：设深度ROI图中有An个像素点，初始计算时，每个像素点自为一个簇S，像素点对应的深度值为d

S42：计算每两个簇之间的距离，将距离最近的两个簇合并为一个簇，具体的，如图7所示，令两个簇分别为S

S43：重复步骤S42，直至每两个簇之间的距离大于阈值T；

S44：分别统计两个簇中的所有像素点的数量，得到像素点数量最多的簇S

其中，当最小深度值d

需要说明的，车载单目摄像头采集图像时，目标物由于位置的远近关系会使得近处的目标物遮挡远处的目标物，从而使得距离近处的目标物的轮廓相对完整，而较远的目标物的轮廓会出现缺失，根据深度能够获取目标物的前后关系，以计算车载单目摄像头至远处的目标物的距离，深度图中有遮挡为例具体说明，图6为一16*16的一部分深度ROI图，A区域像素为近处目标物的深度，B区域像素为远处目标物的深度，黑色的像素点为噪点。在计算远处目标物距离时，需要避免噪点以及近处目标物带来的计算干扰，采用本实施例的聚类计算模型得到三个簇，分别为A区域的簇S

步骤S5：结合目标物的信息和像素点坐标s(

在本实施例中，如图8所示，步骤S5中几何测距模型包括：

S51：以车载单目摄像头为原点建立相机坐标系O-XYZ，垂直于像素坐标系

S52：在像素坐标系

；

其中，

步骤S6：将第一距离D1和第二距离D2进行融合处理计算，得到最终真实空间下车载单目摄像头距离目标物的距离。

具体的，获取第一距离D1的标准差σ1，以及第二距离D2的标准差σ2并计算距离融合标准差，距离融合标准差的计算公式为：

；

根据距离融合标准差最终真实空间下车载单目摄像头距离目标物的距离D3，计算公式为：

。

在本实施例中，还采用卡尔曼滤波算法3处理最终真实空间下车载单目摄像头距离目标物的距离D，处理后得到的距离进一步提高测距方法的测量精度。

在本实施例中，在执行本发明的测距方法前会对阈值T计算，并对计算结果存储，具体的，在实验场景环境，目标物由于位置的远近关系，会使得近处的目标物遮挡远处的目标物，该场景环境为本实例的一特殊情况，当有遮挡时，采用高精度激光测距仪分别测出两目标物与自车的距离分别为L

在本实施例中，目标物距离越远，测距误差越大。在实验场景环境，利用高精度激光测距仪器测出与目标物的真实距离D

；

将1000组[D

；

需要说明的是，标准差σ1和标准差σ2的计算由于复杂及庞大，在本实施例中通过电脑仿真计算并存储，很少会人工计算，通过电脑仿真计算准确度高，速度快，以提高测距方法的测量精度。使用时，直接获取标准差σ1和标准差σ2。

本发明的一种车辆智能驾驶的单目测距方法，通过设置的车载单目摄像头拍摄的视频流，相对于现有技术中基于两相机间的视差计算来估算场景中障碍物的距离，本申请使用不受局限，且实现成本低；通过对原图像信息处理后，通过聚类算法模型计算第一距离，能够有效去除了外部干扰，第一距离的结果精度高，结合获取的实际数据，通过几何测距模型计算第二距离，第二距离的结果精度高，再对第一距离和第二距离融合计算，最终获取真实空间下的与前车的距离，相对于现有技术的单目测距，本发明的测量准确性高，且处理单元计算能力要求相对较低，进一步降低了实现成本。

实施例2：本申请实施例提供了一种采用如上车辆智能驾驶的单目测距方法的车辆智能驾驶的单目测距装置，如图9所示，单目测距装置包括：

第一获取模块200：从车载单目摄像头拍摄的视频流中按帧读取图像信息；

第一检测模块201：将图像信息输入至第一卷积神经网络模型检测，得到车辆实例分割图和深度图，车辆实例分割图内包括至少一个目标物的检测框；

第二检测模块202：提取每个目标物检测框对应的矩形框，根据矩形框对车辆实例分割图进行分割，获取目标物对应的感兴趣区域图，将感兴趣区域图输入至第二卷积神经网络模型检测，获取目标物的信息；其中，目标物的信息包括：目标物类别、实际高度和目标物在图像中高度；

第一计算模块203：根据目标物的检测框和深度图，提取深度ROI图，通过聚类计算模型计算深度ROI图中像素点的最小距离，获得像素点的坐标s(

第二计算模块204：结合目标物的信息和像素点的坐标s(

融合计算模块205：第一距离D1和第二距离D2进行融合处理得到最终真实空间下车载单目摄像头距离目标物的距离。

第一获取模块200和第二检测模块202均与第一检测模块201连接，第一计算模块203与第一检测模块201连接，第一计算模块和第二检测模块均与第二计算模块204 连接，第一计算模块203和第二计算模块204均与融合计算模块205连接。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

实施例3：本申请实施例提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的一种单目测距方法。

图10示出了一种用于实现本申请实施例所提供的一种单目测距方法的设备的硬件结构示意图，设备可以参与构成或包含本申请实施例所提供的装置或系统。如图10所示，计算机设备10可以包括一个或多个处理器1002(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1004、以及用于通信功能的传输装置1006。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图10所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机设备10还可包括比图10中所示更多或者更少的组件，或者具有与图10所示不同的配置。

应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机设备10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器1004可用于存储应用软件的软件程序以及模块，如本申请实施例中的一种单目测距方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器1004内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种方法。存储器1004可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1004可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机设备10的通信供应商提供的无线网络。在一个实例中，传输装置1006包括一个网络适配器(NetworkInterfaceController，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1006可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机设备10(或移动设备)的用户界面进行交互。

实施例4:本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质可设置于服务器之中以保存用于实现方法实施例中一种单目测距方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的一种单目测距方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

实施例5：本发明实施例还提供了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施方式中提供的一种单目测距方法。

实施例6：本发明实施例还提供了一种车辆，车辆包括如上的车辆智能驾驶的单目测距装置。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。