一种基于卷积神经网络的前车检测与测距方法

技术领域

本发明涉及车辆检测技术领域，特别涉及一种基于卷积神经网络的前车检测与测距方法。

背景技术

高级辅助驾驶系统(ADAS)是车辆主动安全发展的重要技术之一，已经逐步成为各国NCAP评价车辆安全等级的重要参考依据。前车碰撞预警、前车起步预警、车道偏离预警等ADAS功能已经成为现有的中高端车型的标准配置。对于针对前方车辆的ADAS系统如前车碰撞预警以及安全车距预警，不仅要求感知系统能够及时准确的检测出前方车辆，还要求系统能够准确的测量与预测前车相对于自身车辆的距离，以保证预警与辅助驾驶系统效果。此外，ADAS系统对于感知算法的准确性以及实时性要求均较高同时又受限于车载端算力，因此算法的设计与优化需要综合考虑空间与时间两个维度的因素。

现有前车碰撞预警以及安全车距预警系统大多基于视觉或毫米波雷达以及激光雷达传感器对前方车辆进行检测、跟踪并采取相应预警与辅助操作。毫米波雷达多目标区分度较差，激光雷达成本较高，刷新率低且对恶劣天气鲁棒性差。视觉系统相对成本较低，且系统适用工况较广。现有专利《基于阴影假设和分层HOG对称特征验证的前车检测方法》(CN103679205A)利用车辆边缘纹理、车辆对称性或底部阴影等特征定位车辆检测感兴趣区域(ROI)，之后利用基于梯度、直方图等图像特征训练的车辆检测分类器对此ROI区域内进行滑窗搜索车辆位置。此类方法搜索耗时较久，并且无法检测近距离轮廓不完整车辆。而专利《一种基于单目前视相机的前车检测与跟踪方法》(CN107463890A)则使用车辆宽度范围、车辆高宽比等先验知识确定车辆检测ROI区域搜索列表，再利用adaboost级联弱分类器判断所检测区域是否含有车辆的做法同样存在提取特征有限，定位不够精准的弊端。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于卷积神经网络的前车检测与测距方法。

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明提供一种基于卷积神经网络的前车检测与测距方法，包括以下步骤：

S1、车辆位置检测：首先使用车辆先验数据集应用聚类算法筛选出最可能检测到的车辆边框尺寸，再利用卷积神经网络提取图像纹理特征，把不同尺寸的先验框匹配给不同大小的特征图，小特征图拥有大感受野适合检测近距离目标使用大尺寸先验框，大特征图拥有小感受野适合检测远距离目标使用小尺寸先验框，融合车辆检测的分类误差与位置偏差作为损失值在神经网络中进行反向传播，最终获得车辆检测模型，再利用模型文件对前视系统实时获取的图像进行车辆位置检测：

S2、车道线检测：使用车道线先验数据集对原图预处理，提取出边缘信息，对ROI区域进行霍夫变换提取直线，记录相关参数与位置、角度、线段长度等筛选信息，最后将符合条件的直线进行车道线拟合；

S3、通过车辆位置检测与车道线测距：根据车道线检测结果计算消失点坐标，通过检测到的车辆与车道线相对位置判断其与本车是否位于相同车道区间，再根据判断结果与相机内外参数计算出目标车辆与本车的距离；

S4、生成报文信息：对车辆位置信息、置信度、测距结果进行统一封装；利用卷积神经网络提取图像纹理特征，检测前车位置；对图像进行预处理，使用霍夫变换提取车道线；如果前车与本车位于相同车道区间，则结合图像空间车道线消失点与前车检测位置信息联同相机内外参数推导出前车与本车在现实空间的真实距离。

作为本发明的一种优选技术方案，所述步骤S1中包括以下步骤：

S11、利用先验图像数据集通过聚类方法获得多种尺寸的先验框；

S12、使用卷积神经网络提取图像纹理特征，抽象出多层次的特征图；

S13、为小特征图分配大尺寸先验框检测近距离目标车辆，为大特征图分配小尺寸先验框检测远距离目标；

S14、融合目标的分类误差与边框的位置偏差作为损失在神经网络中进行反向传播获得模型，再使用模型检测车辆位置；为了参与卷积计算，需要先对原图进行缩放使长宽比为1：1；

优化方法使用小批量随机梯度下降(MBGD)，MBGD计算速度快，相比随机梯度下降SGD可以降低参数更新时的方差，使收敛更稳定，方程如下：

检测过程中有可能出现多个检测框重叠检测同一目标的情况，此时使用非极大值抑制(NMS)去除冗余的检测框，保留一个最好的。为了实现这种功能利用了交并比函数(IoU)计算“预测边框”与“真实边框”的交集和并集的比值，保留比值大于预先设置阈值的检测框。

作为本发明的一种优选技术方案，所述步骤S2中包含以下步骤：

S21、对原图预处理，将RGB彩色图像转化为灰度图像，计算方法是将三个分量以不同的权值进行加权平均，利用人眼对绿色的敏感最高，对蓝色的敏感最低的特点,加权平均公式如下：

Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j)；

S22、高斯滤波去除图像可能含有的噪声；

S23、使用边缘滤波并利用阈值对检测结果进行二值化；

S24、根据先验知识标记四个坐标点生成感兴趣区域mask，截取ROI区域；

S25、对ROI区域进行霍夫变换提取直线；

S26、再基于位置、角度、线段长度等信息进行筛选，根据斜率区分左右车道线，并对左右车道线分别进行拟合计算；

S27、记录相机内外参数包括焦距、相机高度。

作为本发明的一种优选技术方案，所述步骤S3中包含以下步骤：

S31、使用平滑函数消除车道线多帧检测中的抖动问题，过滤连续帧中偏移量超过阈值的检测结果；

S32、应用物理学中的透视原理计算车道线的消失点坐标(X，Y)；

S33、结合原图宽度、消失点y轴坐标、目标车辆下边框y轴坐标、相机焦距、相机高度可计算出目标车辆与本车的水平距离，公式如下：

其中a

作为本发明的一种优选技术方案，所述步骤S4中包括车辆报文信息生成：根据车辆位置检测结果与车道线检测结果计算前车距离，生成相应报文信息；车辆报文信息包括车辆置信度、车辆位置信息与测距结果。

与现有技术相比，本发明的有益效果如下：

本发明提供了一种基于卷积神经网络的前车检测与测距方法，该方法使用卷积神经网络提取图像纹理特征，对检测的车辆特征进行了多层次抽象，使得分类过程更加准确，并利用先验信息准确预测目标的边框范围，在回归计算目标准确位置时最大程度提高了优化效率与检测精度，此外还利用霍夫变换检测车道线位置计算消失点，对于前方车辆结合其在图像空间的位置信息与相机内外参数，推导出其在现实空间与本车的真实距离。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的整体方案示意图；

图2是本发明的卷积神经网络提取图像纹理特征示意图；

图3是本发明中步骤S14的模型检测车辆位置示意图；

图4是本发明中步骤S14中的交并比函数(IoU)计算“预测边框”与“真实边框”的交集和并集的比值示意图；

图5是本发明中步骤S33计算目标车辆与本车的水平距离示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

本发明如图1-5所示，本发明提供一种基于卷积神经网络的前车检测与测距方法，包括以下步骤：

S1、车辆位置检测：首先使用车辆先验数据集应用聚类算法筛选出最可能检测到的车辆边框尺寸，再利用卷积神经网络提取图像纹理特征，把不同尺寸的先验框匹配给不同大小的特征图，小特征图拥有大感受野适合检测近距离目标使用大尺寸先验框，大特征图拥有小感受野适合检测远距离目标使用小尺寸先验框，融合车辆检测的分类误差与位置偏差作为损失值在神经网络中进行反向传播，最终获得车辆检测模型，再利用模型文件对前视系统实时获取的图像进行车辆位置检测：

S2、车道线检测：使用车道线先验数据集对原图预处理，提取出边缘信息，对ROI区域进行霍夫变换提取直线，记录相关参数与位置、角度、线段长度等筛选信息，最后将符合条件的直线进行车道线拟合；

S3、通过车辆位置检测与车道线测距：根据车道线检测结果计算消失点坐标，通过检测到的车辆与车道线相对位置判断其与本车是否位于相同车道区间，再根据判断结果与相机内外参数计算出目标车辆与本车的距离；

S4、生成报文信息：对车辆位置信息、置信度、测距结果进行统一封装；利用卷积神经网络提取图像纹理特征，检测前车位置；对图像进行预处理，使用霍夫变换提取车道线；如果前车与本车位于相同车道区间，则结合图像空间车道线消失点与前车检测位置信息联同相机内外参数推导出前车与本车在现实空间的真实距离。

步骤S1中包括以下步骤：

S11、利用先验图像数据集通过聚类方法获得多种尺寸的先验框；

S12、使用卷积神经网络提取图像纹理特征，抽象出多层次的特征图，卷积层提取特征方法如图2所示；

S13、为小特征图分配大尺寸先验框检测近距离目标车辆，为大特征图分配小尺寸先验框检测远距离目标；

S14、融合目标的分类误差与边框的位置偏差作为损失在神经网络中进行反向传播获得模型，再使用模型检测车辆位置，如图3所示；为了参与卷积计算，需要先对原图进行缩放使长宽比为1：1；

优化方法使用小批量随机梯度下降(MBGD)，MBGD计算速度快，相比随机梯度下降SGD可以降低参数更新时的方差，使收敛更稳定，方程如下：

检测过程中有可能出现多个检测框重叠检测同一目标的情况，此时使用非极大值抑制(NMS)去除冗余的检测框，保留一个最好的。为了实现这种功能利用了交并比函数(IoU)计算“预测边框”与“真实边框”的交集和并集的比值，保留比值大于预先设置阈值的检测框。IoU示意图如图4所示。

步骤S2中包含以下步骤：

S21、对原图预处理，将RGB彩色图像转化为灰度图像，计算方法是将三个分量以不同的权值进行加权平均，利用人眼对绿色的敏感最高，对蓝色的敏感最低的特点,加权平均公式如下：

Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j)；

S22、高斯滤波去除图像可能含有的噪声；

S23、使用边缘滤波并利用阈值对检测结果进行二值化；

S24、根据先验知识标记四个坐标点生成感兴趣区域mask，截取ROI区域；

S25、对ROI区域进行霍夫变换提取直线；

S26、再基于位置、角度、线段长度等信息进行筛选，根据斜率区分左右车道线，并对左右车道线分别进行拟合计算；

S27、记录相机内外参数包括焦距、相机高度。

步骤S3中包含以下步骤：

S31、使用平滑函数消除车道线多帧检测中的抖动问题，过滤连续帧中偏移量超过阈值的检测结果；

S32、应用物理学中的透视原理计算车道线的消失点坐标(X，Y)；

S33、结合原图宽度、消失点y轴坐标、目标车辆下边框y轴坐标、相机焦距、相机高度可计算出目标车辆与本车的水平距离，如图5所示，公式如下：

其中a

步骤S4中包括车辆报文信息生成：根据车辆位置检测结果与车道线检测结果计算前车距离，生成相应报文信息；车辆报文信息包括车辆置信度、车辆位置信息与测距结果。

具体的，本发明提供了一种基于卷积神经网络的前车检测与测距方法，该方法使用卷积神经网络提取图像纹理特征，对检测的车辆特征进行了多层次抽象，使得分类过程更加准确，并利用先验信息准确预测目标的边框范围，在回归计算目标准确位置时最大程度提高了优化效率与检测精度，此外还利用霍夫变换检测车道线位置计算消失点，对于前方车辆结合其在图像空间的位置信息与相机内外参数，推导出其在现实空间与本车的真实距离。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。