一种无人机场景的实时虚车道线轮廓自动提取方法

技术领域

本发明属于智能视频图像处理技术领域，涉及无人机监测，为一种无人机场景的实时虚车道线轮廓自动提取方法。

背景技术

无人机凭借着高机动性、高灵活性、拍摄范围广等优点正逐渐成为道路智能巡检新的有效方式。区别于固定道路摄像头，无人机巡航最大的特点在于其动态性，由此也给智能化检测带来了一定的困难。

道路智能巡检中的车速智能测算、异常停车行为的智能抓拍等功能均依赖相机标定以获取车辆行驶的实际物理距离，进而判断车辆的行为状态。固定摄像机拍摄画面中易通过选取固定参照物或人为提取虚车道线线段端点的坐标信息实现相机标定，而无人机道路巡航下无固定参照物，大都借助已知的车道线规范，结合虚车道线的精准线段端点坐标信息以实现相机标定。但无人机道路巡航多为动态飞行，车道线不断变动，要求虚车道线轮廓提取方法有较高准确率的同时也有着较快的检测速度。虽已有霍夫变换直线检测、Canny边缘检测等线段检测方法，但均无法兼顾提取准确率和提取速度。同时自动驾驶领域虽已有SwiftLane、LaneFormer等较快速的车道线检测方法，但其均局限于车道线检测，无法实现车道线检测、虚实车道线分类、虚车道线轮廓提取的实时全流程自动化，同时场景与无人机道路巡航场景有着很大的差异，无法适用。

发明内容

本发明要解决的问题是：固定摄像机拍摄画面中虚车道线固定，只需提前人为获取虚车道线线段端点坐标信息即可实现相机标定。而无人机道路巡航下虚车道线不断变动，现有技术无法在兼顾提取准确率和提取速度的同时，实现虚车道线检测、虚实线分类、虚车道线轮廓提取的全流程自动化。

本发明的技术方案为：一种无人机场景的实时虚车道线轮廓自动提取方法，在无人机巡航场景下实时识别虚车道线并提取虚车道线的轮廓，无人机沿道路与车辆同方向或相反方向巡航拍摄，包括以下步骤：

Step1:使用OpenCV开源工具读取无人机实时拍摄的道路视频流，并对读取的视频帧图像做尺寸归一化、标准化预处理；

Step2：训练一个深度学习网络作为车道线检测网络，使用车道线检测网络进行车道线检测，获得表征每条车道线中心的m个像素点坐标信息；

Step3：基于车道线中心像素点坐标信息和色度特征差异，通过多层感知机MLP网络对每条车道线进行虚实分类，对得到的虚车道线运用最小二乘法进行中心拟合，得到虚车道线的直线方程，以所得直线左右扩展k个像素，截取直线所在区域的图像；

Step4：对Step3截取的图像灰度化处理，基于LSD线段检测算法进行线段端点的提取，得到若干线段的端点坐标信息，并依据虚车道线的线段两侧边缘斜率绝对值均大于1的条件，滤除不满足条件的线段；

Step5：依据Step4所得虚车道线线段端点与Step3所得虚车道线中心直线方程的点线关系，区分虚线段左侧和右侧的端点，依据像素点的y坐标信息定位端点所属虚车道线线段，得到虚车道线线段的端点，用于虚车道线轮廓的标记。

本发明实现无人机巡航下虚车道线轮廓的实时自动提取。针对无人机巡航下车道线不断变动，现有技术无法在兼顾提取准确率和提取速度的同时，实现虚车道线检测、虚实线分类、虚车道线轮廓提取的全流程自动化这一问题。本发明设计了车道线中心像素点色彩强度值与该条车道线所有中心像素点色彩强度平均值的差值作为特征值的MLP机器学习方法，实现了快速且准确的车道线虚实线分类。基于车道线的虚实分类结果，本发明进一步针对单条虚车道线，设计了综合LSD线段检测和多种决策判断条件的虚车道线线段端点精准定位算法，实现了具有较高处理速度和较高准确率的端点定位能力。

附图说明

图1为本发明一种无人机场景的实时虚车道线轮廓自动提取方法流程图。

图2为本发明应用于真实无人机场景下的虚车道线轮廓自动提取实施效果图。

具体实施方式

下面结合附图说明本发明的具体实施。本发明要求无人机沿着道路，与车辆同方向或相反方向巡航飞行，采集道路视频时使车道线在图像中尽量垂直，具体方案流程如图1所示。

Step1:使用OpenCV开源工具读取无人机实时拍摄道路视频流，并对读取的图像做尺寸归一化、标准化预处理。

Step2：使用车道线检测网络进行车道线检测，可获得表征每条车道线中心的m个像素点坐标信息。所述车道线检测网络包括但不限于UltraLane、PolyLaneNet等深度学习方法，但需保证其有超快的检测速度和较高的检测准确率，检测速度和准确率要求在算力为6.1的显卡配置下分别不低于100FPS和90％。

Step2.1：基于无人机拍摄道路场景的视频画面标注车道线数据集，提前训练车道线检测网络，可得到相应的权重模型；

Step2.2：基于Step2.1得到的训练权重模型，将实时采集的无人机拍摄图像输入车道线检测网络，可得到表征每条车道线中心的若干像素点坐标信息。

Step3：基于车道线中心像素点坐标信息和色度特征差异，通过多层感知机MLP网络对每条车道线进行虚实分类，对得到的虚车道线，运用最小二乘法进行中心拟合，得到虚车道线的直线方程，以所得直线左右扩展k个像素，例如分别向左向右扩展10个像素点所得的图像区域，截取直线所在区域的图像，得到虚车道线的图像。本发明为一种实时处理方案，并且是为了相机标定才需要提取确定虚车道线轮廓，因此处理一条虚车道线即可满足需求。若需提取多条虚车道线轮廓，对各条虚车道线中心的像素点坐标进行线性拟合并重复后续操作即可。

Step3.1：为了突出虚车道线与实车道线的色度特征差异，针对每条车道线，该条车道线的每个中心像素点色彩强度值与该条车道线所有中心像素点色彩强度平均值差值的集合作为特征值，如下式所示，式中x

Y＝[y

Step3.2：基于已知车道线虚实信息的无人机拍摄道路视频制作机器学习分类数据集，提前训练MLP车道线虚实分类网络，可得到相应的权重模型；

Step3.3：依据Step2所得车道线中心像素点坐标信息，按照Step3.1公式可得所需特征信息，输入MLP车道线虚实分类网络，可得每条车道线的虚实线信息；

Step3.4：选取图像中的一条虚线，如图2所示实施例中的左侧第一条虚线，对所有表征该条车道线中心的40个像素点进行最小二乘法拟合，可得该车道线的直线方程，并截取直线所在区域图像。

Step4：对Step3截取的图像灰度化处理，并基于LSD线段检测算法进行线段轮廓提取，可得到若干线段的端点坐标信息，并依据虚车道线左右两侧边的斜率绝对值均大于1的条件，滤除不满足条件的线段。

Step4.1：将Step3所截取的虚线所在区域图像灰度化处理；

Step4.2：对Step4.1得到的灰度图像进行LSD线段检测，得若干线段的端点坐标信息；

Step4.3：利用Step4.2得到的线段端点坐标信息，计算各线段斜率绝对值。以斜率绝对值1作为阈值，滤除斜率绝对值小于1的线段，去除路面阴影等可能的干扰线段，剩下的为虚车道线线段。

Step5：依据Step4所得虚车道线端点与Step3所得虚车道线中心直线方程的点线关系可区分虚车道线线段左侧/右侧端点，依据像素点的y坐标信息可进一步定位端点所属虚车道线线段，取满足要求的虚车道线线段进行端点标注并输出显示。

Step5.1：基于Step3所得的虚车道线中心拟合直线方程和Step4所得的虚车道线线段端点坐标，依据点与线的关系，判定虚车道线线段端点为中心线左侧虚线段端点或是中心线右侧虚线段端点；

Step5.2：依据虚车道线线段的端点y坐标信息，从高到低定位端点所属虚线段，y坐标信息最高的两个线段的四个端点属于第一个虚线段，y坐标信息次高的两个线段的四个端点属于第二个虚线段，以此类推。端点定位过程中，会出现第一个虚线段轮廓不完整的情况，通过设置第一个虚线段的端点y坐标信息应低于图像高度进行滤除；

Step5.3：借助OpenCV工具进行端点标注，如图2所示，第一个虚车道线线段端点左上到右下顺时针顺序依次为L1.1、R1.1、R1.0和L1.0，第二个虚车道线线段端点左上到右下顺时针顺序依次为L2.1、R2.1、R2.0和L2.0，输出画面并返回上述两个虚线段端点坐标结果。标记显示主要是为了肉眼直观地看到虚车道线轮廓提取的效果。

本发明中依据点线关系，Step5.1得到所有线段的左侧和右侧端点。但由于无人机是动态飞行的，会出现画面最下端的虚线段只有一部分的情况，即画面最下端的虚线段轮廓可能是不完整的，也即虚车道线矩形框理论上应有四个端点，实际却只有两个的情况。Step5.2主要是排除这种情况，Step5.3中进行端点标注及输出显示。本发明方案不局限于两段虚车道线线段的显示，Step5可定位出图像中的所有虚线段端点信息，可选择任意数量个虚线段输出显示。选取多个虚线段提取轮廓，有利于根据车道线规范，结合虚车道线的精准轮廓坐标信息，计算真是距离，实现相机标定。

最后，依据计算机成像原理，结合国标中的虚车道线距离信息以及Step5.3中所得的虚车道线线段端点坐标信息进行透视变换矩阵的求解即可实现相机标定，进一步可结合车辆检测等实现车速的计算、异常停车监测等功能。