一种基于无人机遥感的高速公路标志标牌检测方法

技术领域

本发明属于道路工程领域，特别涉及了一种高速公路标志标牌检测方法。

背景技术

随着国民经济的持续增长，作为国民经济的基础设施——公路交通也蓬勃发展。据交通运输部统计数据显示，截止到2019年末，全国公路总里程达到501.25万公里，公路密度为52.21公里/百平方公里，较上年增加1.73公里/百平方公里。在高速公路网络大规模建设的同时，人们对高等级公路运营管理和养护的要求越来越高。近年来，公路养护里程占公路总里程比例不断上升：2014年公路养护里程所占比例达97.5％；2019年公路养护里程495.31万公里，占公路总里程98.8％。

为保证高速公路安全、迅速、经济、舒适的营运和正常使用，按规定要设置必要的高速公路沿线设施。高速公路沿线设施主要包括交通安全设施、交通管理设施、附属设施等。在高速公路运营期间，高速公路沿线设施会出现一些损坏，如防护设施缺损、隔离栅损坏等，尤其是标志标牌损坏，致使高速公路在使用年限内服务水平下降，这不仅严重影响高速公路的服务功能、阻碍交通运输综合效益的发挥，而且增加交通事故的发生。因此，有必要开发一套针对高速公路标志标牌的自动化检测系统，为高速公路管理养护部门提供参考。

目前，对于高速公路标志标牌的检测方法相对较简单，主要是根据公路技术状况评定标准，依靠人工观察与排查缺少或损坏的标志标牌，手动测量或估算破损程度等，填写沿线设施损坏调查表，计算沿线设施技术状况指数(TCI)作为沿线设施的评价指标，这种方法主要依赖人工检测与检测人员的主观判断，现场人员不仅有可能对高速公路运行状态造成影响，更无法保证检测人员的人身安全，同时，对于缺损认定的主观倾向还会影响评价结果的客观性与准确性。另外，现在有一些基于车载设备的检测技术，但这些技术仍然依靠内业人员后期对缺损设施进行手动选取与筛选，未能实现自动化标准化检测与评价。

发明内容

为了解决上述背景技术提到的技术问题，本发明提出了一种基于无人机遥感的高速公路标志标牌检测方法。

为了实现上述技术目的，本发明的技术方案为：

一种基于无人机遥感的高速公路标志标牌检测方法，包括以下步骤：

(1)确定需要对标志标牌进行检测的路段起点与终点；

(2)获取检测区间内标志标牌应布设清单；

(3)采用搭载摄像设备与GPS模块的无人机，并基于图像识别技术对检测区域进行粗略检测；

(4)采用搭载双目相机与GPS模块的无人机，并基于图片识别与双目视觉算法对标志标牌进行精确检测；

(5)综合步骤(2)-(4)的结果，得到检测区域内标志标牌的损坏检测结果。

进一步地，在步骤(1)中，将检测路段按1km的间隔划分为若干小块，最后一段若不足1km则按1km计，记第i个小块的起点桩号和终点桩号为i

进一步地，在步骤(2)中，通过查阅设计与施工资料或专家咨询，获取检测区间内标志标牌应布设清单，该清单包含检测区间内应布设标志标牌的数量、种类、形状和位置信息。

进一步地，在步骤(3)中，搭载摄像设备与GPS模块的无人机从检测区间的起点到终点进行巡航拍摄，飞行位置为道路中线正上方，飞行方向为道路行车方向，飞行高度根据实际障碍物情况调整，飞行速度根据无人机型号与天气状况调整，拍摄的同时记录无人机的GPS信息，拍摄得到的视频通过基于YOLO V3的图像识别技术进行识别，获取检测区间内标志标牌粗略的数量、种类和位置信息。

进一步地，在步骤(4)中，在利用搭载双目相机与GPS模块的无人机进行拍摄前，对双目相机进行标定。

进一步地，在步骤(4)中，根据步骤(3)中粗略检测得到的位置信息，采用搭载双目相机与GPS模块的无人机在检测区间内进行巡航与定点拍摄，具体过程如下：

无人机起飞后先升高到30m以上的安全、空旷高度，巡航到步骤(3)获取的某个标志标牌位置附近时，飞行高度下降，以能正向平视拍摄标志标牌牌面内容且处于画面正中为准，使用双目相机拍摄图片并记录相应位置信息，拍摄完成后重新升高到安全高度继续巡航至下一个位置，拍摄得到的图片通过基于图片识别与双目视觉测距算法，获取精确的标志标牌种类、尺寸、位置信息，并通过与标准尺寸模板对比重合率，判断标志标牌是否破损，若重合率低于设定的阈值，则判定为破损，否则判定为完好。

进一步地，所述图片识别与双目视觉测距算法依次包括双目标定、畸变校正、立体校正、图像识别、立体匹配、三维坐标反算与尺寸计算以及破损检测。

进一步地，在步骤(5)中，汇总步骤(3)和(4)得到标志标牌种类、位置和破损信息，并通过与步骤(2)中的应布设清单对照，确定是否有标志标牌的缺失，最后输出标志标牌损坏调查表。

采用上述技术方案带来的有益效果：

本发明实现了高速公路标志标牌的标准化、自动化检测，极大降低了传统人工方法带来的生命危险以及交通影响，并有效消除了观测人员主观判断对客观评价标准的影响，在检测方法上具有创新性，在评价内容上亦更具客观准确性。

附图说明

图1是本发明的方法流程图；

图2是实施例中标志标牌粗检视频截图；

图3是实施例中无人机搭载双目相机示意图；

图4是实施例中无人机拍摄标牌的双目图；

图5是实施例中标牌双目图片检测结果图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

本发明设计了一种基于无人机遥感的高速公路标志标牌检测方法，步骤如下：

步骤1：确定需要对标志标牌进行检测的路段起点与终点；

步骤2：获取检测区间内标志标牌应布设清单；

步骤3：采用搭载摄像设备与GPS模块的无人机，并基于图像识别技术对检测区域进行粗略检测；

步骤4：采用搭载双目相机与GPS模块的无人机，并基于图片识别与双目视觉算法对标志标牌进行精确检测；

步骤5：综合步骤2-4的结果，得到检测区域内标志标牌的损坏检测结果。

在本实施例中，优选地，对于上述步骤1，将检测区间范围按1km的间隔划分为n个小块，最后一段不足1km的按1km计。记被检测对象的小块为i小块，其中i＝1,2,3,…,n。记第i个小块的起点桩号和终点桩号为i

在本实施例中，优选地，对于上述步骤2，通过查阅设计与施工资料或专家咨询，获取检测区间内应布设标志标牌的数量、种类与位置信息清单，用于标志标牌的缺失检测依据。清单模板如下表1所示：

表1标志标牌应布设清单

在本实施例中，优选地，对于上述步骤3，使用搭载摄像设备与GPS的无人机从检测区间的起点到终点进行巡航拍摄，飞行位置为道路中线正上方，飞行方向为道路行车方向，飞行高度根据实际障碍物情况调整，以10m到30m高度为宜，飞行速度根据无人机型号与天气状况调整，以10m/s左右为宜，拍摄方式为前向俯角45°录像，拍摄的同时记录无人机的GPS信息。拍摄得到的视频通过基于YOLO V3的图像识别技术进行识别，获取检测区间内的标志标牌的较为粗略的数量、种类与位置信息。

在本实施例中，优选地，对于上述步骤4，根据步骤3获取的位置信息，使用搭载已标定好的双目相机的无人机在检测区间内进行巡航与定点拍摄，具体方式为：无人机起飞后先升高到30m以上的安全、空旷高度，巡航到获取的某个标志标牌位置附近时，飞行高度下降到8到10m左右，以能正向平视拍摄标志标牌牌面内容且处于画面正中为宜，使用双目相机拍摄图片并记录相应位置信息，拍摄完成后重新升高到安全高度继续巡航至下一个位置。拍摄得到的图片通过图片识别与双目视觉测距算法，获取精确的标志标牌种类、尺寸、位置信息，并通过与标准尺寸模板对比重合率，判断标志标牌是否破损，若重合率低于阈值α，则判定为破损，反之则完好。其中，阈值α可根据双目相机标定精度与项目实际需要调整，以80％到90％为宜。

在使用无人机检测之前，应先进行双目相机的标定。在地面上将两个相同型号的相机搭载到无人机上，固定好后调整相机的位置和角度，使其起飞后可直接拍摄无需再调整。保证相机之间相对位置、角度均不再变化后，起飞无人机，并悬停在半空，开始使用标定板进行标定，标定板应尽可能选用大尺寸高精度标定板，这样标定效果会更好；标定时使用两个相机同时拍摄标定板，然后移动标定板再拍摄，在保持标定板位于取景框范围内的同时，使拍摄的图片集尽可能包含标定板各个角度与位置，图片集作为标定的依据。

获取标定图片集后开始按照上述飞行方案开始巡检，拍摄得到检测图片集后，使用双目视觉测距算法对检测图片集进行处理，主要包括如下几个部分：

(1)双目标定。从图像上的物体到三维空间上的物体的映射过程实际上是坐标系的变换。图像上的某一点，经过物理关系的转换可以得到现实的物理坐标，然后将图像平面映射成相机坐标系的某一平面，得到该点在相机坐标系的坐标，最后通过相机坐标系与世界坐标系的旋转平移变换即可确定该点的实际三维坐标。基于上述原理，通过计算来求解变换矩阵的过程即为标定，也就是获取双目相机的内参和外参，内参由镜头与相机感光元件决定，外参由两相机的相对位置角度等决定。

(2)畸变校正。由于图片在经过镜头拍摄后，不可避免地会出现一定的变形，尤其是图片的边缘部分会向中心扭曲，影响后续处理的精度，因此需要使用标定获取到的内参进行畸变校正，使其恢复实际情况。

(3)立体校正。由于双目相机的安装与调整过程中，无法保证两个镜头视角完全平行并在同一水平线上，细微的差别也会影响后续处理的精度，因此需要使用标定获取到的外参进行立体校正，使两相机拍摄的图片处于同一平面。

(4)图像识别。将双目图片还原到同一平面后，两张图片中对应的点具有了相同的行坐标，再通过基于Faster RCNN网络的图像识别算法提取出双目图片中标志标牌的牌面部分，就可以通过立体匹配获取到双目图片中标牌牌面的视差信息，进而求得距离与尺寸信息等。

(5)立体匹配。通过特征点匹配，可以将双目图片拼合到一起计算视差。传统算法中特征点匹配的过程对图片整体采用SIFT算法，在室内等封闭场所内，经过参数调优后，能够实现较好的匹配效果，但对道路等开阔场景由于缺乏特征点、纹理不明显等原因，匹配效果较差。在通过图像识别将标牌牌面部分提取出来之后，可以仅对提取部分进行特征点匹配，能够获得快速准确的匹配效果，计算所得视差较为精确。

(6)三维坐标反算与尺寸计算。得到精确的视差结果后，即可通过矩阵逆运算，根据标定所得的转换矩阵，将图片中的坐标点还原为真实世界中的三维坐标点，从而计算出牌面外轮廓各角点的三维坐标。直接计算各角点之间的欧式距离即可获取牌面的尺寸信息。

(7)破损检测。获取实测的标牌牌面尺寸信息后，按照形状不同，与相同形状的标准牌面模板进行尺寸比较，计算重合率。若重合率高于所设定的阈值α，则认为该标牌情况良好；若重合率明显低于阈值α，则判定为破损。

在本实施例中，优选地，对于上述步骤5，汇总步骤3与步骤4得到的标志标牌种类、位置和完好程度信息，并通过与步骤2获取的应布设清单对照，确定是否有标志标牌的缺失，最后输出标志标牌损坏调查表。汇总检测区间内n个小块的所有损坏调查表，输出标志标牌检测结果。

表2标志标牌损坏调查表

本发明的整个过程如图1所示。

下面结合具体应用案例对检测方法进行详细说明：

S1：选定江苏省南京市宁宣高速某段作为检测区间，并按照每1km间隔划分为n个小块。

S2：根据设计资料统计检测区间内标志标牌应布设清单。

S3：使用大疆御2变焦版无人机进行巡航录制拍摄，飞行高度70m，飞行速度7m/s，飞行位置中央分隔带正上方，航迹沿行车方向向前，镜头朝向向下，倾角45°，同时记录GPS信息。录制视频某时刻截图如图2所示。通过图像识别与分类技术对标志标牌进行初步识别并输出GPS坐标信息。

S4：使用大疆M600 Pro无人机搭载两个御2变焦版小无人机组合成的双目相机，依据S3提供的GPS坐标信息，通过巡航与定点拍摄的方式拍摄标志标牌双目图片。设备搭载方式如图3所示，拍摄到的双目图片如图4所示。通过图片识别与双目视觉算法对标牌进行检测，输出结果如图5所示。

S5：汇总S3和S4的结果后输出检测区间内第i块区域标志标牌损坏调查表，最后汇总检测区间内所有区域的损坏调查表，输出检测区间内标志标牌检测结果。

实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。