无人机巡检影像的实时定位方法

技术领域

本发明涉及无人机监控领域，尤其是涉及无人机巡检影像的实时定位方法。

背景技术

巡检是很多行业的常态性工作，早期以人工肉眼巡检为主，随着科技的发展，无人机因显著高于人力的高效率成为了巡检新工具。常见的方式是由无人机搭载影像装置，实时拍摄巡检目标的视频影像，通过视频影像确定巡检时间、巡检目标位置以及巡检目标的具体情况。常用的精确确定目标位置的方法包括人工核查法、摄影测量法、计算机视觉技术。

其中，人工核查法人工浏览无人机的巡检视频，对其中的可疑目标位置进行标记，再现场量测获取其准确位置信息。该方法无法满足无人机巡检的实时性要求，且特殊情况（暴雨、滑坡和泥石流等）下的人工现场核查作业还存在较大的安全隐患，已逐渐无法适应巡检工作的要求。

摄影测量法主要包括立体像对前方交会法、空中三角测量法。立体像对前方交会法利用无人机视频帧的POS信息可实时交会出地面点的三维坐标，但是精度极差，无法满足巡检影像定位的精确性要求。空中三角测量法包括航带区域网平差法和光束区域网平差法等，其利用多航带的高重叠度影像可精确地解算出地面点的三维坐标，但是需要对相关数据进行后处理，无法满足巡检定位的实时性要求。

计算机视觉技术主要包括立体视觉方法，影像匹配方法，光流跟踪法。其中立体视觉方法是利用双目相机精确的三维位姿及两张影像中同名像点的视差解算出像点的空间三维坐标，但是已有的双目相机标定方法，包括：DLT（Direct Linear Transform）方法、PnP（Perspective-n-Point）方法、PST（Perspective Similar Triangle）方法等仅适用于两个相机相对位置不变且距离较短的双目测量系统，无法适用于飞行中无人机的三维位姿标定，以致无法精确解算巡检影像的三维位置信息。影像匹配方法可利用巡检影像匹配已有DOM，并根据DOM的坐标反算出巡检影像的位置信息，但是已有的影像匹配技术，包括SIFT，SURF，ORB等在地物细节变化较大时根本无法实现影像的精确匹配，也导致无法精确解算巡检影像的位置信息。光流跟踪法包括Farneback多项式法、LK光流法等均有较强的预设条件，即微小位移、亮度不变和区域运动一致，其仅可用于巡检视频影像的相对定位，无法用于巡检影像的绝对定位。

也就是说，目前能够实时、精确和稳健地解算无人机视频影像位置的方法尚不存在。

发明内容

本发明目的在于提供一种无人机巡检影像的实时定位方法，能够通过无人机视频影像实时、精确和稳健的解算兴趣目标点的位置信息。

为实现上述目的，本发明采取下述技术方案：

本发明所述的无人机巡检影像的实时定位方法，包括以下步骤：

S1，获取巡检区的DOM影像；

S2，实时读取无人机巡检过程中拍摄的视频帧及视频帧的POS数据；

S3，根据所述视频帧的POS数据和所述巡检区的DOM影像，计算视频帧对应的基准DOM影像的中心经纬度、方位角、长度和宽度，抽取基准DOM影像；

S4，视频帧与所述基准DOM影像进行稳健粗匹配，得到粗匹配DOM影像；

S5，基于视频帧和粗匹配DOM影像的梯度强度解算视频帧的最优校正参数；

S6，根据视频帧中兴趣点的像素坐标和最优校正参数解算兴趣点的经纬坐标。

进一步地，所述基准DOM影像的所述中心经纬度由视频帧的POS数据中的大地经纬度确定；所述方位角由视频帧的POS数据中的航偏角确定；所述长度

进一步地，S4步具体包括以下步骤：

S4.1，根据巡检区DOM影像的地面分辨率和视频帧的地面分辨率对抽取的基准DOM影像缩放，得到第一基准DOM影像；

S4.2，计算视频帧与第一基准DOM影像的RGB最佳粗匹配位置；

S4.3；计算视频帧与第一基准DOM影像的梯度强度最佳粗匹配位置；

S4.4；根据RGB最佳粗匹配位置和梯度强度最佳粗匹配位置，计算视频帧与第一基准DOM影像的稳健最佳粗匹配位置；

S4.5；根据稳健最佳粗匹配位置、视频帧的长度和宽度抽取粗匹配DOM影像。

进一步地，所述S5步具体包括以下步骤：

S5.1；基于视频帧和粗匹配DOM影像的梯度强度构建能量差方程式；

S5.2；基于所述能量差方程式构建参数校正方程，对视频帧与粗匹配DOM影像之间的缩放比例、位移、旋转、扭曲进行校正；

S5.3；基于视频帧和粗匹配DOM影像的同名像点之间应存在最小能量差的推定构建优化准则；

S5.4；基于优化准则解算视频帧的最优校正参数。

本发明的优点在于提出了视频帧粗匹配和视频帧精校正的方法，在无人机视频帧和巡检区DOM的光照、地物细节和分辨率均有较大差异的情况下，仍能稳健地实现两者的粗匹配，并通过精确校正以m级的精度实时解算出地面兴趣点的经纬坐标，且单帧的解算时间为秒级。

附图说明

图1是本发明所述无人机巡检影像的实时定位方法流程图。

图2是本发明所述方法中基准DOM影像抽取示意图。

图3是本发明所述方法中视频帧与基准DOM影像粗匹配示意图。

图4是本发明所述方法中无人机巡检区DOM影像示例。

图5是本发明所述方法中无人机实时拍摄的某视频帧示例。

图6是图5中视频帧对应的基准DOM影像。

图7是图5中视频帧对应的粗匹配DOM影像。

图8是图7中粗匹配DOM影像的梯度强度影像。

图9是图7中视频帧的梯度强度影像。

图10是为图5中视频帧影像校正后示例。

图11是图9视频帧与巡检区DOM影像叠加的效果展示。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在利用无人机巡检时，如果能从无人机实时拍摄的视频影像中实时的检测目标，确定目标的精确位置，对于及时发现隐患，排除隐患具有极高的价值。但目前还没有通过无人机视频影像实时、精确稳健的解算目标位置信息的方法。

如图1所示，本发明所述的无人机巡检影像的实时定位方法，提出了基于视频帧与巡检区DOM影像整体匹配的策略，可以m级的精度实时解算出巡检视频帧的位置，具体包括以下步骤：

S1，获取巡检区的DOM影像；

DOM影像（数字正射影像图，Digital Orthophoto Map）是对图像进行数字微分纠正和镶嵌，按一定图幅范围裁剪生成的数字正射影像集。它是同时具有地图几何精度和影像特征的图像，可作为地图分析背景控制信息。

S2，实时读取无人机巡检过程中拍摄的视频帧及视频帧的POS数据；

POS数据（定位定姿系统，position and orientation system）是IMU/DGPS组合的高精度位置与姿态测量系统。其利用装在无人机上的GPS接收机和设在地面上的一个或多个基站上的GPS接收机同步而连续地观测GPS卫星信号，采用差分GPS定位（DGPS）技术实现精密定位。同时利用惯性测量装置（IMU）来感测飞机或其他载体的加速度获取载体的速度和姿态等信息。

S3，根据视频帧的POS数据和巡检区的DOM影像，计算视频帧对应的基准DOM影像的中心经纬度、方位角、长度和宽度，抽取基准DOM影像；

如图2所示，区域1为覆盖整个巡检区域的完全的DOM影像，区域2为巡检中的无人机，无人机实时拍摄的视频帧即图像为区域3，该视频帧在DOM上的粗匹配DOM影像区域如图2中的区域4所示，图2中的区域5为抽取的基准DOM影像。

基准DOM影像的中心经纬度、方位角、长度和宽度确定方法如下：

中心经纬度由视频帧的POS数据中的大地经纬度

公式（1）

其中

所述宽度

公式（2）

其中

根据确定的中心经纬度

S4，视频帧与基准DOM影像进行稳健粗匹配，得到粗匹配DOM影像；

由于无人机拍摄的视频帧和巡检区DOM影像的获取时间和获取手段不一致，导致两者在光照、地物细节和分辨率等方面均有较大差异，以致已有的影像特征匹配方法，如基于SIFT（Scale-invariant feature transform,尺度不变特征变换）、SURF(Speeded UpRobust Features,加速稳健特征)和ORB(OrientedFAST and Rotated BRIEF、快速特征点提取和描述）的影像特征匹配方法根本无法适用于无人机视频帧和巡检区DOM的自动匹配。本申请能够保证在无人机视频帧和巡检区DOM的光照、地物细节和分辨率均有较大差异的情况下，稳健地实现两者的粗匹配。

具体包括以下步骤：

S4.1，根据巡检区DOM影像的地面分辨率和视频帧的地面分辨率对抽取的基准DOM影像缩放，得到第一基准DOM影像；计算公式（3）为：

公式（3）

其中，

S4.2，计算视频帧与第一基准DOM影像的RGB最佳粗匹配位置

根据公式（4）确定视频帧与缩放后基准DOM的RGB最佳粗匹配位置，即

公式（4）

其中，

表示视频帧R通道的灰度值，/>

表示缩放后基准DOM的R通道灰度值；

表示视频帧G通道的灰度值，

表示缩放后基准DOM的G通道灰度值；

表示视频帧B通道的灰度值，

表示缩放后基准DOM的B通道灰度值，

表示单张视频帧的像素总数。

S4.3，计算视频帧与第一基准DOM影像的梯度强度最佳粗匹配位置

即根据公式（5）确定视频帧与缩放后第一基准DOM影像的梯度强度最佳粗匹配位置。

公式（5）

其中，

表示视频帧在x方向的一阶梯度， />

S4.4，计算视频帧与第一基准DOM影像的稳健最佳粗匹配位置

公式（6）

其中，

，/>

为RGB最佳粗匹配位置，/>

S4.5，如图3所示，根据稳健最佳粗匹配位置

如图4-图7所示，为使用本申请方法确定与视频帧最佳匹配的粗匹配DOM影像区域的效果示例。其中图4为巡检区DOM影像，图5为无人机实时拍摄的视频帧影像；图6是经过S3步抽取基准DOM影像的效果图。图7为经S4步计算，将基准DOM影像缩放，进行RGB最佳粗匹配、梯度强度最佳粗匹配、稳健最佳粗匹配后得到的与视频帧最佳匹配的粗匹配DOM影像区域效果。如图4-图7可以看出，在光照、地物细节和分辨率均有较大差异的情况下，本申请仍能稳健地实现视频帧和基准DOM的粗匹配，匹配精度约为10m级。

S5，基于视频帧和粗匹配DOM影像的梯度强度解算视频帧的最优校正参数。

本申请以粗匹配DOM作为基准，选取视频帧中梯度强度大于一定阈值的点作为特征点，以构建多项式参数方程组，并通过稳健优化流程对视频帧进行校正，可以m级的精度解算地面兴趣点的经纬坐标。具体包括以下步骤：

S5.1，基于视频帧和粗匹配DOM影像的梯度强度构建能量差方程式；即根据公式（7）构建能量差方程式。

公式（7）

其中，

S5.2，基于所述能量差方程式构建参数校正方程，对视频帧与粗匹配DOM影像之间的缩放比例、位移、旋转、扭曲进行校正；即基于公式（7）构建多项式参数校正方程公式（8）

公式（8）

其中，

；

；

；

其中，（x,y）为兴趣点在视频帧上的像素坐标；

为待求参数；其实质上是关于兴趣点在视频帧上的像素坐标x和y的两个三阶多项式的系数。X是由 />

S5.3，根据公式（8）并基于视频帧和粗匹配DOM影像的同名像点之间应存在最小能量差的推定构建优化准则公式（9）；

公式（9）

S5.4，基于优化准则解算视频帧的最优校正参数, 流程如下：

在视频帧中选取满足公式（10）的特征点，即

公式（10）

其中，

利用特征点，构建系数阵/>

令 />

解算参数/>

解算能量差/>

重新赋权/>

重复步骤/>

S6，根据视频帧中兴趣点的像素坐标和最优校正参数解算兴趣点的经纬坐标。计算公式（11）为

公式（11）

其中，

，/>

如图8-图11所示，为使用本发明所述方法经S5步的梯度强度校正的效果示意图。其中图8为基准DOM的梯度幅度影像；图9视频帧的梯度幅度影像；图10为精确校正后的视频帧影像，其各像素点已具有经纬坐标信息。在Arcgis软件中，以坐标信息为基准将图10叠加到图4所示的巡检区DOM影像上，即图11所示的灰色区域。经测量，图10与图4所示的巡检区DOM影像的匹配精度可达到m级。