一种基于异源影像匹配的无人机快速地理定位方法及装置

技术领域

本发明属于无人机应有技术领域，具体涉及一种基于异源影像匹配的无人机快速地理定位方法及装置。

背景技术

自主无人机广泛应用于国防、农业、测绘、目标检测和跟踪，是现在的热门研究方向。定位系统是自主飞行的基础，但现在常用的全球导航卫星系统(Global NavigationSatellite System，GNSS)易受电磁环境或干扰攻击的影响，限制了自主无人机的发展。

除GNSS定位外，其他的室外定位方案均有一定的缺陷。如基站、雷达等定位方法的硬件架设成本较高，惯性导航系统等定位方法会随时间产生较大误差。因此，需要一种简易低成本的导航定位解决方案，能够稳健地应对GNSS短期或者长期缺失的情况。现阶段无人机基本都配置高清摄像头，构建基于视觉的无人机室外定位方案简易且成本低廉。同时，视觉定位方法受电磁干扰的影响较小，是对GNSS的有效补充。因此，视觉定位方法对自主无人机的发展具有重要意义。

卫星影像存储了地理坐标且获取成本低，通过将无人机实时拍摄的图像与预先存储的卫星影像匹配，可以实现无人机自主定位。然而，异源影像在纹理、视角、光照和尺度等方面都存在较大差异，导致现有图像匹配算法难以在精度、鲁棒性和实时性满足应用需求。因此研究性能优良的异源影像匹配算法，开发基于异源影像匹配的无人机快速地理定位方法及装置，对自主无人机发展有实际意义，也有助于为相关方面的研究开发提供一些基础数据和参考意义。

发明内容

针对现有技术不足，本发明提供一种基于异源影像匹配的无人机快速地理定位方法及装置。一种基于异源影像匹配的无人机快速地理定位方法，包括以下步骤：

步骤1，初始化匹配区域；

步骤2，对无人机影像和分割得到的匹配区域卫星影像进行预处理；

步骤3，通过残差网络提取无人机影像和待匹配卫星影像的多尺度特征；

步骤4，通过欧氏距离在低分辨率特征图实现粗匹配；

步骤5，基于粗匹配的匹配点对和高分辨率特征图将匹配细化到原始图像分辨率，实现精细匹配；

步骤6，利用RANSAC算法计算单应矩阵；

步骤7，利用单应矩阵进行地理坐标转换，完成定位。

而且，所述步骤1中首先读取无人机飞行规划任务文件，根据无人机飞行区域、飞行高度、环境要素，选择覆盖范围、地面分辨率和模态均满足匹配要求的卫星影像，然后以上一帧的无人机影像像主点的GNSS坐标为中心对卫星影像进行切割，得到N

而且，所述步骤2中将无人机影像和切割得到的卫星影像调整为N

式中，x′表示归一化后的像素灰度值，x表示归一化前的像素灰度值，x

而且，所述步骤3中采用残差网络提取影像的多尺度特征，通过残差拟合构造恒等映射，以提取更鲁棒的多尺度特征，将步骤2预处理后放入同一批次的无人机和卫星的单通道灰度影像先通过初始卷积层生成分辨率为原图像大小1/4的特征图，然后将得到的特征图连续通过三个架构一致的残差卷积模块，得到分辨率分别为原图大小的1/4，1/16和1/64的特征图，最后这三个特征图分别通过权重不同的卷积层，输出用于匹配的多尺度特征图。

而且，所述步骤4中首先将步骤3得到的无人机影像和卫星影像的1/64低分辨率特征图展平成L个256维特征向量，L表示低分辨率特征图的像素数量，然后利用欧氏距离度量异源影像的特征相似性，得到大小为L×L的特征间欧氏距离矩阵，矩阵元素代表异源影像不同像素间的特征欧氏距离相似度，具体公式如下：

式中，C(i,j)表示特征间欧氏距离矩阵；A表示无人机影像的1/64低分辨率特征图；B表示卫星影像的1/64低分辨率特征图；F

得到特征欧式距离矩阵后，输出每行每列的最小值，得到异源影像的特征对应关系，若出现某一行有多个列的最小值或者某一列也有多个行的最小值时，则选取这一行或列最小值中数值最小的特征欧氏距离相似度。将输出的特征欧式距离矩阵的最小值的行列号利用特征图的宽恢复为像素坐标后，将像素坐标乘以尺度变换因子8，最终得到粗匹配点对。

而且，所述步骤5中首先将粗匹配点对的坐标除以尺度变化因子2，在高分辨率特征图上定位所有粗匹配点的位置，提取所有匹配点及卫星影像高分辨率特征图上匹配点a×a邻域点的128维特征向量，分别构成N×1×1×128和N×a×a×128的特征图，N代表匹配点数量，然后计算特征向量之间的点集，输出N×a×a大小代价矩阵，实现局部特征关联。代价矩阵计算方式如下：

式中，S(i,j)表示代价矩阵；A′表示无人机影像的1/4高分辨率特征图；B′表示卫星影像的1/4高分辨率特征图；F

得到代价矩阵后，基于卷积神经网络的数值空间坐标回归DSNT计算粗匹配点的像素坐标微调量，计算公式如下：

/>

式中，S

X和Y与代价矩阵相乘得到坐标的微调量，将微调量乘以尺度变换因子2，与粗匹配的像素坐标点相加，得到亚像素级精度的精匹配点。

而且，所述步骤6中通过得到的精匹配点计算异源影像变换的单应矩阵，计算公式表示如下：

式中，

单应矩阵有八个未知参数，一对匹配点可以产生两个约束公式，因此可以通过四对匹配点估计单应矩阵，实际匹配点数量远超四对，而且匹配点的精度会影响估计的单应矩阵准确性，通过RANSAC算法估计更精确的单应矩阵，RANSAC算法步骤如下：⑴从初始匹配对集合S中随机选取四对匹配点作为内点集合S

求得的单应矩阵反映了影像的仿射变化，包括旋转、位移和形变，进一步分解为：

H

如果E小于设定阈值，直接输出单应矩阵；否则，返回步骤3重新匹配影像。

而且，所述步骤7中得到单应矩阵后，投影无人机影像中心到卫星影像，得到对应的卫星影像像素坐标，根据卫星地图存储的地理坐标，将像素坐标转换得到经纬度，实现无人机定位，转换公式如下：

式中，Logitude和Latitude表示经纬度坐标，A、B、C、D、E、F为卫星影像存储的地理信息，A和E表示的x和y方向上的像素分辨率，D和B表示的x和y方向上的旋转系数，C和F表示的左上角像素中心的经度和纬度。

本发明还提供一种基于异源影像匹配的无人机快速地理定位装置，包括电源接口、USB云台相机接口、无人机飞控接口、通信传输天线和集成装置盒。

电源接口给集成装置盒供电，使之正常工作。

USB云台相机接口用来连接无人机云台相机，接收无人机影像，输入集成装置盒中的计算单元，卫星影像保存在集成装置盒中的存储单元。

无人机飞控接口用于连接无人机飞控，一方面检测无人机的GNSS状态，在GNSS信号弱或受干扰时，启动计算单元执行基于异源影像匹配的无人机快速地理定位计算；另一方面，将计算单元输出的地理定位结果代替GNSS定位输入无人机飞控。

通信传输天线与地面站连接，传输无人机状态和图像数据。无人机状态包括GNSS信号强度、当前位置，图像数据包括无人机拍摄影像，异源影像匹配结果。

集成装置盒包括计算单元、存储单元和通信模块，存储单元和通信模块都与计算单元连接。计算单元执行基于异源影像匹配的无人机快速地理定位计算，输出定位结果。存储单元存储卫星影像，定位时会将对应的数据传输给计算单元。通信模块用于接收计算单元定位结果，与地面站通信传输数据。

与现有技术相比，本发明具有如下优点：

1)使用两阶段的匹配策略，粗匹配通过降低分辨率加速匹配，精匹配通过高分辨率特征图提高匹配点精度，相比直接匹配，算法的精度和效率有较好的均衡；2)在精细匹配阶段中引入了单应矩阵校正，提高了视点变化数据的鲁棒性；3)使用基于DSNT的坐标回归求得像素坐标微调量，提高了精匹配精度。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例无人机航拍图与异源卫星影像匹配原理图。

图3为本发明快速地理定位装置的示意图，其中1为电源接口，2为USB云台相机接口，3为无人机飞控接口，4为通信传输天线，5为集成装置盒。

具体实施方式

本发明提供一种基于异源影像匹配的无人机快速地理定位方法及装置，下面结合附图和实施例对本发明的技术方案作进一步说明。

如图1所示，本发明实施例提供一种基于异源影像匹配的无人机快速地理定位方法，包括以下步骤：

步骤1，初始化匹配区域。

读取无人机飞行规划任务文件，根据无人机飞行区域、飞行高度、环境要素，选择覆盖范围、地面分辨率和模态均满足匹配要求的卫星影像。以上一帧的无人机影像像主点的GNSS坐标为中心对卫星影像进行切割，得到960×540大小的卫星影像块。卫星影像预分割有助于提高定位效率和精度。

步骤2，对无人机影像和分割得到的匹配区域卫星影像进行预处理。

将无人机影像和切割得到的卫星影像调整为640×480大小的灰度影像，并进行归一化处理后放入同一批次。

归一化计算方式如下：

式中，x′表示归一化后的像素灰度值，x表示归一化前的像素灰度值，x

步骤3，通过残差网络提取多尺度特征。

采用残差网络ResNet(Residual Network)提取影像的多尺度特征，通过残差拟合构造恒等映射，以提取更鲁棒的多尺度特征。基于实时性考虑，本实施例采用最轻量的ResNet18作为骨干网络提取多尺度特征。将步骤2预处理后放入同一批次的无人机和卫星的单通道灰度影像先通过卷积核大小7×7、步长为2的初始卷积层，生成通道数为128、分辨率为原图像大小1/4的特征图，然后将得到的特征图连续通过三个架构一致的残差卷积模块，每个残差卷积模块包含四个3×3大小的卷积层和下采样模块，三个残差卷积模块输出的通道数分别为128，192和256，特征图分辨率分别为原图大小的1/4，1/16和1/64，最后将分辨率为原图像大小的1/4和1/64的特征图分别通过权重不同的1×1卷积层，输出用于匹配的多尺度特征图。

步骤4，通过欧氏距离在低分辨率特征图实现粗匹配。

首先将步骤3得到的无人机影像和卫星影像的1/64低分辨率特征图展平成4800个256维特征向量，4800为低分辨率特征图的像素数量，然后利用欧氏距离度量异源影像的特征相似性，得到大小为4800×4800的特征间欧氏距离矩阵，矩阵元素代表异源影像不同像素间的特征欧氏距离相似度，具体公式如下：

式中，C(i,j)表示特征间欧氏距离矩阵；A表示无人机影像的1/64低分辨率特征图；B表示卫星影像的1/64低分辨率特征图；F

得到特征欧式距离矩阵后，输出每行每列的最小值，得到异源影像的特征对应关系。若出现某一行有多个列的最小值或者某一列也有多个行的最小值时，则选取这一行(列)最小值中数值最小的特征欧氏距离相似度。将输出的特征欧式距离矩阵的最小值的行列号利用特征图的宽恢复为像素坐标后，将像素坐标乘以尺度变换因子8，最终得到粗匹配点对。例如，特征欧式距离矩阵的最小值的行列号为(1,4)，相当于影像A的1号像素对应图片B的4号像素，1/80(特征图的宽)得到商为0余数为1对应像素坐标就是(0，1)，4/80(特征图的宽)得到商为0余数为4对应像素坐标就是(0，4)，再乘以乘以尺度变换因子8，最终得到粗匹配点对为(0，8)和(0,32)。

步骤5，基于粗匹配的匹配点对和高分辨率特征图将匹配细化到原始图像分辨率，实现精细匹配。

首先将粗匹配点对的坐标除以尺度变化因子2，在高分辨率特征图上定位所有粗匹配点的位置。提取所有匹配点及卫星影像高分辨率特征图上匹配点5×5邻域点的128维特征向量，分别构成N×1×1×128和N×5×5×128的特征图，N代表匹配点数量。然后计算特征向量之间的点集，输出N×5×5大小代价矩阵，实现局部特征关联。代价矩阵计算方式如下：

式中，S(i,j)表示代价矩阵；A′表示无人机影像的1/4高分辨率特征图；B′表示卫星影像的1/4高分辨率特征图；F

最后基于卷积神经网络的数值空间坐标回归(Differentiable Spatial toNumerical，DSNT)计算粗匹配点的像素坐标微调量，计算公式如下：

式中，S

X和Y与代价矩阵相乘得到坐标的微调量，将微调量乘以尺度变换因子2，与粗匹配的像素坐标点相加，得到亚像素级精度的精匹配点。

步骤6，利用RANSAC算法计算单应矩阵。

通过步骤5得到的精匹配点计算异源影像变换的单应矩阵，计算原理如下公式表示：

/>

式中，

单应矩阵有八个未知参数，一对匹配点可以产生两个约束公式，因此可以通过四对匹配点估计单应矩阵。实际匹配点数量远超四对，而且匹配点的精度会影响估计的单应矩阵准确性，因此通过RANSAC算法估计更精确的单应矩阵。RANSAC算法步骤如下：⑴从初始匹配对集合S中随机选取四对匹配点作为内点集合S

单应矩阵反映了影像的仿射变化，包括旋转、位移和形变，进一步分解为：

H

如果E小于设定阈值，直接输出单应矩阵；否则，返回步骤3重新匹配影像。

步骤7，利用单应矩阵进行地理坐标转换，完成定位。

得到单应矩阵后，投影无人机影像中心到卫星影像，得到对应的卫星影像像素坐标。根据卫星地图存储的地理坐标，将像素坐标转换得到经纬度，实现无人机定位，转换公式如下：

式中，Logitude和Latitude表示经纬度坐标，A、B、C、D、E、F为卫星影像存储的地理信息，A和E表示的x和y方向上的像素分辨率，D和B表示的x和y方向上的旋转系数，C和F表示的左上角像素中心的经度和纬度。

如图3所示，本发明实施例还提供一种基于异源影像匹配的无人机快速地理定位装置，包括12V 2A电源接口、USB云台相机接口、4pin无人机飞控接口、4G通信传输天线和集成装置盒。

12V 2A电源接口给集成装置盒供电，使之正常工作。

USB云台相机接口用来连接无人机云台相机，接收无人机影像，输入集成装置盒中的计算单元。卫星影像保存在集成装置盒中的存储单元。

4pin无人机飞控接口用于连接无人机飞控，一方面检测无人机的GNSS状态，在GNSS信号弱或受干扰时，启动计算单元执行基于异源影像匹配的无人机快速地理定位计算。另一方面，将计算单元输出的地理定位结果代替GNSS定位输入无人机飞控。

4G通信传输天线与地面站连接，传输无人机状态和图像数据。无人机状态包括GNSS信号强度、当前位置，图像数据包括无人机拍摄影像，异源影像匹配结果。

集成装置盒包括计算单元、存储单元和通信模块，存储单元和通信模块都与计算单元连接。计算单元执行基于异源影像匹配的无人机快速地理定位计算，输出定位结果。存储单元存储卫星影像，定位时会将对应的数据传输给计算单元。通信模块用于接收计算单元定位结果，与地面站通信传输数据。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施案例，做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。