一种基于视惯交互的无人机定位方法及装置

技术领域

本发明属于无人机领域，具体涉及一种基于视惯交互的无人机定位方法及装置。

背景技术

在GNSS(Global Navigation Satellite System，全球导航卫星系统)拒止条件下，INS(Inertial Navigation System，惯性导航系统)是一种常用的基于惯性测量单元IMU(Inertial Measurement Unit)估计无人机位置的方法。但随着时间的增加，IMU会产生不断增大的累计误差，而IMU本身没有办法消除自身所存在的这个误差，在定位精度要求比较高的场景下，INS无法单独使用，无法满足高精度的定位需求。因此，无人机视觉导航成为了研究的热点。无人机视觉导航技术是指利用计算机视觉技术将无人机航拍图像进行处理和分析，根据视觉定位算法可以估计出无人机当前位置，从而实现精准导航。但是，现有的视觉导航技术，仅依靠图像的匹配或者图像序列追踪得到的视觉定位结果准确度不高，有时无法快速、精确找到特征并匹配，往往不能满足高精度导航需求。

发明内容

为了解决现有技术中所存在的上述问题，本发明提供了一种基于视惯交互的无人机定位方法及装置。

本发明要解决的技术问题通过以下技术方案实现：

一种基于视惯交互的无人机定位方法，包括：

步骤一：加载离线瓦片地图数据库；所述离线瓦片地图数据库包括多个不同层级的离线瓦片地图；

步骤二：根据初始经纬度P

步骤三：根据无人机搭载的相机或镜头的高度，从所述离线瓦片地图数据库中选取某一层级的离线瓦片地图，以P

步骤四：将无人机视觉区域S与S

步骤五：从满足M

步骤六：根据N最大的目标离线瓦片解算出S中心点所在的经纬度信息P(x,y,z)作为无人机定位结果，并将P(x,y,z)作为新的初始经纬度P

在一个实施例中，所述方法还包括：在执行步骤四的过程中，若S

在一个实施例中，所述扩大S

在一个实施例中，所述方法还包括：在执行步骤四的过程中，针对每个目标离线瓦片，通过有限次地调整S的大小，使得该目标离线瓦片的特征匹配对数目N尽量满足M

其中，初始大小的S是按照下述方法划取的：

矫正无人机拍摄的画面；

在矫正后的画面中，以画面中心点为圆心，r为半径，划取初始大小的S。

在一个实施例中，所述有限次地调整S的大小，包括：

如果调整次数未达到上限，且N≥2M，则缩小S；

如果调整次数未达到上限，且N≤M，则扩大S；

如果调整次数达到上限，则停止调整。

在一个实施例中，步骤四中，将无人机视觉区域S与S

对无人机视觉区域S以及S

使用Light Glue图像特征匹配网络，对无人机视觉区域S的图像特征与S

在一个实施例中，无人机的机载硬盘中存有所有离线瓦片的图像特征；

步骤四中，将无人机视觉区域S与S

提取无人机视觉区域S的图像特征，并从所述机载硬盘中读取S

基于图像特征的相似性确定S与S

在一个实施例中，所述方法还包括：通过地面可视化系统输出所述无人机定位结果。

在一个实施例中，步骤三中，根据无人机搭载的相机或镜头的高度，从所述离线瓦片地图数据库中选取某一层级的离线瓦片地图，包括：

根据相机或镜头的高度和视场角计算当前地面分辨率，计算公式为：

其中，image height表示相机或镜头所捕捉图像的高度，FOV表示相机或镜头的视场角；h表示相机或镜头的高度；ground resolution表示地面分辨率；

根据地面分辨率解算要选取的地图层级，计算公式为：

其中，earth circumference表示地球的周长，

本发明还提供了一种基于视惯交互的无人机定位装置，包括：

加载模块，用于加载离线瓦片地图数据库；所述离线瓦片地图数据库包括多个层级的离线瓦片地图；

第一解算模块，用于根据初始经纬度P

划取模块，用于据无人机搭载的相机或镜头的高度，从所述离线瓦片地图数据库中选取某一层级的离线瓦片地图，以P

匹配模块，用于将无人机视觉区域S与S

筛选模块，用于从满足M

第二解算模块，用于根据N最大的目标离线瓦片解算出S中心点所在的经纬度信息P(x,y,z)作为无人机定位结果，并将P(x,y,z)作为新的初始经纬度P

本发明提供的基于视惯交互的无人机定位方法中，预先构建了离线瓦片地图数据库，该离线瓦片地图数据库包括多个不同层级的离线瓦片地图。由此，在进行无人机定位时，先根据初始经纬度P

并且，本发明在定位过程中通过灵活调整S和S

以下将结合附图及对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的一种基于视惯交互的无人机定位方法的流程图；

图2是本发明实施例中从离线瓦片地图中划取置信区域S

图3是本发明实施例中纠正后的无人机拍摄画面；

图4是本发明实施例中从纠正后的无人机拍摄画面中划取无人机视觉区域S的示意图；

图5是本发明实施例中使用的Light Glue图像特征匹配网络的结构示意图；

图6是将无人机视觉区域S与置信区域S

图7是本发明实施例中未扩大置信区域S

图8是本发明实施例中扩大置信区域S

图9是本发明实施例中调整无人机视觉区域S的流程图；

图10是本发明实施例中扩大无人机视觉区域S的示意图；

图11是本发明实施例中缩小无人机视觉区域S的示意图；

图12是本发明实施例提供的另一种基于视惯交互的无人机定位方法的流程图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

为了使无人机可以在GNSS拒止等极端条件下实现更准确的定位，从而满足高精度定位的需求，本发明实施例提供了一种基于视惯交互的无人机定位方法，如图1所示，该方法包括以下步骤：

步骤一：加载离线瓦片地图数据库；该离线瓦片地图数据库包括多个不同层级的离线瓦片地图。

具体的，本发明实施例中预先构建了多种不同层级的离线瓦片地图，构成了离线瓦片地图数据库。其中，每张离线瓦片地图都由若干张精确标注经纬度的离线瓦片组成。在实际中，为满足不同飞行高度下的地图匹配任务，首先从卫星地图服务下载不同层级的卫星地图服务，采用WGS 84坐标系统记录下载分辨率，并通过调整瓦片地图的朝向确保其正上方对应地理正北方向，以提高图像匹配的鲁棒性。

本发明实施例中构建的离线瓦片地图数据库为金字塔形状的层级结构，其中每个层级代表一种缩放级别。在卫星地图中，层级通常从高到低，最高层级(Level 0)覆盖整个地球。每个层级的地图分辨率按照2

其中，Resolution代表当前层级的分辨率，Initial Resolution是最高层级的分辨率。

与此同时，离线瓦片地图的整体地面范围(Ground Extent)也按照2

其中，Initial Ground Extent表示最高层级(Level 0)的整体地面范围。

由此可见，层级越高，地图分辨率越低，但视野范围越广；同时，整体地面范围越小，表示每个瓦片覆盖的地面范围越小。因此，在实际应用中，可根据实际的定位需求，选择下载多个合适层级的瓦片地图，以达到最佳的图像匹配效果。

步骤二：根据初始经纬度P

具体的，无人机配备IMU传感器，无人机起飞点的经纬度可以作为初始经纬度P

步骤三：根据无人机搭载的相机或镜头的高度，从离线瓦片地图数据库中选取某一层级的离线瓦片地图，以P

具体的，无人机配备高清视觉相机或镜头；根据无人机搭载的相机或镜头的高度，从离线瓦片地图数据库中选取某一层级的离线瓦片地图，包括：

(1)根据相机或镜头的高度和视场角计算当前地面分辨率，计算公式为：

其中，image height表示相机或镜头所捕捉图像的高度，通常以像素为单位，如果捕捉的是正方形的图像，那么图像的高度和宽度相同的，则可以用image width代替imageheight；FOV表示相机或镜头的视场角，该FOV通常在相机或镜头的规格说明中可以找到；h表示相机或镜头的高度；ground resolution表示地面分辨率；

(2)根据地面分辨率解算要选取的地图层级，计算公式为：

其中，earth circumference表示地球的周长，大约为40075公里；

该步骤三中，选定某一层级的离线瓦片地图后，以P

首先，将经纬度信息转换为弧度，转换公式如下：

其中，lon表示经度，lat表示维度，lon_rad是由经度转换的弧度，lat_rad是是由纬度转换的弧度。

其次，根据弧度与经纬度信息计算瓦片的行列号，计算公式如下：

其中，lon和lat分别是经度和纬度，L是步骤三中选取的地图层级，asinh是反双曲正弦函数，tan是正切函数，π是圆周率。xtile为离线瓦片的行号，ytile为离线瓦片的列号，行号和列号都是从0开始的整数，用于标识离线瓦片在其对应的层级的离线瓦片地图中的位置。

然后，根据离线瓦片的行号和列号，从离线瓦片地图中找出该离线瓦片，并以找出的该离线瓦片为中心向周围扩展一圈离线瓦片，将此时形成的区域作为在该离线瓦片地图中划取置信区域S

步骤四：将无人机视觉区域S与S

其中，该无人机视觉区域S是从无人机拍摄的画面中划取的区域。具体而言，首先矫正无人机拍摄的画面：基于拍摄瞬间的IMU数据，通过估算相机姿态，将拍摄画面旋转为垂直于地面的俯视图，得到矫正后的画面；此步骤涉及将图像坐标进行旋转变换，确保画面中心点为无人机几何中心在地面上的投影，可以提升后续匹配的鲁棒性。然后，以矫正后的画面中心点为圆心，r为半径，划取无人机视觉区域S。如图3和图4所示，其中图3为矫正后的画面，图4中红色圈中画面即为S。

可以理解的是，无人机拍摄的画面经过校正后，画面正中心所对应的经纬度即为无人机当前经纬度，因此从矫正后的画面中心划取无人机视觉区域S并在后续步骤中将其与置信区域S

在一种实现方式中，将无人机视觉区域S与S

对无人机视觉区域S以及S

使用Light Glue图像特征匹配网络，对无人机视觉区域S的图像特征与S

其中，Super Point特征提取模型是一种常用的基于深度学习的特征提取模型，通过神经网络学习图像中的关键点和描述符，相比于SIFT和ORB更适用于实时图像处理和计算资源受限的场景，并且具有更强的泛化能力。

Light Glue是一种基于深度学习的局部特征匹配模型，旨在提高内存和计算效率，同时实现更高的匹配准确性。其关键特性之一是自适应地处理问题难度，尤其在处理直观上易于匹配的图像对时，例如具有更大的视觉重叠或有限外观变化的情况下，能够实现更快的推理速度。

Light Glue的整体网络结构如图5所示，包括多个相同的层，这些层共同处理来自图像A和B提取的局部特征集合。每个层都包含自注意力和交叉注意力单元，这些单元有助于更新每个点的表示，捕捉特征集合内部和两个集合之间的关系。此外，每个层都配备了一个分类器，该分类器的设计使其能够在每个层次上智能地决定是否停止推理，从而避免不必要的计算，提高整体推理速度。最后，Light Glue采用轻量级头来计算出部分匹配，这可能包括两个图像的局部特征集合之间的相关性或相似性。

在实际应用中，将无人机视觉区域S的图像特征(包括视觉描述子和关键点位置)作为第一输入特征，将置信区域S

在另一种实现方式中，无人机的机载硬盘中可以存有所有离线瓦片的图像特征；相应的，将无人机视觉区域S与S

这里，基于图像特征的相似性确定S与S

该实现方式中，预先通过应用Super Point特征提取模型对离线瓦片地图数据库中的离线瓦片进行特征点预检测和描述符预生成，得到其图像特征，将这些提取的图像特征被保存到无人机的机载硬盘中。这意味着后续在每次进行图像特征匹配时，只需读取预先提取并保存在硬盘中的图像特征，而无需每次定位都对所有离线瓦片进行特征提取。这一优化显著提高了后续图像匹配的速度。

在一种优选实现方式中，在图1所示的方法流程的基础上，参见图12中的步骤L1所示，本发明实施例提供的基于视惯交互的无人机定位方法还包括：

在执行步骤四的过程中，若S

其中，扩大S

具体而言，若一开始S

(1)能够避免在搜索范围固定的情况下，由于IMU累计误差过大，根据IMU提供的经纬度信息合成卫星地图与无人机视野没有交集，即匹配不到特征信息，而无法完成后续操作，造成无人机丢失的情况；

(2)由于每次扩大搜索范围，需要检索的瓦片地图数量也会大量增加(如图8所示)，未扩大Si前需要搜索黄色区域内9张瓦片地图；扩大S

在一种优选实现方式中，在图1所示的方法流程的基础上，参见图12中的步骤L2所示，本发明实施例提供的基于视惯交互的无人机定位方法还包括：

在执行步骤四的过程中，针对每个目标离线瓦片，可以通过有限次地调整S的大小，使得该目标离线瓦片的特征匹配对数目N尽量满足M

具体而言，针对每个目标离线瓦片，在将无人机视觉区域S与该离线瓦片进行图像特征匹配时，初始大小的S的划取方式参见图4；后续通过多次调整S的大小，使得该目标离线瓦片的特征匹配对数目N尽量满足M

如果调整次数未达到上限，且N≥2M，则缩小S；

如果调整次数未达到上限，且N≤M，则扩大S；

如果调整次数达到上限，则停止调整。

可以理解的是，如果N≥2M，则说明在无人机视野中划定的区域S过大，导致特征匹配对数目过多，此时虽然匹配成功，但精度可以进一步提高，故缩小区域S以提高定位精度；如果N≤M，则说明在无人机视野中划定的区域S过小，导致特征匹配对数目过低，故扩大区域S，以保证有足够的匹配点数，提高匹配精度。具体调整S的过程可参见图9所示，每次扩大或缩小S时，S半径的变化为±θ，如图10和图11所示。

步骤五：从满足M

步骤六：根据N最大的目标离线瓦片解算出S中心点所在的经纬度信息P(x,y,z)作为无人机定位结果，并将P(x,y,z)作为新的初始经纬度P

具体的，根据N最大的目标离线瓦片的行号和列号及其像素坐标解算解算出S中心点所在的经纬度信息P(x,y,z)，该P(x,y,z)即是当前的无人机定位结果。然后，将该P(x,y,z)作为新的初始经纬度P

在一种优选实现方式中，本发明实施例提供的基于视惯交互的无人机定位方法还可以包括：通过地面可视化系统输出无人机定位结果。

下面对利用本发明实施例提供的无人机定位方法实现无人机定位的过程进行详述如下：

首先，无人机起飞时，以起飞点的初始经纬度P

本发明实施例提供的基于视惯交互的无人机定位方法中，预先构建了离线瓦片地图数据库，该离线瓦片地图数据库包括多个不同层级的离线瓦片地图。由此，在进行无人机定位时，先根据初始经纬度P

并且，本发明实施例在定位过程中通过灵活调整S和S

基于同一发明构思，本发明实施例还提供了一种基于视惯交互的无人机定位装置，其特征在于，包括：

加载模块，用于加载离线瓦片地图数据库；所述离线瓦片地图数据库包括多个层级的离线瓦片地图；

第一解算模块，用于根据初始经纬度P

划取模块，用于据无人机搭载的相机或镜头的高度，从所述离线瓦片地图数据库中选取某一层级的离线瓦片地图，以P

匹配模块，用于将无人机视觉区域S与S

筛选模块，用于从满足M

第二解算模块，用于根据N最大的目标离线瓦片解算出S中心点所在的经纬度信息P(x,y,z)作为无人机定位结果，并将P(x,y,z)作为新的初始经纬度P

可选地，匹配模块，还用于：若S

可选地，匹配模块，扩大S

可选地，匹配模块，还用于：针对每个目标离线瓦片，通过有限次地调整S的大小，使得该目标离线瓦片的特征匹配对数目N尽量满足M

其中，初始大小的S是按照下述方法划取的：

矫正无人机拍摄的画面；

在矫正后的画面中，以画面中心点为圆心，r为半径，划取初始大小的S。

可选地，匹配模块，有限次地调整S的大小，包括：

如果调整次数未达到上限，且N≥2M，则缩小S；

如果调整次数未达到上限，且N≤M，则扩大S；

如果调整次数达到上限，则停止调整。

可选地，匹配模块，将无人机视觉区域S与S

对无人机视觉区域S以及S

使用Light Glue图像特征匹配网络，对无人机视觉区域S的图像特征与S

可选地，无人机的机载硬盘中存有所有离线瓦片的图像特征；

匹配模块，将无人机视觉区域S与S

提取无人机视觉区域S的图像特征，并从所述机载硬盘中读取S

基于图像特征的相似性确定S与S

可选地，上述装置还包括：输出模块；

该输出模块，用于通过地面可视化系统输出所述无人机定位结果。

可选地，划取模块，根据无人机搭载的相机或镜头的高度，从所述离线瓦片地图数据库中选取某一层级的离线瓦片地图，包括：

根据相机或镜头的高度和视场角计算当前地面分辨率，计算公式为：

其中，image height表示相机或镜头所捕捉图像的高度，FOV表示相机或镜头的视场角；h表示相机或镜头的高度；ground resolution表示地面分辨率；

根据地面分辨率解算要选取的地图层级，计算公式为：

其中，earth circumference表示地球的周长，

需要说明的是，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与本发明的一些方面相一致的装置和方法的例子。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图以及公开内容，可理解并实现所述公开实施例的其他变化。在本发明的描述中，“包括”一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外,相互不同的实施例中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。