一种室内室外穿越无人机的平顺定位方法及装置

技术领域

本发明涉及无人机定位技术领域，特别是指一种室内室外穿越无人机的平顺定位方法及装置。

背景技术

在多种复杂空间中的定位技术对无人机的安全运行起着重要作用。受到有效载荷和计算资源的限制，传统的无人机定位方法使用基于GPS(Global Positioning System，全球定位系统)、IMU(Inertial Measurement Unit,惯性测量单元)、磁力计和气压计传感器的扩展EKF(Extended Kalman Filter，卡尔曼滤波器)。虽然视觉信息处理对计算的要求更高，但是最近出现的基于滤波或滑动窗口平滑的VINS(Visual Inertial NavigationSystem,视觉惯性导航系统)计算量相对较轻，已广泛用于无人机的室内飞行。

现有技术中，不同环境中不同种类的传感器可能受到不同的干扰，在室内环境中GPS信号较弱无人机难以获取准确位置信息，室外环境中运动速度快、光线变化大等因素对基于VINS的方法可能引起较大误差甚至导致失效，因此需要一种能够实现无人机的无缝室内外组合空间飞行方法。

发明内容

针对现有技术中不能实现无人机的无缝室内外组合空间飞行的问题，本发明提出了一种室内室外穿越无人机的平顺定位方法及装置。

为解决上述技术问题，本发明提供如下技术方案：

一方面，提供了一种室内室外穿越无人机的平顺定位方法，该方法应用于电子设备，包括以下步骤：

S1：基于因子图优化框架，进行多源传感器信息融合；

S2：将所述多源传感器信息融合过程与VINS算法相结合，进行最大后验估计，获得基于GPS-VINS因子图结构的因子图优化估计框架；

S3：将最大后验估计问题转化为稀疏线性优化问题，通过求解最大后验估计的优化问题，基于因子图优化估计框架，完成室内室外穿越无人机的平顺定位。

可选地，步骤S1包括，基于因子图优化框架，进行多源传感器信息融合，包括：

S11：构建多源传感器组；所述多源传感器组包括：GPS传感器、IMU传感器、视觉传感器、气压计传感器和磁力计传感器；

S12：对所述GPS传感器、IMU传感器、视觉传感器、气压计传感器和磁力计传感器，分别构建适配的传感器模型；

S13：将每个传感器以及对应的传感器模型融合在因子图优化框架中，进行多源传感器信息融合。

可选地，步骤S12还包括，将GPS传感器适配的传感器模型构建为有界随机游走。

可选地，所述步骤S13中，将每个传感器信息及对应的传感器模型融合在因子图优化框架中，进行多源传感器信息融合，包括：

S131：边际化无人机的GPS传感器数据，获得GPS偏差信息；

S132：通过视觉传感器对无人机进行关键帧特征提取，获得关键帧信息；

S133：对无人机的IMU传感器数据进行预积分，获得IMU信息；

S134：将获得的GPS偏差信息、关键帧信息、IMU信息、气压计传感器和磁力计传感器的信息，及对应的传感器模型融合在因子图优化框架中。

可选地，步骤S2中，所述GPS-VINS因子图结构包括多种测量因子，多种测量因子包括：GPS因子、视觉因子、IMU因子、磁力计因子以及气压计因子。

可选地，步骤S2还包括：通过贝叶斯定理，根据下述公式(1)从每个传感器模型的概率和先验信息中得到k时刻状态概率模型p{X

其中，Z

可选地，步骤S3中，将最大后验估计问题转化为稀疏线性优化问题，通过求解最大后验估计的优化问题，基于因子图优化的估计框架，完成室内室外穿越无人机的平顺定位，包括：

S31：通过稀疏关系来识别GPS-VINS因子图结构中的所有测量因子和状态，获得因子化测量模型；

S32：通过联合似然性分解多个因子，根据所述因子化测量模型将最大后验估计定义为测量值的负对数似然函数；

S33：通过稀疏状态的相关结构，基于因子图优化的估计框架，完成室内室外穿越无人机的平顺定位。

可选地，步骤S31中，所述GPS-VINS因子图结构的测量模式包括：VINS模式、GPS测试模式、GPS模式、GPS-VINS模式以及GPS有界游走模式；

其中，所述VINS模式下，融合视觉信息和IMU信息；GPS测试模式下，GPS测量用于估计GPS坐标状态时使用；GPS模式下，完全依靠GPS的定位信息；GPS-VINS模式下，融合GPS和VINS的定位信息；GPS有界游走模式下，使用GPS随机游动因子和边界因子。

可选地，步骤S31还包括：根据GPS和视觉传感器测量的状态动态更改传感器融合模式，对室内和室外空间进行连续且稳定的状态估计。

一方面，提供了一种室内室外穿越无人机的平顺定位装置，该装置应用于电子设备，该装置包括：

信息融合模块，基于因子图优化框架，进行多源传感器信息融合；；

算法结合模块，用于将所述多源传感器信息融合过程与VINS算法相结合，进行最大后验估计，获得基于GPS-VINS因子图结构的因子图优化估计框架；

问题转化模块，用于将最大后验估计问题转化为稀疏线性优化问题，通过求解最大后验估计的优化问题，基于因子图优化估计框架，完成室内室外穿越无人机的平顺定位。

一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述一种室内室外穿越无人机的平顺定位方法。

一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述一种室内室外穿越无人机的平顺定位方法。

本发明实施例的上述技术方案至少具有如下有益效果：

上述方案中，本发明提出一种用于室内外组合空间无人机定位的GPS融合视觉惯性导航系统。在因子图优化框架下，将GPS构建为有界随机游动过程，解决了GPS与视觉定位不一致的问题。当GPS信号在建筑物附近或建筑物内发生严重退化时，状态估计是根据天空开放度和估计的GPS偏差残差动态改变各种传感器测量值的融合模式来实现的。提出的GPS-VINS算法在室内外组合空间中实现了一致统一的定位，实现了无人机的无缝室内外组合空间飞行。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种室内室外穿越无人机的平顺定位方法的流程图；

图2是本发明实施例提供的一种室内室外穿越无人机的平顺定位方法的流程图；

图3是本发明实施例提供的一种室内室外穿越无人机的平顺定位方法的算法流程示意图；

图4是本发明实施例提供的一种室内室外穿越无人机的平顺定位方法的动态传感器融合模式切换图；

图5本发明实施例提供的一种室内室外穿越无人机的平顺定位装置框图；

图6本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明实施例提供了一种室内室外穿越无人机的平顺定位方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的室内室外穿越无人机的平顺定位方法流程图，该方法的处理流程可以包括如下的步骤：

S101：基于因子图优化框架，进行多源传感器信息融合；

S102：将多源传感器信息融合过程与VINS算法相结合，进行最大后验估计，获得基于GPS-VINS因子图结构的因子图优化估计框架；

S103：将最大后验估计问题转化为稀疏线性优化问题，结合因子图优化估计框架，完成室内室外穿越无人机的平顺定位。

可选地，步骤S101包括，基于因子图优化框架，进行多源传感器信息融合，包括：

S111：构建多源传感器组；多源传感器组包括：GPS传感器、IMU传感器、视觉传感器、气压计传感器和磁力计传感器；

S112：对GPS传感器、IMU传感器、视觉传感器、气压计传感器和磁力计传感器，分别构建适配的传感器模型；

S113：将每个传感器信息以及对应的传感器模型融合在因子图优化框架中，进行多源传感器信息融合。

可选地，步骤S112还包括，将GPS传感器适配的传感器模型构建为有界随机游走。

可选地，步骤S113中，将每个传感器信息及对应的传感器模型融合在因子图优化框架中，进行多源传感器信息融合，包括：

S1131：边际化无人机的GPS传感器数据，获得GPS偏差信息；

S1132：通过视觉传感器对无人机进行关键帧特征提取，获得关键帧信息；

S1133：对无人机的IMU传感器数据进行预积分，获得IMU信息；

S1134：将获得的GPS偏差信息、关键帧信息、IMU信息、气压计传感器和磁力计传感器的信息，及对应的传感器模型融合在因子图优化框架中。

可选地，步骤S102中，GPS-VINS因子图结构包括多种测量因子，多种测量因子包括：GPS因子、视觉因子、IMU因子、磁力计因子以及气压计因子。

可选地，步骤S102还包括，通过贝叶斯定理，根据下述公式(1)从每个传感器模型的概率和先验信息中得到k时刻状态概率模型p{X

其中，Z

可选地，步骤S103中，将最大后验估计问题转化为稀疏线性优化问题，通过求解最大后验估计的优化问题，基于因子图优化的估计框架，完成室内室外穿越无人机的平顺定位，包括：

S131：通过稀疏关系来识别GPS-VINS因子图结构中的所有测量因子和状态，获得因子化测量模型；

S132：通过联合似然性分解多个因子，根据因子化测量模型将最大后验估计定义为测量值的负对数似然函数；

S133：通过稀疏状态的相关结构，基于因子图优化的估计框架，完成室内室外穿越无人机的平顺定位。

可选地，步骤S131中，GPS-VINS因子图结构的测量模式包括：VINS模式、GPS测试模式、GPS模式、GPS-VINS模式以及GPS有界游走模式；

其中，所述VINS模式下，融合视觉信息和IMU信息；GPS测试模式下，GPS测量用于估计GPS坐标状态时使用；GPS模式下，完全依靠GPS的定位信息；GPS-VINS模式下，融合GPS和VINS的定位信息；GPS有界游走模式下，使用GPS随机游动因子和边界因子。

可选地，步骤S131还包括：根据GPS和视觉传感器测量的状态动态更改传感器融合模式，对室内和室外空间进行连续且稳定的状态估计。

本发明实施例中，提出一种用于室内外组合空间无人机定位的GPS融合视觉惯性导航系统。在因子图优化框架下，将GPS构建为有界随机游动过程，解决了GPS与视觉定位不一致的问题。当GPS信号在建筑物附近或建筑物内发生严重退化时，状态估计是根据天空开放度和估计的GPS偏差残差动态改变各种传感器测量值的融合模式来实现的。提出的GPS-VINS算法在室内外组合空间中实现了一致统一的定位，实现了无人机的无缝室内外组合空间飞行。

本发明实施例提供了一种室内室外穿越无人机的平顺定位方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图2所示的室内室外穿越无人机的平顺定位方法流程图，该方法的处理流程可以包括如下的步骤：

S201：构建多源传感器组。

一种可行的实施方式中，多源传感器组包括：GPS传感器、IMU传感器、视觉传感器、气压计传感器和磁力计传感器。

S202：对GPS传感器、IMU传感器、视觉传感器、气压计传感器和磁力计传感器，分别构建适配的传感器模型；

一种可行的实施方式中，将GPS传感器适配的传感器模型构建为有界随机游走，以解决GPS与视觉信息之间的定位不一致问题。

S203：将每个传感器以及对应的传感器模型融合在因子图优化框架中，进行多源传感器信息融合。

一种可行的实施方式中，通过边际化GPS传感器数据，以及在关键帧间对IMU传感器数据进行预积分，将传播的GPS偏差信息与视觉关键帧以及IMU信息进行融合，用于估计和补偿中等大小的GPS偏差。

S204：将多源传感器信息融合过程与VINS算法相结合，进行最大后验估计，获得基于GPS-VINS因子图结构的因子图优化估计框架。

一种可行的实施方式中，如图3所示，展示了本发明的GPS融合VINS算法，该算法可以实现无人机的室内外联合定位。GPS、IMU、视觉、气压计和磁力计等传感器与其传感器模型紧密融合在因子图优化框架中，实现最大后验估计。

一种可行的实施方式中，GPS-VINS因子图结构包括多种测量因子，多种测量因子包括：GPS因子、视觉因子、IMU因子、磁力计因子以及气压计因子。

本发明实施例中，为了实现无人机的室内外过渡飞行，本发明使用了GPS融合VINS算法，该算法基于因子图优化框架将GPS、视觉、IMU、磁力计和气压计信息融合在一起。为了在大的室内外组合空间中实现连续统一的状态估计，设计了一种GPS-视觉融合方法以及传感器融合模式动态切换方法。本发明使用了GPS融合VINS的算法，GPS、IMU、视觉、气压计和磁力计等传感器与其传感器模型紧密融合在因子图优化框架中，实现最大后验估计，实现无人机的室内外联合定位。

一种可行的实施方式中，VINS与GPS信息的融合过程中，所有传感器测量值Z包括：视觉信息C、IMU数据I、GPS数据G、磁力计数据M和气压高度计A，使用这些信息共同估计空间结构和无人机运动状态X。通过贝叶斯定理，根据下述公式(2)从每个传感器模型的概率和先验信息中得到k时刻状态的概率模型p{X

其中，Z

S205：通过稀疏关系来识别GPS-VINS因子图结构中的所有测量因子和状态，获得因子化测量模型；

一种可行的实施方式中，GPS-VINS因子图结构的测量模式包括：VINS模式、GPS测试模式、GPS模式、GPS-VINS模式以及GPS有界游走模式；如图4所示。

其中，所述VINS模式下，融合视觉信息和IMU信息；GPS测试模式下，GPS测量用于估计GPS坐标状态时使用；GPS模式下，完全依靠GPS的定位信息；GPS-VINS模式下，融合GPS和VINS的定位信息；GPS有界游走模式下，使用GPS随机游动因子和边界因子。

一种可行的实施方式中，根据GPS和视觉传感器测量的状态动态更改传感器融合模式，对室内和室外空间进行连续且稳定的状态估计。

S206：通过联合似然性分解多个因子，根据因子化测量模型将最大后验估计定义为测量值的负对数似然函数。

一种可行的实施方式中，在因子图表示的状态-测量关系中，用稀疏关系来识别所有因子和状态。将联合似然性分解为多个因子，并根据因子化测量模型将最大后验估计定义为测量值的负对数似然函数，将最大后验估计问题转化为稀疏线性优化问题。

一种可行的实施方式中，联合似然性p(I,C,G,M,A|X

根据p(I,C,G,M,A|X

GPS-VINS的最大后验估计可以通过迭代高斯-牛顿(或列文伯格-马夸尔特Lebenberg-Marquardt)优化来解决，将优化问题变成如下式(5)的一个大的稀疏线性问题：

HδX＝b (5)

其中，H表示信息矩阵，b表示信息矢量，H和b均来自于测量模型，其中

一种可行的实施方式中，k时刻的估计器状态包括：与图像关键帧K

其中，x

一种可行的实施方式中，估计器的状态X

S207：通过稀疏状态的相关结构，基于因子图优化的估计框架，完成室内室外穿越无人机的平顺定位。

一种可行的实施方式中，通过使用稀疏状态相关结构，基于因子图优化的估计框架可以准确有效地解决复杂的传感器融合问题。

本发明实施例中，通过激光距离传感器直接测量顶部天花板高度可靠地确定天空开放度。在封闭天花板(室内)的情况下，如果图像特征数量高于所需最低阈值，则将完全放弃使用GPS(VINS模式)；仅当图像特征数量太少时，GPS测量才被部分融合(GPS有界游走模式)。在开放式天花板(室外)的情况下，当GPS误差足够小时，如果视觉特征数量足够，将融合视觉测量值(GPS-VINS模式)，否则将完全使用GPS进行定位(GPS模式)；当GPS误差过大，或检测到的卫星数太少时，则对GPS数据质量进行循环检测，并部分融合GPS数据(GPS测试模式)。

本发明实施例中，提出一种用于室内外组合空间无人机定位的GPS融合视觉惯性导航系统。在因子图优化框架下，将GPS构建为有界随机游动过程，解决了GPS与视觉定位不一致的问题。当GPS信号在建筑物附近或建筑物内发生严重退化时，状态估计是根据天空开放度和估计的GPS偏差残差动态改变各种传感器测量值的融合模式来实现的。提出的GPS-VINS算法在室内外组合空间中实现了一致统一的定位，实现了无人机的无缝室内外组合空间飞行。

图5据一示例性实施例示出的一种室内室外穿越无人机的平顺定位装置框图。参照图5该装置300包括：

信息融合模块310，基于因子图优化框架，进行多源传感器信息融合；；

算法结合模块320，用于将多源传感器信息融合过程与VINS算法相结合，进行最大后验估计，获得基于GPS-VINS因子图结构的因子图优化估计框架；

问题转化模块330，用于将最大后验估计问题转化为稀疏线性优化问题，通过求解最大后验估计的优化问题，基于因子图优化估计框架，完成室内室外穿越无人机的平顺定位。

可选地，信息融合模块310，基于将GPS传感器适配的传感器模型构建为有界随机游走。

可选地，信息融合模块310，基于通过边际化GPS传感器数据，以及在关键帧间对IMU传感器数据进行预积分，将传播的GPS偏差信息与视觉关键帧以及IMU信息进行融合。

可选地，算法结合模块320，用于GPS-VINS因子图结构包括多种测量因子，多种测量因子包括：GPS因子、视觉因子、IMU因子、磁力计因子以及气压计因子。

可选地，算法结合模块320，用于通过贝叶斯定理，根据下述公式(1)从每个传感器模型的概率和先验信息中得到k时刻状态的概率模型p{X

其中，Z

可选地，问题转化模块330，用于通过稀疏关系来识别GPS-VINS因子图结构中的所有测量因子和状态，获得因子化测量模型；

通过联合似然性分解多个因子，根据因子化测量模型将最大后验估计定义为测量值的负对数似然函数；

通过稀疏状态的相关结构，基于因子图优化的估计框架，完成室内室外穿越无人机的平顺定位。

可选地，问题转化模块330，GPS-VINS因子图结构的测量模式包括：VINS模式、GPS测试模式、GPS模式、GPS-VINS模式以及GPS有界游走模式；

其中，所述VINS模式下，融合视觉信息和IMU信息；GPS测试模式下，GPS测量用于估计GPS坐标状态时使用；GPS模式下，完全依靠GPS的定位信息；GPS-VINS模式下，融合GPS和VINS的定位信息；GPS有界游走模式下，使用GPS随机游动因子和边界因子。

可选地，问题转化模块330，用于根据GPS和视觉传感器测量的状态动态更改传感器融合模式，对室内和室外空间进行连续且稳定的状态估计。

本发明实施例中，提出一种用于室内外组合空间无人机定位的GPS融合视觉惯性导航系统。在因子图优化框架下，将GPS构建为有界随机游动过程，解决了GPS与视觉定位不一致的问题。当GPS信号在建筑物附近或建筑物内发生严重退化时，状态估计是根据天空开放度和估计的GPS偏差残差动态改变各种传感器测量值的融合模式来实现的。提出的GPS-VINS算法在室内外组合空间中实现了一致统一的定位，实现了无人机的无缝室内外组合空间飞行。

图6本发明实施例提供的一种电子设备400的结构示意图，该电子设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)401和一个或一个以上的存储器402，其中，存储器402中存储有至少一条指令，至少一条指令由处理器401加载并执行以实现下述室内室外穿越无人机的平顺定位方法的步骤：

S1：基于因子图优化框架，进行多源传感器信息融合；

S2：将多源传感器信息融合过程与VINS算法相结合，进行最大后验估计，获得基于GPS-VINS因子图结构的因子图优化估计框架；

S3：将最大后验估计问题转化为稀疏线性优化问题，通过求解最大后验估计的优化问题，基于因子图优化估计框架，完成室内室外穿越无人机的平顺定位。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述室内室外穿越无人机的平顺定位方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。