一种面向广域的端边云协同计算的视觉定位方法与系统

技术领域

本发明涉及智能计算领域中的视觉定位方法，尤其涉及一种面向广域的端边云协同计算的视觉定位方法与装置。

背景技术

随着5G等先进无线通信技术和端边云广域协同计算的快速发展，使得已车路云协同感知计算为基础的智能交通成为可能。

目前主流的视觉定位算法(比如主流的SLAM算法)都是将所有的计算模块都集中在移动设备(如车)中进行。而移动端的计算单元往往因轻量化的要求，计算能力相对有限，因此这些算法有着效率低，精度差，更新慢等缺陷。而分布协同的视觉定位方法与主流的定位方法相对应，该定位方法将视觉定位的各个计算模块分布在端边云不同的计算单元内。由此，一些本该在移动端进行的计算任务可以移动到其他计算单元中，提高了整体定位算法的效率。

但随着作业环境的扩大，单机SLAM效率较低，估计时间增长,往往难以达到良好的效果。目前,在学术领域也有一些研究者提出了一些基于视觉的协同定位方法。PatrikSchmuck的团队在2018年提出了一种基于多移动设备的协同SLAM算法框架——CCM-SLAM。在该框架由多个移动端和一个服务器端组成。移动端主要负责视觉里程计的任务，而服务器端则接收所有移动设备的观察结果，进行图像检测，全局定位，以及全局优化的工作。

Ali J.的团队在2020年提出了Edge-SLAM的算法，该算法基于主流的ORB-SLAM。为了解决移动设备计算以及内存资源有限的情况，Edge-SLAM在移动端只保留视觉里程计以及局部的回环检测和优化的任务，其余的全局计算任务都放到边缘计算的设备中进行。然而，上述方法虽然将多个计算模块分布在不同计算单元内，但是普通SLAM在算法层面遇到的问题，比如累计误差等还是会在这些方法中出现。

发明内容

本发明的目的是在于针对现有技术的不足，提供一种面向广域的端边云协同计算的视觉定位方法与装置。

为了实现上述目的，本发明提供了一种面向广域的端边云协同计算的视觉定位方法，具体实施包括以下步骤：

本发明实施例的第一方面提供了一种面向广域的端边云协同计算的视觉定位方法，所述方法包括：

S1，对场景进行全局地图重建，并将全局地图重建加载到边侧；

S2，通过布设在每个端侧的双目相机采集图像，利用视觉里程计算法将双目相机采集的图像进行时间戳对齐后进行光流追踪，生成特征点以及观测信息；

S3，基于步骤S2得到的特征点以及观测信息估计端侧每一帧的位姿，并进行局部的位姿优化及特征点优化，得到关键帧初定位的结果；

S4，将步骤S3得到的关键帧初定位的结果以及特征点信息发送至边侧；

S5，边侧接收关键帧初定位的结果以及特征点信息后进行全局定位，得到定位信息，并将其回传至对应的端侧，端侧根据定位信息将对应的里程计坐标系与步骤S1获取的全局地图进行对齐，完成各自端侧里程计与边侧全局地图的协同初始化；

S6，端侧完成初始化后，将步骤S3得到的关键帧初定位的结果以及特征点信息发送至边侧，边侧根据接收的关键帧初定位的结果、特征点信息与全局地图进行全局定位，将把全局定位的结果反馈给对应的端侧；

S7，端侧接收到全局定位信息后，进行全局图优化；

S8，将全局图优化得到的修正数据发送至边侧进行全局定位，边侧将全局定位信息传入云端进行显示。

本发明实施例的第二方面提供了一种面向广域的端边云协同计算的视觉定位系统，用于实现上述的面向广域的端边云协同计算的视觉定位方法，所述系统包括：

端侧，用于将双目相机采集的图像进行时间戳对齐后进行光流追踪，生成特征点以及观测信息，并将特征点以及观测信息估计端侧每一帧的位姿，并进行局部的位姿优化及特征点优化，得到关键帧初定位的结果；用于对全局定位信息，进行全局图优化；

边侧，根据关键帧初定位的结果、特征点信息与全局地图进行全局定位；

云端，用于显示优化后的全局定位结果。

本发明实施例的第三方面提供了一种电子设备，包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的面向广域的端边云协同计算的视觉定位方法。

本发明实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的面向广域的端边云协同计算的视觉定位方法。

与现有技术相比，本发明的有益效果为：本发明提供了一种面向广域的端边云协同计算的视觉定位方法，利用搭载着双目相机的移动终端，利用端边云的计算框架，以及预先建立的在线地图，实现基于双目相机的实时定位与建图(SLAM)的工作。在端边云协同计算框架中，移动终端(即端侧)承担着利用双目相机进行视觉里程计、全局图优化的工作。移动终端把信息传输到边缘计算单元，而边缘计算单元则进行着图像检索，以及全局定位的工作。最后，端边协同计算出的定位结果，会发送给云端进行实时的可视化显示。本发明方法可以实现实时定位以及最终可视化，且各个工作被分布在端边云不同的计算单元中，从而提高了实时定位的计算效率。本发明的端边云协同计算框架还支持边云侧对接多个移动终端的部署模式，通过数据交换，估计、优化各自的定位信息，以此获取更高的管理效率。

附图说明

图1为本发明实施方案的简化系统流程图；

图2为本发明实施方案的详细系统流程图；

图3为本发明实施方案的多机部署示意图；

图4为本发明实施案例中的全局定位结果示意图；

图5为本发明实施案例中的云端显示效果示意图；

图6为本发明实施例提供的一种电子设备的示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的方法类的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

如图1所示，本发明提出的一种面向广域的端边云协同计算的视觉定位方法，具体包括以下步骤：

S1，对场景进行全局地图重建，并将全局地图重建加载到边侧单元。

具体地，通过无人机和地面小车采集图像数据，再对无人机和地面小车采集的图像数据分别建图得到地面地图和空中地图，根据相机姿态，估计地面地图和空中地图的坐标系关系，进行地图融合，生成完整的全局地图。在边侧加载全局地图时，利用词袋模型方法生成并加载数据库，在后续步骤中利用数据库的序列加载相机的位姿数据和相机图像的信息。

S2，通过布设在每个端侧的双目相机采集图像，利用视觉里程计算法将双目相机采集的图像进行时间戳对齐后进行光流追踪，生成特征点以及对应的观测信息。

具体地，当布设在每个端侧的双目相机开始采集图像时，双目相机将图像信息发送至对应的ROS话题，通过视觉里程计算法处理该ROS话题的图像信息，将图像信息进行时间戳对齐后通过光流追踪进行特征提取，生成特征点以及对应的观测信息。

S3，通过步骤S2得到的特征点以及对应的观测信息估计端侧每一帧的位姿，并进行局部的位姿以及特征点优化，得到关键帧初定位的结果。

具体地，在本实例中，利用PnP技术估计端侧每一帧的位姿，以此结合双目信息求解出特征点的深度，并进行局部的位姿以及特征点优化。局部的位姿优化通过局部的非线性优化实现，其中局部的非线性优化是以十帧滑窗为基本单位，采用光束平差法(BundleAdjustment)将位姿和特征点都看成优化变量，一起同时优化以最小化重投影误差。

最小化重投影误差ξ

通过下述公式可以得到步骤S2得到的特征点的图像坐标系下的像素坐标和世界坐标系下的三维坐标建立互相转换的关系。

式中，s

s

式中，u

其中，ξ为布设在每个端侧的双目相机的位姿(李代数形式)。

S4，将步骤S3得到的关键帧初定位的结果以及特征点信息发送至边侧。

S5，边侧接收关键帧初定位的结果以及特征点信息后进行全局定位，得到定位信息，并将其回传至对应的端侧，端侧根据定位信息将对应的里程计坐标系与步骤S1获取的全局地图进行对齐，完成各自端侧里程计与边侧全局地图的协同初始化。

更进一步，所述S5具体实施方式为：定位系统初始化方式为端侧小车将关键帧发送至边侧。边侧根据关键帧信息，利用词袋模型检测出在线地图中与关键帧相近的图像，并进行全局定位，获取端侧坐标系与在线地图坐标系的转换关系。边侧将计算得到的转换关系回传至端侧的里程计。里程计根据传来的变换调整坐标系与在线地图的坐标系保持一致，并将其他信息清空和重置，完成端侧定位系统与边侧在线地图协同初始化。

S6，端侧完成初始化后，将步骤S3得到的关键帧初定位的结果以及特征点信息发送至边侧，边侧根据接收的关键帧初定位的结果、特征点信息与全局地图进行全局定位，将把全局定位的结果反馈给对应的端侧。

关键帧初定位的结果以及特征点信息发送至边侧的发送标准包括：标准一是与上一个关键帧的平均视差，如果在当前帧和最新关键帧之间跟踪的特征点的平均视差超出某个自定义的平均视差阈值，则将该帧视为新的关键帧。标准二是跟踪质量，如果跟踪的特征数量低于某一自定义的特征数量阈值，则将此帧视为新的关键帧，目的是为了避免跟踪特征完全丢失。

端侧本地待优化的关键帧对象包含了关键帧序列号，里程计位姿，优化后位姿，以及全局定位约束信息。

进行全局定位的过程包括：边侧根据关键帧信息，利用词袋模型检测出在线地图中与关键帧相近的图像，并进行全局定位，获取关键帧在在线地图坐标系下的重定位位姿。在全局定位中，系统使用BREIF描述子匹配关键帧的特征点与在线地图，接着利用PnP-RANSAC的方法计算出重定位位姿，之后筛除RNANSAC内点小于一定阈值的重定位结果。接着，边侧将通过筛选的重定位位姿以及所属关键帧的序列号整合发送会端侧的图优化模块。

S7，端侧中的图优化模块在接收到全局定位信息后，进行全局图优化，并将修正数据发送至视觉里程计模块。

具体地，端侧中的图优化模块在接收到全局定位信息后，进行全局图优化，得到修正数据，其中所述修改数据包括计算得到的累积偏移位姿，将当前的小车重定位到原世界坐标系中。

全局图优化的过程具体为：构建一个只优化轨迹的6自由度位姿图优化，而位姿节点之间的边，由两个关键帧之间通过特征匹配之后得到的运动估计来给定初始值。特别地，一旦初始估计完成，不再优化路标点的位置，只优化所有的布设在端侧的双目相机对应的关键帧位姿。

第i帧和第j帧的顺序边残差r

其中，p

第i帧的回环残差为

其中，

所有序列边和回环边的整体目标函数即图优化的目标函数为：

其中，S为顺序边的集合，L为回环边的集合，h(*)为huber函数。

S8，端侧中的视觉里程计模块将全局图优化得到的修正后实时相机定位结果发送至边侧进行全局定位，边侧将全局定位信息传入云端进行显示。

相应地，本发明提出了一种面向广域的端边云协同计算的视觉定位系统，用于实现上述的面向广域的端边云协同计算的视觉定位方法，所述系统包括：

若干端侧单元、边侧单元、云端单元；

所述端侧单元包括视觉里程计模块、图优化模块；所述视觉里程计模块用于将双目相机采集的图像进行时间戳对齐后进行光流追踪，生成特征点以及观测信息，并将特征点以及观测信息估计端侧每一帧的位姿，并进行局部的位姿优化及特征点优化，得到关键帧初定位的结果；所述图优化模块用于对全局定位信息，进行全局图优化；

所述边侧单元根据关键帧初定位的结果、特征点信息与全局地图进行全局定位；

所述云端单元用于显示优化后的全局定位结果。

关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

对于系统实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的面向广域的端边云协同计算的视觉定位方法。如图6所示，为本发明实施例提供的面向广域的端边云协同计算的视觉定位方法所在任意具备数据处理能力的设备的一种硬件结构图，除了图6所示的处理器、内存以及网络接口之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的面向广域的端边云协同计算的视觉定位方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。