一种融合定位系统及方法

技术领域

本发明涉及移动设备的物体空间定位技术领域，具体涉及一种融合定位系统及方法。

背景技术

VSLAM(Visual,视觉导航)是现有技术中通常使用在移动设备定位导航的一种常规技术，VSLAM的实现方式通常为：提取每帧图像特征点，对相邻帧进行特征点粗匹配，然后利用RANSAC(随机抽样一致)算法去除不合理的匹配对，然后得到位置和姿态信息。这里得到的位置和姿态信息只计算相邻帧的运动，进行局部估计，这会不可避免的出现累积漂移，这是因为每次估计两个图像间的运动时都有一定的误差，经过相邻帧多次传递，前面的误差会逐渐累积，轨迹漂移(drift)的越来越厉害。

因此，目前采用VSLAM对物体定位会受限于误差累积，存在漂移误差问题。另外，它更偏向于移动设备自身的位置定位，而缺少辅助加入周围环境中物体的定位信息的功能，从而影响了VSLAM定位的精准度。

发明内容

本发明是为了解决现有采用VSLAM技术对物体定位的准确率低的问题。现提供一种融合定位系统及方法，具体包括。

一种融合定位系统，其中，所述融合定位系统适用于在一移动设备进行移动时对所述移动设备的中心点的坐标进行定位；

所述融合定位系统包括

视觉导航模块，用于采用VSLAM技术处理得到周围环境中的多个物体的特征点坐标并形成第一特征点云图；

AI物体识别模块，用于采用AI物体识别技术处理得到周围环境中的多个物体的位置坐标及物体类型并形成物体识别结果；

定位模块，分别连接所述视觉导航模块和所述AI物体识别模块，用于将所述第一特征点云图和所述物体识别结果融合形成第二特征点云图，并对所述第二特征点云图进行决策以处理得到所述移动设备当前的所述中心点的坐标。

优选的，该融合定位系统，其中，所述定位模块具体包括：

融合单元，用于将所述第一特征点云图和所述物体识别结果融合形成所述第二特征点云图；

决策逻辑单元，连接所述融合单元，用于对所述第二特征点云图进行决策识别，从而确定所述移动设备当前的所述中心点的坐标。

优选的，该融合定位系统，其中，所述决策逻辑单元具体包括：

存储部件，用于预先构建一保存有多个历史点云图的历史点云图库；

匹配部件，连接所述存储部件，用于根据所述第二特征点云图从历史点云图库中提取相匹配的多个所述历史点云图；

决策部件，连接所述匹配部件，用于根据所述第二特征点云图和被提取的多个所述历史点云图处理得到所述移动设备当前的所述中心点的坐标。

优选的，该融合定位系统，其中，所述匹配部件根据所述第二特征点云图中包括的物体的类型和数目，从所述历史点云图库中匹配得到相似的多个所述历史点云图并输出；

则所述决策部件用于将被提取的多个所述历史点云图和所述第二特征点云图中进行比较，并根据比较结果采用相机位姿估计算法计算得到所述移动设备当前的所述中心点的坐标。

优选的，该融合定位系统，其中，所述AI物体识别模块具体包括：

特征点提取单元，用于提取周围环境的物体表面的多个特征点的坐标值；

均匀点提取单元，连接所述特征点提取单元，用于根据物体的多个所述特征点测算得到所述物体表面均匀分布的多个均匀点的坐标值；

识别单元，分别连接所述特征点提取单元和所述均匀点提取单元，用于根据所述特征点和所述均匀点对物体进行识别，以得到所述物体识别结果。

优选的，该融合定位系统，其中，所述均匀点提取单元具体包括：

均匀点计算部件，用于根据物体的多个所述特征点测算得到所述物体表面均匀分布的多个均匀点的坐标值；

深度计算部件，连接所述均匀点计算部件，用于针对每个所述均匀点，判断所述均匀点的深度坐标值是否与其他所述均匀点差距过大且超出一预设深度阈值，输出判断结果；

均匀点剔除部件，连接所述深度计算部件，用于在所述判断结果表示所述均匀点的深度坐标值是否与其他所述均匀点差距过大且超出一预设深度阈值时，剔除对应的所述均匀点；

则所述均匀点提取单元输出经过剔除后剩下的所有所述均匀点。

优选的，该融合定位系统，其中，所述特征点提取单元具体包括：

特征点提取部件，用于提取所述物体的表面的多个所述特征点；

物体类型判断部件，连接所述特征点提取部件，用于根据所述特征点判断所述物体的物体类型；

第一判断部件，分别连接所述特征点提取部件和所述物体类型判断部件，用于判断是否存在物体类型相同且所述特征点相似的多个物体，并输出第一判断结果；

第二判断部件，连接所述第一判断部件，用于在所述第一判断结果表示存在物体类型相同且所述特征点相似的多个物体时，进一步判断多个所述物体是否能够组合，并输出第二判断结果；

处理部件，连接所述第二判断部件，用于根据所述第二判断结果：

在多个所述物体能够组合时，合并多个所述物体的所述特征点；以及

在多个所述物体无法组合时，删除多个所述物体的所述特征点。

一种融合定位方法，其中，应用于上述的融合定位系统，并包括：

步骤S1、采用VSLAM技术处理得到周围环境中的多个物体的特征点坐标并形成第一特征点云图，以及采用AI物体识别技术处理得到周围环境中的多个物体的位置坐标及物体类型并形成物体识别结果；

步骤S2、将所述第一特征点云图和所述物体识别结果融合形成第二特征点云图，并对所述第二特征点云图进行决策以处理得到所述移动设备当前的所述中心点的坐标。

优选的，该融合定位方法，其中，预先构建一保存有多个历史点云图的历史点云图库；

则所述步骤S2具体包括：

步骤S21，将所述第一特征点云图和所述物体识别结果融合形成所述第二特征点云图；

步骤S22，根据所述第二特征点云图从历史点云图库中提取相匹配的多个所述历史点云图；

步骤S23，根据所述第二特征点云图和被提取的多个所述历史点云图处理得到所述移动设备当前的所述中心点的坐标。

优选的，该融合定位方法，其中，所述步骤S1中，采用AI物体识别技术处理得到周围环境中的多个物体的位置坐标及物体类型并形成物体识别结果具体包括以下过程：

步骤S11,提取周围环境的物体表面的多个特征点的坐标值；

步骤S12，根据物体的多个所述特征点测算得到所述物体表面均匀分布的多个均匀点的坐标值；

步骤S13，根据所述特征点和所述均匀点对物体进行识别，以得到所述物体识别结果。

本发明的有益效果为：

本申请采用AI物体识别技术结合VSLAM导航技术，即将物体特征点坐标和物体位置坐标及物体类型结合，AI物体识别技术能有效纠正VSLAM随着时间发展带来的物体漂移误差，也能提供定位环境中多个物体位置坐标的能力，从而解决仅依靠VSLAM定位物体导致的误差累积使定位结果不准确的问题。另外，也可以防止仅仅依靠VSLAM技术采集到的物体特征点坐标较少，导致定位物体位置不准确的问题。

附图说明

图1为本发明的一种融合定位系统的总体系统框架示意图；

图2为定位模块的具体结构示意图；

图3为决策逻辑单元的具体结构示意图；

图4为AI物体识别模块的具体结构示意图；

图5为均匀点提取单元的具体结构示意图；

图6为特征点提取单元的具体结构示意图；

图7为一种融合定位方法的总体流程示意图；

图8为步骤S2的具体流程示意图；

图9为步骤S1中采用AI物体识别技术进行物体识别的具体流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本能够实施例中的技术方案进行清除、完整地描述，显然，所描述的实施例仅仅是发明一部分实时例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和具体实施例对本发明作进一步说明。

本发明提供了一种融合定位系统，融合定位系统适用于在一移动设备进行移动时对移动设备的中心点的坐标进行定位；

融合定位系统包括

视觉导航模块1，用于采用VSLAM技术处理得到周围环境中的多个物体的特征点坐标并形成第一特征点云图；

AI物体识别模块2，用于采用AI物体识别技术处理得到周围环境中的多个物体的位置坐标及物体类型并形成物体识别结果；

定位模块3，分别连接视觉导航模块和AI物体识别模块，用于将第一特征点云图和物体识别结果融合形成第二特征点云图，并对第二特征点云图进行决策以处理得到移动设备当前的中心点的坐标。

具体地，目前VSLAM物体定位存在漂移误差问题，另外，它更偏向于移动点自身的位置定位，而缺少对于周围物体的定位信息的提供能力。本申请提出一种利用AI物体识别技术和VSLAM技术相结合的物体定位技术，能有效纠正VSLAM随着时间发展带来的漂移误差物体，也能提供一种定位环境中多个物体位置坐标的能力。

本申请中的视觉导航模块1采用VSLAM技术进行定位和导航，其可以依赖于移动设备上设置的摄像装置来获取周围环境的图像数据，例如设置于移动设备上的单目摄像装置、双目摄像装置以及视觉里程计等。采用视觉导航模块1根据周围环境的物体进行定位来获取特征点云图为现有技术，在此不再赘述。

本申请中的AI物体识别模块2同样采用搭载在移动设备的图像采集装置例如摄像头来看获取待识别的周围环境的图像数据，并利用预先训练形成的神经网络模型对图像数据进行识别，从而识别得到图像数据中包括的周围环境中的各个物体的位置坐标以及物体类型。训练神经网络模型并进行识别的过程均为现有技术，在此不再赘述。

本申请中，在获得视觉导航模块1处理并输出的第一特征点云图以及AI物体识别模块2处理并输出的物体识别结果后，为了弥补现有技术中采用单一VSLAM技术存在漂移误差的问题，将第一特征点云图和物体识别结果进行融合以形成第二特征点云图，并采用第二特征点云图来定位形成移动设备当前的中心点的坐标，从而采用AI物体识别技术识别的周围物体来对VSLAM技术产生的漂移误差进行修正，使得最终得到的定位结果更精准。

本发明的较佳的实施例中，如图2中所示，定位模块3具体包括：

融合单元31，用于将第一特征点云图和物体识别结果融合形成第二特征点云图；

决策逻辑单元32，连接融合单元31，用于对第二特征点云图进行决策识别，从而确定移动设备当前的中心点的坐标。

更进一步地，如图3中所示，决策逻辑单元32具体包括：

存储部件321，用于预先构建一保存有多个历史点云图的历史点云图库；

匹配部件322，连接存储部件321，用于根据第二特征点云图从历史点云图库中提取相匹配的多个历史点云图；

决策部件323，连接匹配部件322，用于根据第二特征点云图和被提取的多个历史点云图处理得到移动设备当前的中心点的坐标。

更进一步地，匹配部件322根据第二特征点云图中包括的物体的类型和数目，从历史点云图库中匹配得到相似的多个历史点云图并输出；

则决策部件323用于将被提取的多个历史点云图和第二特征点云图中进行比较，并根据比较结果采用相机位姿估计算法计算得到移动设备当前的中心点的坐标。

具体地，本实施例中，首先通过预先采集得到的多张周围环境的图像来获得多个周围环境中包括的物体的点云图，并将这些点云图作为历史点云图保存在历史点云图库中。每张历史点云图均相关于移动设备当前所处的环境，并可以包括该环境中摆放的不同的物体，以及相同物体的不同的位置和状态，即采用多张历史点云图来表示当前环境的变化。当然，历史点云图库中的历史点云图越多，能够越完整的描述当前环境的变换状态，最终得到的定位坐标也就越精准。

在设置好历史点云图后，匹配部件321根据第二特征点云图中包含的物体位置坐标、物体类型以及物体数目等信息，从历史点云图库中进行匹配，从而找到物体类型和物体数目都差不多的历史点云图并输出。此处所谓的“差不多”实际上是一个模糊匹配的过程，可以采用匹配度加权计算并排序的方式来实现，在此不再赘述。

当获取到相似的多个历史点云图后，决策部件323会根据获取的几张历史物体点云图中的物体及特征点分布，和当前的第二特征点云图内对应的物体及特征点分布，来计算当前中心点的坐标位置及角度等信息。具体地，通过多张历史点云图与第二特征点云图中的相同类型的物体的不同位置的分布，采用相机位姿估计算法就能够计算得到移动设备当前的中心点的坐标和角度信息。当然，仅仅依靠一个物体来作为参照进行校准是不够的，因此若多张历史点云图中同时存在多种相同的物体，则一次计算会根据多种相同的物体同时进行参照从而计算出中心点的坐标，去除差异过大的结果后，对其余结果取平均或者进行加权平均计算，从而得到移动设备当前的中心点的坐标。上述加权平均计算的依据可以为物体识别的置信度以及特征点提取的置信度，置信度越高的加权系数就越大。

本发明的较佳的实施例中，如图4中所示，AI物体识别模块2具体包括：

特征点提取单元21，用于提取周围环境的物体表面的多个特征点的坐标值；

均匀点提取单元22，连接特征点提取单元21，用于根据物体的多个特征点测算得到物体表面均匀分布的多个均匀点的坐标值；

识别单元23，分别连接特征点提取单元21和均匀点提取单元22，用于根据特征点和均匀点对物体进行识别，以得到物体识别结果。

相对于传统的AI物体识别技术中通过提取图像特征点进行物体识别的过程而言，本实施例中在物体特征点的基础上进一步增加了物体表面的均匀点，从而补充物体特征点，避免物体特征点过少从而无法对物体进行识别的问题。

具体地，本实施例中，上述特征点提取单元21用于提取周围环境中的物体表面的多个特征点的坐标，特征点可以通过差异化取点的方式实现，即判断是否存在像素点与周围的像素点之间差距比较明显，并将差距明显的像素点作为特征点，从而构建整个物体表面的特征点。当然，特征点信息也可以采用现有技术中的其他方式处理得到，再次不再赘述。

进一步地，本实施例中，在获取到特征点的信息后，根据特征点的信息测算物体表面的均匀点信息。所谓均匀点，是指物体表面拟化的均匀分布的点，用于对特征点信息进行补充。均匀点的信息可以通过已经获得的特征点信息测算得到，例如以特征点为基准，间隔一段距离获得一个均匀点，并且以物体表面的边缘为限制，从而测算得到物体表面的均匀点信息。

则本实施例中，获取特征点和均匀点的坐标后，综合这些点的坐标来对物体进行识别，以识别得到物体的位置坐标以及物体类型。

本发明的较佳的实施例中，如图5中所示，均匀点提取单元22具体包括：

均匀点计算部件221，用于根据物体的多个特征点测算得到物体表面均匀分布的多个均匀点的坐标值；

深度计算部件222，连接均匀点计算部件221，用于针对每个均匀点，判断均匀点的深度坐标值是否与其他均匀点差距过大且超出一预设深度阈值，输出判断结果；

均匀点剔除部件223，连接深度计算部件222，用于在判断结果表示均匀点的深度坐标值是否与其他均匀点差距过大且超出一预设深度阈值时，剔除对应的均匀点；

则均匀点提取单元22输出经过剔除后剩下的所有均匀点。

具体地，本实施例中，由于均匀点是测算得到的，为了避免囊括进无效的均匀点，因此需要对获取到的均匀点进行筛选和剔除。筛选的方式可以为：首先获取每个均匀点在XYZ轴上的深度信息(Z轴坐标)，然后根据Z轴坐标进行判断，若某个均匀点的Z轴坐标同时符合下述两个条件，则表示该均匀点坐标需要被剔除：

1)该均匀点的深度数值超出一预设的深度阈值，该深度阈值可以预先设置且为一合理的值；

2)该均匀点的深度数值与周围其他均匀点的深度数值之间差距过大，可以将该均匀点的深度数值与周围其他均匀点的深度数值进行差值计算并将差值与一预设的差值阈值进行比较，若差值大于该差值阈值的数量占总数量的百分比大于一预设百分比(例如80％)，则表示该均匀点的深度数值与周围其他均匀点差距过大。

最终保留剔除后剩下的均匀点并输出，以作为参与后续计算的点

本发明的较佳的实施例中，如图6中所示，上述特征点提取单元21具体包括：

特征点提取部件211，用于提取物体的表面的多个特征点；

物体类型判断部件212，连接特征点提取部件211，用于根据特征点判断物体的物体类型；

第一判断部件213，分别连接特征点提取部件211和物体类型判断部件212，用于判断是否存在物体类型相同且特征点相似的多个物体，并输出第一判断结果；

第二判断部件214，连接第一判断部件213，用于在第一判断结果表示存在物体类型相同且特征点相似的多个物体时，进一步判断多个物体是否能够组合，并输出第二判断结果；

处理部件215，连接第二判断部件214，用于根据第二判断结果：

在多个物体能够组合时，合并多个物体的特征点；以及

在多个物体无法组合时，删除多个物体的特征点。

具体地，本实施例中，在对周围物体进行特征点提取时，有时候对于物体轮廓的识别不准确，从而导致错误分割物体，并最终降低识别结果的准确性。为了避免这个问题，在获取到特征点的信息后，还需要对特征点信息做合并处理。例如在周围环境中存在两个放置在一起的衣柜，在进行识别时有可能被分割为两个柜子，这与实际的环境不符，因此需要在识别之前先做特征点的合并。具体的合并过程如下：

首先，根据获取到的特征点的信息判断环境中是否存在同类型的物体，换言之，先通过获取到的物体的特征点对物体类型进行一次识别。

若存在有相同类型的物体，且特征点信息也相似(特征点的数量以及坐标值都相似)，则进一步判断相同类型的物体是否可以组合，并将可以组合的物体的特征点进行合并，以及将无法组合的物体的特征点全部删除。判断物体是否可以组合的方式可以为：判断物体的坐标是否相近，若坐标相近则表示可以组合，反之则表示无法组合。

若无法同时满足“物体类型相同”以及“特征点信息相似”这两个条件，则表示物体无法组合，彼此独立，此时正常处理物体的特征点。

最终输出合并处理后剩下的物体的特征点，以供后续识别使用。

本发明的较佳的实施例中，上述融合定位系统可以完全搭载在移动设备上，也可以将除了图像获取功能之外的其他功能放在云端处理，移动设备只需要获取周围环境的图像并上传到云端即可。

本发明的较佳的实施例中，基于上文中所述的融合定位系统，现提供一种融合定位方法，该融合定位方法具体如图7中所示，包括：

步骤S1、采用VSLAM技术处理得到周围环境中的多个物体的特征点坐标并形成第一特征点云图，以及采用AI物体识别技术处理得到周围环境中的多个物体的位置坐标及物体类型并形成物体识别结果；

步骤S2、将第一特征点云图和物体识别结果融合形成第二特征点云图，并对第二特征点云图进行决策以处理得到移动设备当前的中心点的坐标。

进一步地，本发明的较佳的实施例中，如图8中所示，步骤S2具体包括：

步骤S21，将第一特征点云图和物体识别结果融合形成第二特征点云图；

步骤S22，根据第二特征点云图从历史点云图库中提取相匹配的多个历史点云图；

步骤S23，根据第二特征点云图和被提取的多个历史点云图处理得到移动设备当前的中心点的坐标。

本发明的较佳的实施例中，如图9中所示，步骤S1中，采用AI物体识别技术处理得到周围环境中的多个物体的位置坐标及物体类型并形成物体识别结果具体包括以下过程：

步骤S11,提取周围环境的物体表面的多个特征点的坐标值；

步骤S12，根据物体的多个特征点测算得到物体表面均匀分布的多个均匀点的坐标值；

步骤S13，根据特征点和均匀点对物体进行识别，以得到物体识别结果。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。