一种基于关联概率语义地图的机器人目标搜索方法

技术领域

本发明属于移动机器人的融合地图构建与目标搜索技术领域，涉及一种基于关联概率语义地图的机器人目标搜索方法，包括一种基于实时关联信息更新的关联概率语义地图构建方法，以及一种基于关联概率语义地图的机器人目标搜索方法。

背景技术

随着机器人相关技术的发展以及相关传感器价格的降低，室内服务机器人越来越多地走入公共场所和家庭生活，为人们的生活提供便利，而在室内服务机器人的使用中仍面临很多问题，目标搜索便是其中之一。室内服务机器人搜索任务的目标通常具有动态性和小尺寸的特征，因此机器人在执行搜索任务时不仅要面对复杂多变的环境，目标的位置还会在机器人不知道的情况下发生移动，从而使得搜索的效率低下，甚至导致搜索失败。

针对复杂多变的室内环境，传统的搜索策略是基于二维栅格地图或拓扑地图对整个环境进行之字形或回字形的覆盖搜索，但这种搜索策略耗时较长，效率低下。为了提高目标搜索的效率，研究人员将现实生活中物体与房间之间典型空间位置关系的常识知识总结为物体在室内环境中的概率分布模型。将概率分布模型与栅格地图、拓扑地图结合构成概率地图，利用概率分布模型去推断物体在工作环境中各个区域被发现的可能性，为服务机器人执行搜索任务提供了先验知识，提高目标搜索的效率。但物体-房间的典型空间位置关系只能帮助服务机器人迅速确定目标物所在的房间，不能解决机器人在复杂的房间内部环境中的搜索问题。现有的目标搜索方法，如申请号CN114397894A的一种模仿人类记忆的移动机器人目标搜索方法，申请号CN111427341A的一种基于概率地图的机器人最短预期时间目标搜索方法，利用概率提高了目标搜索的效率，但上述方法均没有考虑到在环境动态性对搜索效率的影响。因此，本发明要解决的问题是如何使移动机器人在复杂多变环境中进行高效的目标搜索。

发明内容

本发明的目的是针对现有搜索策略在复杂多变环境下搜索效率不高，提出一种基于实时关联信息更新的概率语义地图构建方法，并使用构建完成的关联概率语义地图帮助机器人进行高效率的目标搜索。具体的，本发明以二维栅格地图为基础，将位置固定且易于识别的物体作为地标物体，将地标物体的语义信息和空间位置信息映射到栅格地图中构建栅格-语义地图。然后，提取地标物体与普通物体间的关联关系，并根据实时的传感器数据更新它们间的关联概率，将关联概率加入栅格-语义地图中构建概率栅格语义地图，缩小搜索空间，提高机器人在复杂环境中目标搜索的效率。

第一方面，本发明提出一种基于关联概率语义地图的机器人目标搜索方法，包括步骤如下：

步骤一：栅格地图的构建

使用激光雷达对当前环境的结构信息进行描述，生成一张二维栅格地图作为底层架构，并使用定位算法确定机器人在栅格地图中的位置；

所述定位算法为现有技术，故不详解；

步骤二：栅格-语义地图的构建

2-1目标识别

使用目标识别算法对深度相机获得的RGB彩色图像进行检测，获得包围检测物体的矩形框，利用矩形框得到物体的中点像素坐标；

2-2三维坐标解算

结合深度相机获得的Depth深度图像获得中点像素坐标对应的深度值，经过公式(1)的坐标转换将像素平面坐标系下的中点坐标转换成相机坐标系下的坐标。

式中，P

根据物体在相机坐标系下的坐标，经过公式(2)坐标变换，获得物体在全局栅格坐标系下的坐标；

式中，P

2-3根据物体在全局地图坐标系下的坐标，对物体进行语义信息标注，完成物体语义到二维栅格地图的映射，进而得到栅格-语义地图；

步骤三：关联概率语义地图的构建

判断物体间是否关联，可通过功能、距离这些属性进行分析，将功能作为判断的依据更加符合人们的常识，但对于机器人执行搜索任务而言，距离才是更加有效的信息，比如机器人需要去搜索钥匙，从功能上看机器人应该去门所在的位置进行寻找，但这是不合实际的，应该从距离这个角度进行判断，去寻找桌子、柜子这些钥匙经常放置的位置，因此本发明选择将距离作为判断的依据对环境中的物体进行关联信息的提取。

3-1物体关联关系提取：

4)初次识别到地标物体A时，以该物体在全局地图坐标系下的位置表示(X

5)当再次识别到新地标物体B，首先判断新地标物体B是否与已有的地标物体语义信息相同，若否则直接在栅格-语义地图标记新地标物体B坐标与语义信息，若是则再次依次遍历所有已有的地标物体，求解新地标物体B的全局坐标与各已有地标物体(X

6)当识别到除地标物体外的其他物体C时，求解其他物体C全局坐标与各地标物体全局坐标的欧式距离，找到与物体C距离最小的地标物体(X

3-2基于贝叶斯的关联概率更新

物体间只有两种状态，关联或者非关联，但由于物体摆放的随机性，并不能简单根据某次观测中两个物体满足距离阈值的判断便可直接认为它们一定存在关联，相比之下使用概率来对物体间的关联关系进行描述更为的严谨，因此，在提取到物体间的关联信息后，需要将这些信息转换为概率来描述物体间的关联关系。

对于环境中的某两个物体，使用a表示关联状态，p(a＝1)表示两个物体关联的概率，p(a＝0)表示两个物体非关联的概率，且满足公式(3)；

p(a＝1)+p(a＝0)＝1 (3)

对于尚未观测到的两个物体，将初始的关联概率和非关联概率都设为0.5。用p(a)来表示物体间的关联概率直观易懂，但不便于处理，因此换一个表达形式，取两者的概率之比A(a)来描述物体间的关联关系；若A(a)＞1代表物体间关联性较强，A(a)＜1代表物体间关联性较弱。

假设在t时刻，已经得到物体间的关联状态A

其中w

则关联概率的更新公式为：

根据贝叶斯公式可得：

其中p(a＝1|w

将公式(7)和公式(8)代入公式(5)可得关联概率的更新模型：

其中

3-3构建关联概率语义地图

使用基于快速随机树(RRT)算法的观测点生成方法在栅格-语义地图中随机生成观测点，观测点的观测范围叠加可以覆盖整个地图。观测点生成后，对环境中的语义点和观测点按欧式距离进行归属分类，赋予观测点语义信息，并基于物体的语义信息将物体-物体间的关联概率与观测点结合，得到基于实时关联信息更新的关联概率语义地图。

基于物体的语义信息将物体-物体间的关联概率与观测点结合过程为：查找与地标物品的语义信息相符的观测点，将关联概率赋予该观测点。

步骤四：基于概率语义地图的目标搜索

4-1在关联概率语义地图中，根据机器人当前位置，根据公式(10)计算观测点的关联概率与机器人和观测点之间距离的比值gain，也可以称之为收益值；根据各个观测点的收益值gain，使用贪心策略确定观测点的遍历序列。

其中，p

4-2确定好观测点的遍历序列之后，采用离散搜索的方式，在所选取的观测点处进行目标搜索，在当前观测点到下一个观测点的路程中不进行目标检测，当机器人到达观测点后会在原地旋转一周进行目标搜索。

机器人在房间内进行目标搜索时，会不断的根据深度相机得的信息更新物体间的关联概率，使得物体在房间内的概率分布模型逐渐符合实际环境，机器人也将做出更加智能的搜索行为。

第二方面，本发明提出一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行所述的方法。

第三方面，本发明提出一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的方法。

本发明的有益效果是：

本发明提出利用物体间的关联关系构建关联概率语义地图，并利用实时的传感器信息不断更新物体间的关联关系，提高了机器人在复杂多变的环境下进行长时间目标搜索时的效率。

附图说明

图1为本发明方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实例的机器人平台为P3DX，搭载Realsense D435i深度相机和锐驰智光LakiBeam1激光雷达。

一种基于关联概率语义地图的机器人目标搜索方法，包括以下步骤：

步骤一：使用Cartographer算法将激光雷达传感器获得的信息进行处理，生成一张二维栅格地图作为底层架构，对当前环境的结构信息进行描述。建好地图后，使用定位算法(AMCL(自适应蒙特卡洛定位)或Cartographer)对机器人进行定位，获得机器人在全局地图坐标系下的坐标。

步骤二：使用YOLO-v5目标识别算法对深度相机获得的RGB彩色图像进行检测，获得检测物体中点在像素坐标系下的坐标，并结合深度相机获得的Depth深度图像获得中点像素坐标对应的深度值，经过坐标转换后获得检测物体在全局地图坐标系下的坐标，记录物体的语义和位置信息并与栅格地图结合，构建栅格-语义地图。

步骤三：机器人对工作环境进行观测并提取物体间的关联关系，物体关联关系提取的主要过程如下：

1)初次识别到地标物体A时，以该物体在全局地图坐标系下的位置表示(X

2)当再次识别到新地标物体B，首先判断新地标物体B是否与已有的地标物体语义信息相同，若否则直接在栅格-语义地图标记新地标物体B坐标，若是则依次遍历所有已有的地标物体，求解新地标物体B的全局坐标与各已有地标物体(X

3)当识别到除地标物体外的其他物体C时，求解其他物体C全局坐标与各地标物体全局坐标的欧式距离，找到与物体C距离最小的地标物体(X

提取到物体的关联关系后，使用贝叶斯方法根据实时的数据来更新对象间的关联概率。概率更新的过程如下：

对于环境中的某两个物体，使用a表示关联状态，p(a＝1)表示两个物体关联的概率，p(a＝0)表示两个物体非关联的概率，且

p(a＝1)+p(a＝0)＝1 (1)

对于尚未观测到的两个物体，将初始的关联概率和非关联概率都设为0.5。用p(a)来表示物体间的关联概率直观易懂，但不便于处理，因此换一个表达形式，取两者的概率之比A(a)来描述物体间的关联关系

假设在t时刻，已经得到物体间的关联状态A

w

则关联概率的更新公式为：

根据贝叶斯公式可得：

p(a＝1|w

表示更新系数，本次更新系数的取值为1.22。

使用基于快速随机树(RRT)算法的观测点生成方法在栅格-语义地图中随机生成观测点，观测点的观测范围叠加可以覆盖整个地图。观测点生成后，对环境中的语义点和观测点按欧式距离进行归属分类，并基于物体的语义信息将物体-物体间的关联概率与观测点结合，完成基于实时关联信息更新的概率语义地图的构建。

步骤四：在关联概率语义地图中，根据机器人当前位置，根据公式(8)计算观测点的关联概率与机器人和观测点之间距离的比值gain，也可以称之为收益值；根据各个观测点的收益值gain，使用贪心策略确定观测点的遍历序列。

其中，p

确定好观测点的遍历序列之后，采用离散搜索的方式，在所选取的观测点处进行目标搜索，在当前观测点到下一个观测点的路程中不进行目标检测，当机器人到达观测点后会在原地旋转一周进行目标搜索。

机器人在房间内进行目标搜索时，会不断的根据传感器获得的信息更新物体间的关联概率，使得物体在房间内的概率分布模型逐渐符合实际环境，机器人也将做出更加智能的搜索行为。

本发明提出利用物体间的关联关系构建关联概率语义地图，并利用实时的传感器信息不断更新物体间的关联关系，提高了机器人在复杂多变的环境下进行长时间目标搜索时的效率。