机器人执行业务操作方法、装置及机器人

技术领域

本发明涉及人工智能领域，具体而言，涉及一种机器人执行业务操作方法、装置及机器人。

背景技术

随着传感器技术、人工智能理论、计算机技术的迅速发展，机器人领域不断深入研究，各种各样的具有环境感知能力、行为控制与动态决策能力以及人机交互能力的自主移动机器人被研发出来。相对于传统的工业机器人，自主移动机器人最大的特点是能够在复杂的环境中自由移动，并完成多种工作任务。

相关技术中，为了实现机器人在复杂环境下按照预定路线实现自主导航，通常采用激光建图方式，通过修正激光地图进行所需的地图构建，并根据激光建立的地图进行后续的导航定位工作，但是，激光建图精度上无法达到较高要求，激光导航属于二维避障，效果较差，并且激光传感器大多部署在顶端，导致增加机身高度，同时还可能对低矮障碍物存在探测盲区，因此，可能导致机器人在复杂环境下发生跌落、侧翻或者碰撞等问题。

此外，为了实现机器人在自主移动的过程中完成各种任务，通常采用软件编程方式实现，而这种编程方式通常涉及详尽的编码，以预测或尝试预测机器人可能遇到的每种情况。从时间、精力和计算机资源的角度来看，这种方法不仅成本高昂，而且还会限制机器人的能力。

因此，针对如何保证机器人自主导航过程中安全性的前提下，能够更加简便可行地实现机器人执行多种工作任务的问题，目前还缺少一种机器人导航技术方案。

发明内容

本发明的主要目的在于公开了一种机器人执行业务操作方法、装置及机器人，以至少解决相关技术中如何保证机器人自主导航过程中安全性的前提下，能够更加简便可行地实现机器人执行多种工作任务的问题，目前还缺少一种机器人导航技术方案等问题。

根据本发明的一个方面，提供了一种机器人执行业务操作方法。

根据本发明的机器人执行业务操作方法包括：在机器人导航过程中，对基于世界坐标系建立的地图信息进行动态更新；获取上述机器人的当前位姿数据，根据该位姿数据，获取上述机器人在世界坐标系中的当前位置信息；判断上述当前位置信息是否对应于待跟踪路径上世界坐标系中的第一位置信息，如果是，则执行与上述第一位置信息相绑定的业务操作，其中，上述待跟踪路径上有一个或多个位置信息分别绑定有相应的业务操作，上述一个或多个位置信息包括上述第一位置信息，上述待跟踪路径绑定在上述地图信息中。

根据本发明的另一方面，提供了一种机器人执行业务操作装置。

根据本发明的机器人执行业务操作装置包括：地图更新模块，用于在机器人执行导航时，对基于世界坐标系建立的地图信息进行动态更新；获取模块，用于获取上述机器人的当前位姿数据，根据该位姿数据，获取上述机器人在世界坐标系中的当前位置信息；执行模块，用于在判断上述当前位置信息是否对应于待跟踪路径上世界坐标系中的第一位置信息，如果是，则执行与上述第一位置信息相绑定的业务操作，其中，上述待跟踪路径上有一个或多个位置信息分别绑定有相应的业务操作，上述一个或多个位置信息包括上述第一位置信息，上述待跟踪路径绑定在上述地图信息中。

根据本发明的又一方面，提供了一种机器人。

根据本发明的机器人包括：存储器及处理器，上述存储器，用于存储计算机执行指令；上述处理器，用于执行上述存储器存储的计算机执行指令，使得上述机器人执行上述任一项方法。

根据本发明，在机器人按照待跟踪路径导航过程中，对基于世界坐标系建立的地图信息进行动态更新，通过实时分析与优化构建更高精度的地图，结合根据高精度地图和机器人的定位功能，可以避免机器人运行至危险区域，从而提高机器人的安全性。并且，由于待跟踪路径绑定在上述地图信息中，待跟踪路径上有一个或多个位置信息分别绑定有相应的业务操作(例如，转动、手臂做动作、喷水、吸尘、绕行、打开相应设备等)，在机器人行进至绑定有业务操作的位置时，可以执行该位置对应的业务操作，从而在自主导航过程中更加智能化地完成多种工作任务。

附图说明

图1是根据本发明实施例的机器人执行业务操作方法的流程图；

图2是根据本发明实施例的机器人执行业务操作装置的结构框图；

图3是根据本发明实施例的机器人的结构框图。

具体实施方式

下面结合说明书附图对本发明的具体实现方式做一详细描述。

根据本发明实施例，提供了一种机器人执行业务操作方法。

图1是根据本发明实施例的机器人执行业务操作方法的流程图。如图1所示，该机器人执行业务操作方法包括：

步骤S101：在机器人导航过程中，对基于世界坐标系建立的地图信息进行动态更新；

步骤S103：获取上述机器人的当前位姿数据，根据该位姿数据，获取上述机器人在世界坐标系中的当前位置信息；

步骤S105：判断上述当前位置信息是否对应于待跟踪路径上世界坐标系中的第一位置信息，如果是，则执行与上述第一位置信息相绑定的业务操作，其中，上述待跟踪路径上有一个或多个位置信息分别绑定有相应的业务操作，上述一个或多个位置信息包括上述第一位置信息，上述待跟踪路径绑定在上述地图信息中。

采用图1所示的方法，在机器人按照待跟踪路径导航过程中，对基于世界坐标系建立的地图信息(例如，三维点云地图和/或语义地图等)进行动态更新，通过实时分析与优化构建更高精度的地图，结合根据高精度地图和机器人的定位功能，可以避免机器人运行至危险区域，从而提高机器人的安全性。并且，由于待跟踪路径绑定在上述三维点云地图和/或语义地图中，待跟踪路径上有一个或多个位置信息分别绑定有相应的业务操作(例如，转动、手臂做动作、喷水、吸尘、绕行、打开相应设备等)，在机器人行进至绑定有业务操作的位置时，可以执行该位置对应的业务操作，从而在自主导航过程中更加智能化地完成多种工作任务。

其中，上述地图信息(例如，三维点云地图和/或语义地图等)都是基于世界坐标系建立的，可以确定三维点云地图中的点云数据点在世界坐标系中的位置坐标，或者确定语义地图中各个物体(例如，桌子，花瓶，电梯等)在世界坐标系中的位置坐标。

优选地，机器人导航之前，还可以包括：建立世界坐标系，并基于所述世界坐标系构建世界地图；基于多个传感器数据，结合深度学习算法提取的超级点云(super-point)信息，建立浅层语义地图，并将所述浅层语义地图与所述世界地图进行绑定。

其中，上述超级点云(super-point)信息，是深度学习算法提取出来的点云信息，该点云信息具有更强的描述能力，能够辅助用户或者机器人进行更好地定位与建图。

优选地，在机器人导航之前，还可以包括：建立世界坐标系，并基于所述世界坐标系构建世界地图；基于深度学习算法提取的语义信息建立深层语义地图，并将所述深层语义地图与所述世界地图进行绑定，其中，所述深层语义地图包括：边界信息、类别信息。

优选实施过程中，通过机器人的初始位姿与具体运行场景情况，首先建立机器人的世界坐标系，并基于该世界坐标系构建世界地图；之后通过接收到的传感器数据，例如，图像数据，惯性传感器(IMU)数据，里程计数据，激光数据等数据，以及接收到的深度学习算法提取的超级点云(super点云)信息(包括更高维信息的点云数据)对场景进行描述，建立浅层语义地图，之后将浅层语义地图与上述世界地图进行绑定，可以基于深度学习地图的特征信息作为浅层语义信息辅助完善地图构建并提高定位精度，通过浅层语义地图进行辅助定位与建图。

优选实施过程中，还可以基于深度学习算法提取的语义信息得到深层语义地图，基于深度学习地图的特征信息作为浅层语义信息辅助完善地图构建并提高定位精度；并将深层语义地图与上述基于世界坐标系构建的世界地图进行绑定，其中，所述深层语义地图除了基本的视觉点云信息之外，还包括通过深度学习提取的超级点云信息(更具有描述能力的点云信息)，以及深层语义信息(该信息可以包括边界点云信息深层语义地图的边界信过聚类的云信息拟合成点云聚类集，确定各个上述点云聚类集的质心点。例如，采用k-means聚类算法，通过计算不同点云数据点之间的距离来判断点云数据点的相近关系，相近的点云数据点会放到同一个类别中去。具体地，首先需要选择一个k值，k是事先给定的聚类数。然后需要随机选择起始的k个聚类点(即质心点)，接着把点云数据集中所有的点都计算下与所选质心点的距离，把它们划分到离它们质心最近的那一类中去。完成后需要将每个聚类集算出平均值，用这个点作为新的质心。反复重复上述步骤，直到质心不变或者变化很小，就得到了最终的结果。

由此可见，基于深层语义信息将局部点云地图建立为更高维度的更具有描述能力的质心点，此方法通过聚类拟合的方式将语义信息与传统点云进行结合，通过聚类点作为局部符合标准的点云聚类集的中心点(质心点)，根据边界信息进行局部点云的指向性提取，根据深度语义地图的边界信息进行局部提取范围的划分，通过聚类的方式将提取出来的点云拟合成高维度的点云聚类集(可称为路标信息)，同时根据已有的高维度路标信息建立不同高维度路标信息之间的相对关系，在实际的机器人运行过程中通过对一个或者多个相同路标的观测进行轨迹与定位的优化与修正，从而使得整个定位精度的提升与地图的精度的提升。

获取当前深度学习的语义信息，通过时间对齐的方式判断当前深度学习识别出来的相关语义信息(包括：物体类别信息，例如，电梯，植物，花瓶等)，将相关语义信息通过相对位姿转换到世界坐标系下。需要注意的是，该部分数据如果与之前构建的深层语义地图有重叠，那么该部分的信息将会对深层语义地图中聚类出的高维度点云聚类集进行补充(例如，深层语义地图为长x，宽y，高z的物品1点云聚类集，语义信息表示为蓝色座椅，则该部分的路标信息将会更新为长x，宽y，高z的蓝色座椅)，同时，该部分的地图是在基础点云地图之上添加的语义地图。

由此可见，机器人导航过程中，实时进行地图优化操作，主要优化内容包括：当前的地图精度，地图中绑定的路径轨迹与地图中的语义信息。具体为通过更高维度的路标信息作为优化中使用的重要观测信息，对整个地图以及机器人的轨迹位姿进行联合优化。将当前环境的语义信息、机器人的路径轨迹信息、机器人各项业务操作信息、机器人各项状态信息进行联合记录，通过分析与优化构建更高精度的地图，使得机器人能够在生产生活当中发挥更大的价值。

优选地，在机器人导航过程中，还可以包括：基于深层语义地图的边界信息提取点云信息，通过聚类的方式将提取出来的点云信息拟合成点云聚类集，确定各个上述点云聚类集的质心点；根据上述语义地图中多个质心点之间的第一位置关系，以及上述机器人与上述多个质心点中至少一个质心点的欧氏距离，计算上述机器人与上述多个质心点中除上述至少一个质心点之外的其他质心点的欧氏距离；将计算获取的欧氏距离与当前实际距离信息进行比较，如果偏离量大于预设偏离阈值时，执行相应的决策处理，以使上述机器人返回至上述待跟踪路径。

在优选实施过程中，可以基于super点云信息的边界信息提取点云信息，通过聚类的方式(例如，k-means聚类算法等)将提取出来的点云信息拟合成点云聚类集，确定各个上述点云聚类集的质心点，如上所述，可以将k-means聚类算法最终确定的稳定结果作为点云聚类集的质心点。例如，语义地图中三个物体(可以是茶几、椅子、凳子等)，将每个质心点作为一个物体的中心代表点，根据机器人当前距离质心点1和质心点2的欧式距离，以及质心点1，2，3之间的位置关系，可以计算出机器人相对于质心点3的欧式距离，如果计算出来的欧式距离为3米，而根据待跟踪路径的轨迹，实际距离信息应当为2.8米，偏移量0.2米大于预设偏离阈值(例如，0.1米)，则需要根据这两个距离参数，以及当前所有观测信息进行优化，根据优化结果调整机器人的导航策略，例如，根据计算偏差调整路径以使上述机器人返回至上述待跟踪路径。

由此可见，可以根据语义地图中各个物体之间的位置关系，确定机器人是否偏离待跟踪路径，当确定机器人偏离待跟踪路径时，可以及时调整机器人自主导航的路径，避免机器人运行到危险区域，从而保证了机器人的安全。

优选地，在机器人导航之前，还可以包括以下处理：响应用户第一操作指令，对于上述待跟踪路径上一个或多个位置信息中的每个位置信息，分别绑定该位置信息对应的业务操作(例如，转动、手臂做动作、喷水、吸尘、绕行、打开相应设备等)，其中，上述待跟踪路径为用户预先设定的路径、用户预先操控机器人执行任务的路径、机器人预先规划的路径、或者上一次导航更新后的路径。

例如，当用户使用遥控器第一次操控机器人执行任务时，在待跟踪路径的位置1上，前方预定范围内设置有虚拟墙或者易碎物品(例如，花瓶等)，则将该位置1信息(例如，世界坐标系下的坐标位置信息)与绕行的业务操作进行绑定，记录并保存上述绑定关系。在机器人后续自主导航过程中，在判断行进到该位置时，则执行与上述该位置相绑定的业务操作，按照预设的绕行策略对虚拟墙或者易碎物品执行绕行操作。

优选地，在绑定该位置信息对应的业务操作之后，还可以包括：机器人确定上述业务操作与上述地图信息中相应场景的第一绑定关系；对于更新后的地图信息，上述机器人按照上述第一绑定关系，自动增加或解除上述待跟踪路径上一个或多个位置信息与对应的业务操作之间的当前绑定关系。

在优选实施过程中，机器人还可以学习位置与业务操作的绑定关系，自主建立新的位置与业务操作的绑定关系或者删除已有的位置与业务操作的绑定关系，例如，在机器人自主导航过程中，不断优化更新当前的语义地图，由于环境的变化，在当前的场景中新出现了其他易碎物品(例如，花瓶等)时，机器人根据该物品的类别信息确定所属的物品分类集，在确定该物品属于易碎物品类时，机器人按照之前学习的绑定关系，在到达该易碎物品之前的位置2，自动增加位置2与绕行操作的绑定关系，并将该绑定关系记录保存。在下一次自主导航过程中，在机器人到达位置2时，触发绕行操作，执行绕行操作，对待跟踪路径执行局部优化调整，在具体实施过程中，上述绕行策略可以是围绕该物体以指定距离值绕行，可以以该物体对应的点云聚类集的质心为中心，结合浅层语义地图中的物体的尺寸信息(例如，长、宽、高等)计算对应的指定距离值，物体如果体积较大，则计算出来的距离值相对较大，反之，物体如果体积较小，则计算出来的距离值相对较小，之后机器人按照计算后的指定距离值保持与上述质心的距离，执行绕行操作。在优选实施过程中，还可以将优化后的路径作为新的待跟踪路径，重新绑定在地图信息中，作为下一次机器人导航的待跟踪路径。

此外，机器人学习位置与业务操作的绑定关系，除了自主建立新的位置与业务操作的绑定关系，还可以自主删除(解除)当前已有的位置与业务操作的绑定关系。例如，在机器人自主导航过程中，不断优化更新当前的语义地图，由于环境的变化，当机器人检测到当前的场景中该易碎物品消失时，会自动解除上述位置2与绕行操作的绑定关系。在下一次自主导航过程中，在机器人到达位置2时，不再执行绕行操作，重新对待跟踪路径执行局部优化调整，并将优化后的路径作为新的待跟踪路径，重新绑定在三维点云地图和/或语义地图中，作为下一次机器人导航的待跟踪路径。

优选地，在机器人导航之前，还可以包括以下处理：响应用户第二操作指令，对于上述待跟踪路径上至少一个位置信息中的每个位置信息，分别绑定该位置信息对应的状态信息(例如，打滑状态、缺水状态、缺电状态等)。

优选地，绑定该位置信息对应的状态信息之后，还可以包括：对于绑定有状态信息的第二位置信息，在机器人向上述第二位置信息行进的过程中，当上述机器人与上述第二位置信息的距离小于预定距离阈值时，根据上述状态信息提前执行相应的决策处理。

在优选实施过程中，当用户使用遥控器操控机器人执行任务时，实时获取机器人状态信息以及该状态信息对应的位置信息，例如，在确定轮式机器人运行到位置3时，发生了打滑，这标志着在该位置3下，机器人处在特殊状态下，则建立位置3与打滑状态信息的绑定关系。在下一次机器人自主导航的过程中，当机器人运行到位置3之前的对应位置，就会根据已有的状态信息调整适应于特殊场景的参数，使得在特殊场景下机器人依旧能够有着较高的定位精度，以及运行的流畅性。例如，在发生机器人打滑的情况下，对受打滑状态影响较大的传感器(比如，里程计等)的观测数据降低可信度，提高受打滑状态影响较小的传感器(比如，IMU等)的观测数据的可信度。

优选地，在绑定该位置信息对应的状态信息之后，还可以包括以下处理：上述机器人确定上述状态信息与上述地图信息中相应场景的第二绑定关系；对于更新后的地图信息，上述机器人按照上述第二绑定关系，自动增加或解除上述待跟踪路径上一个或多个位置信息与对应的状态信息之间的当前绑定关系。

在优选实施过程中，机器人还可以学习位置与状态信息的绑定关系，自主建立新的位置与状态信息的绑定关系或者删除已有的位置与状态信息的绑定关系，例如，在机器人自主导航过程中，不断优化更新当前的语义地图，由于环境的变化，在当前的场景中出现了新的凹槽，轮式机器人的轮子卡在凹槽之间，机器人在确定出现打滑状态时，机器人按照之前学习的绑定关系，自动增加当前位置4与打滑状态信息的绑定关系，并将该绑定关系记录保存。在下一次自主导航过程中，在机器人到达位置4时，对受打滑状态影响较大的传感器(比如，里程计等)的观测数据降低可信度，提高受打滑状态影响较小的传感器(比如，IMU等)的观测数据的可信度。或者，还可以执行其他相应的决策策略，例如，加速或者减速后退以脱困等。

此外，机器人学习位置与状态信息的绑定关系，除了自主建立新的位置与状态信息的绑定关系，还可以自主删除(解除)当前已有的位置与状态信息的绑定关系。例如，在机器人自主导航过程中，不断优化更新当前的语义地图，由于环境的变化，当机器人检测到当前的场景中凹槽消失，会自动解除上述位置4与打滑状态信息的绑定关系。在下一次自主导航过程中，在机器人到达位置4时，提高上述受打滑状态影响较大的传感器(比如，里程计等)的观测数据的可信度等。

综上，基于世界坐标系创建的三维点云地图或者多层语义地图(第一层世界地图、第二层浅层语义地图、第三层深层语义地图)，在用户预先操控机器人执行任务(例如，通过遥控器操作的方式操控机器人等)等情况下，对于在获取到所有的机器人状态与观测信息后，对机器人运行的轨迹及观测信息进行修正与融合，绑定到机器人当前的地图上，同时将导航信息，语义信息，机器人业务操作信息、状态信息与当前机器人的运行轨迹进行融合绑定，获得更准确机器人状态估计结果与机器人定位避障地图。

对于上述融合有多种信息的地图，机器人在自主导航过程中，对当前地图进行实时优化，主要优化包括：当前创建的地图的精度，地图中记录的轨迹位姿与地图中的语义信息。具体为通过更高维度的路标信息(点云聚类集)作为优化中使用的重要观测信息，对整个地图以及机器人的轨迹位姿进行联合优化，通过机器人的运行位姿轨迹的修正结果以及记录下来的路标，状态与机器人的位姿的相对关系对地图中的其他信息进行修正。

在创建融合有多信息的地图并优化地图之后，可以将上述地图进行存储，后续可以根据场景选择对应的地图，使用该地图进行机器人下一步的导航定位工作。

根据本发明实施例，提供了一种机器人执行业务操作装置。

图2是根据本发明实施例的机器人执行业务操作装置的结构框图。如图2所示，该机器人执行业务操作装置包括：地图更新模块20，用于在机器人执行导航时，对基于世界坐标系建立的地图信息进行动态更新；获取模块22，用于获取上述机器人的当前位姿数据，根据该位姿数据，获取上述机器人在世界坐标系中的当前位置信息；执行模块24，用于在判断上述当前位置信息是否对应于待跟踪路径上世界坐标系中的第一位置信息，如果是，则执行与上述第一位置信息相绑定的业务操作，其中，上述待跟踪路径上有一个或多个位置信息分别绑定有相应的业务操作，上述一个或多个位置信息包括上述第一位置信息，上述待跟踪路径绑定在上述地图信息中。

采用图2所示的装置，在机器人按照待跟踪路径导航过程中，地图更新模块20对基于世界坐标系建立的地图信息进行动态更新，通过实时分析与优化构建更高精度的地图，结合根据高精度地图和机器人的定位功能，可以避免机器人运行至危险区域，从而提高机器人的安全性。并且，由于待跟踪路径绑定在上述地图信息中，待跟踪路径上有一个或多个位置信息分别绑定有相应的业务操作(例如，转动、绕行、或者执行喷水等业务)，在机器人行进至绑定有业务操作的位置时，执行模块24可以执行该位置对应的业务操作，从而在自主导航过程中更加智能化地完成多种工作任务。

需要说明的是，上述机器人执行业务操作装置中的各模块相互结合的优选实施方式，具体可以参见图1的实施例中对应的相关描述和效果进行理解，此处不再赘述。

根据本发明实施例，提供了一种机器人。

图3是根据本发明实施例的机器人的结构框图。如图3所示，根据本发明的机器人包括：存储器30及处理器32，上述存储器30，用于存储计算机执行指令；上述处理器32，用于执行上述存储器存储的计算机执行指令，使得上述机器人执行如上述实施例提供的机器人执行业务操作方法。

处理器32可以为中央处理器(Central Processing Unit，CPU)。处理器52还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器30作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的机器人重定位方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理。

存储器30可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器30可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

上述一个或者多个模块存储在存储器30中，当被上述处理器32执行时，执行如图1所示实施例中的机器人执行业务操作方法。

上述机器人的具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

综上所述，借助本发明提供的上述实施方式，将当前环境的语义信息、机器人的路径轨迹信息、机器人各项业务操作信息、机器人各项状态信息进行联合记录与绑定，通过分析与优化构建更高精度的地图，可以执行与位置对应的业务操作，从而在自主导航过程中更加智能化地完成多种工作任务，使得机器人能够在生产生活当中发挥更大的价值。通过融合有多信息的地图，机器人导航系统能够根据历史信息进行更高效的规划，根据语义等信息进行地图的修正，使得定位更加准确；同时能够根据语义信息避免运行过程中机器人运行到危险区域，保证安全。并且，机器人具有学习功能，按照用户操控机器人执行任务或者机器人自主导航过程中确定的位置与业务操作的绑定关系，机器人能够自动增加或解除所述待跟踪路径上一个或多个位置信息与对应的业务操作之间的绑定关系，同时，按照用户操控机器人执行任务或者机器人导航过程中确定的位置与状态信息的绑定关系，机器人能够自动增加或解除所述待跟踪路径上一个或多个位置信息与对应的状态信息之间的绑定关系，使得机器人更加智能化和人性化。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。