掌桥专利:专业的专利平台
掌桥专利
首页

一种机器人移动控制方法及装置和可读存储介质

文献发布时间:2024-04-18 19:58:26


一种机器人移动控制方法及装置和可读存储介质

技术领域

本申请涉及机器人控制技术领域,具体而言,涉及一种机器人移动控制方法及装置和可读存储介质。

背景技术

随着科学技术的不断发展,机器人技术因具有极大的研究价值及应用价值受到了各行各业的广泛重视,其中机器人自主导航便是机器人控制技术领域中的一项重要研究方向。而在机器人自主导航的实现过程中,通常需要研发人员直接基于已有地图进行路径规划,并根据路径规划结果编辑出机器人适用的底层控制代码,使对应机器人通过运行该底层控制代码的方式,来确保对应机器人自主导航地移动到期望位置处。

但值得注意的是,这种机器人自主导航实现方案实质无法达到通过自然语言直接控制机器人进行自主导航的效果,同时无法确保机器人在移动过程中面对突发的环境变化状况(例如,机器人前进方向上新增有障碍物等)时能够灵活地调整移动路径。

发明内容

有鉴于此,本申请的目的在于提供一种机器人移动控制方法及装置和可读存储介质,能够利用大语言模型理解自然语言移动指令所承载的目标终点位置,并基于目标机器人在移动过程中实时采集到的环境深度图像灵活调整目标机器人移动往目标终点位置的移动路径,使目标机器人在面临突发的环境变化状况时也能正常到达目标终点位置,从而达到通过自然语言直接控制机器人进行自主导航的效果。

为了实现上述目的,本申请实施例采用的技术方案如下:

第一方面,本申请提供一种机器人移动控制方法,所述方法包括:

获取针对目标机器人的自然语言移动指令,并调用大语言模型对所述自然语言移动指令进行识别,得到所述目标机器人的目标终点位置;

在所述目标机器人所在的原始语义地图中以所述目标终点位置为赋值中心进行地图奖励赋值,得到对应的赋值语义地图;

根据所述赋值语义地图及所述目标机器人实时采集到的环境深度图像,以最小化路径节点奖励和值为目的,基于所述大语言模型调用预存的高级语言移动控制函数驱动所述目标机器人移动到所述目标终点位置处。

在可选的实施方式中,所述在所述目标机器人所在的原始语义地图中以所述目标终点位置为赋值中心进行地图奖励赋值的步骤,包括:

按照最大预设奖励值在所述原始语义地图中对所述目标终点位置进行赋值;

确定所述原始语义地图内的多个可通行位置各自到所述目标终点位置的最短路径长度;

针对所述原始语义地图内的每个可通行位置,按照预设的路径长度与奖励值之间的数值负相关关系,为该可通行位置赋予与对应最短路径长度匹配的奖励值。

在可选的实施方式中,所述根据所述赋值语义地图及所述目标机器人实时采集到的环境深度图像,以最小化路径节点奖励和值为目的,基于所述大语言模型调用预存的高级语言移动控制函数驱动所述目标机器人移动到所述目标终点位置处的步骤,包括:

根据所述目标机器人实时采集到的环境深度图像,确定所述目标机器人在所述赋值语义地图中的实际移动位置;

检测所述实际移动位置是否到达所述目标终点位置;

若检测到所述实际移动位置未到达所述目标终点位置,则从所述赋值语义地图提取与所述实际移动位置对应的局部赋值地图;

在所述局部赋值地图中,以所述实际移动位置为基准,在所述目标机器人的机器人视野范围内确定具有最大奖励值的局部终点位置,其中所述局部终点位置为所述目标机器人移动往所述目标终点位置的一个路径节点;

调用多模态路径规划大模型基于所述机器人视野范围内的环境深度图像对所述原始语义地图进行地图更新,并在更新后的原始语义地图中针对从所述实际移动位置到所述局部终点位置的机器人路径进行自动感知决策;

调用所述大语言模型基于预存的高级语言移动控制函数驱动所述目标机器人按照所述机器人路径从所述实际移动位置移动到所述局部终点位置处,并跳转到上述确定所述目标机器人在所述赋值语义地图中的实际移动位置的步骤继续执行。

在可选的实施方式中,所述根据所述目标机器人实时采集到的环境深度图像,确定所述目标机器人在所述赋值语义地图中的实际移动位置的步骤,包括:

根据所述目标机器人实时采集到的环境深度图像,基于ORB-SLAM算法进行局部地图构建,得到所述目标机器人所在环境的局部环境地图;

将所述局部环境地图与所述赋值语义地图进行信息匹配,得到所述目标机器人在所述赋值语义地图中的实际移动位置。

在可选的实施方式中,所述在所述局部赋值地图中,以所述实际移动位置为基准,在所述目标机器人的机器人视野范围内确定具有最大奖励值的局部终点位置的步骤,包括:

以所述实际移动位置为奖励值变化基准位置,确定所述局部赋值地图中的所有奖励值升高方向;

针对每个奖励值升高方向,控制所述目标机器人按照该奖励值升高方向进行深度图像采集,并将采集到的环境深度图像与所述赋值语义地图进行信息比对,得到所述赋值语义地图在该奖励值升高方向上的最大奖励值;

从所有奖励值升高方向各自对应的最大奖励值中筛选出数值最大的目标奖励值,并将所述目标奖励值在所述赋值语义地图中的可通行位置作为所述局部终点位置。

在可选的实施方式中,所述在更新后的原始语义地图中针对从所述实际移动位置到所述局部终点位置的机器人路径进行自动感知决策的步骤,包括:

获取所述目标机器人实时采集到的从所述实际移动位置到所述局部终点位置的环境深度图像;

调用所述多模态路径规划大模型对所述环境深度图像进行环境分析,并根据对应的环境分析结果从预存的多种路径规划算法中选取适配的目标路径规划算法;

根据所述环境深度图像及更新后的原始语义地图,基于所述目标路径规划算法进行路径规划,得到从所述实际移动位置到所述局部终点位置的机器人路径。

在可选的实施方式中,所述调用所述大语言模型基于预存的高级语言移动控制函数驱动所述目标机器人按照所述机器人路径从所述实际移动位置移动到所述局部终点位置处的步骤,包括:

将所述机器人路径与所述大语言模型加载的各个高级语言代码输出提示语进行信息匹配,得到与所述机器人路径匹配成功的目标代码输出提示语;

调用与所述目标代码输出提示语关联的高级语言移动控制函数,针对所述机器人路径生成匹配的目标高级语言控制代码;

调用高级语言控制指令与机器人底层控制程序之间的桥接API接口运行所述目标高级语言控制代码,使所述目标机器人在所述机器人底层控制程序作用下从所述实际移动位置移动到所述局部终点位置处。

在可选的实施方式中,所述方法还包括:

将目标机器人所在的原始语义地图、所述目标机器人的物理硬件信息、与机器人移动操作相关的多个高级语言代码输出提示语和多个高级语言移动控制函数加载到所述大语言模型中,并创建所述大语言模型的高级语言控制指令与所述目标机器人的机器人底层控制程序之间的桥接API接口。

第二方面,本申请提供一种机器人移动控制装置,所述装置包括:

终点位置识别模块,用于获取针对目标机器人的自然语言移动指令,并调用大语言模型对所述自然语言移动指令进行识别,得到所述目标机器人的目标终点位置;

地图奖励赋值模块,用于在所述目标机器人所在的原始语义地图中以所述目标终点位置为赋值中心进行地图奖励赋值,得到对应的赋值语义地图;

高级语言控制模块,用于根据所述赋值语义地图及所述目标机器人实时采集到的环境深度图像,以最小化路径节点奖励和值为目的,基于所述大语言模型调用预存的高级语言移动控制函数驱动所述目标机器人移动到所述目标终点位置处。

在可选的实施方式中,所述装置还包括:

语言模型配置模块,用于将目标机器人所在的原始语义地图、所述目标机器人的物理硬件信息、与机器人移动操作相关的多个高级语言代码输出提示语和多个高级语言移动控制函数加载到所述大语言模型中,并创建所述大语言模型的高级语言控制指令与所述目标机器人的机器人底层控制程序之间的桥接API接口。

第三方面,本申请提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被运行时,实现前述实施方式中任意一项所述的机器人移动控制方法。

在此情况下,本申请实施例的有益效果可以包括以下内容:

本申请通过调用大语言模型对获取到的针对目标机器人的自然语言移动指令进行识别,得到目标机器人的目标终点位置,并在目标机器人所在的原始语义地图中以目标终点位置为赋值中心进行地图奖励赋值,得到对应的赋值语义地图,而后根据该赋值语义地图以及目标机器人实时采集到的环境深度图像,以最小化路径节点奖励和值为目的,基于大语言模型调用预存的高级语言移动控制函数驱动目标机器人移动到目标终点位置处,从而利用大语言模型理解自然语言移动指令所承载的目标终点位置,并基于目标机器人在移动过程中实时采集到的环境深度图像灵活调整目标机器人移动往目标终点位置的移动路径,使目标机器人在面临突发的环境变化状况时也能正常到达目标终点位置,从而达到通过自然语言直接控制机器人进行自主导航的效果。

为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的机器人控制设备的组成示意图;

图2为本申请实施例提供的机器人移动控制方法的流程示意图之一;

图3为图2中的步骤S220包括的子步骤的流程示意图;

图4为本申请实施例提供的赋值语义地图的举例示意图;

图5为图2中的步骤S230包括的子步骤的流程示意图;

图6为本申请实施例提供的局部终点位置在赋值语义地图中的确定示意图;

图7为本申请实施例提供的机器人移动控制方法的流程示意图之二;

图8为本申请实施例提供的机器人移动控制装置的组成示意图之一;

图9为本申请实施例提供的机器人移动控制装置的组成示意图之二。

图标:10-机器人控制设备;11-存储器;12-处理器;13-通信单元;100-机器人移动控制装置;110-终点位置识别模块;120-地图奖励赋值模块;130-高级语言控制模块;140-语言模型配置模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中,需要理解的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该申请产品使用时惯常摆放的方位或位置关系,或者是本领域技术人员惯常理解的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。

在本申请的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。

在本申请的描述中,需要理解的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。

下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互结合。

请参照图1,图1是本申请实施例提供的机器人控制设备10的组成示意图。在本申请实施例中,所述机器人控制设备10可与被控机器人通信连接,并基于自身加载的大语言模型响应用户下达的自然语言移动指令,控制该被控机器人进行自主导航,同时利用该大语言模型在被控机器人移动过程中针对突发的环境变化状况灵活调整该被控机器人的移动路径,使该被控机器人正常到达目标终点位置,从而达到通过自然语言直接控制被控机器人进行自主导航的效果。其中,所述机器人控制设备10可以是独立于所述被控机器人的计算机设备,所述计算机设备可以是,但不限于,个人计算机、笔记本电脑、平板电脑、服务器等;所述机器人控制设备10也可以与该被控机器人集成在一起。

在本申请实施例中,所述机器人控制设备10可以包括存储器11、处理器12、通信单元13及机器人移动控制装置100。其中,所述存储器11、所述处理器12及所述通信单元13各个元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,所述存储器11、所述处理器12及所述通信单元13这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

在本实施例中,所述存储器11可以是,但不限于,随机存取存储器(Random AccessMemory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(ProgrammableRead-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-OnlyMemory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory,EEPROM)等。其中,所述存储器11用于存储计算机程序,所述处理器12在接收到执行指令后,可相应地执行所述计算机程序。

同时,所述存储器11还可用于存储大语言模型,该大语言模型可加载有被控机器人当前所在的移动环境所对应的原始语义地图、该被控机器人的物理硬件信息、与机器人移动操作相关的多个高级语言代码输出提示语和多个高级语言移动控制函数,其中所述原始语义地图为表示移动环境信息的数据结构,其可以包括关于地理位置、物体、区域、路径等语义信息;所述物理硬件信息包括该被控机器人的具体机体结构信息(例如,关节类型、移动轮类型、机体高度信息等);所述高级语言代码输出提示语用于表示被控机器人执行对应动作指令(例如,抓取动作指令、放下动作指令、前进动作指令等)时需要通过何种高级语言移动控制函数采用何种高级语言(例如,python语言、Java语言或PHP语言等)输出控制代码,不同高级语言代码输出提示语各自涉及的动作指令可以相同也可以互不相同;所述高级语言移动控制函数为采用高级语言描述的用于实现所述被控机器人的某种移动控制功能的程序代码,多个所述高级语言移动控制函数可以包括getUserPosition()函数、getPosition(str)函数、goto(pos)函数、take()函数、put()函数、moveAhead(length)函数、moveBack(length)函数、turnRight(angel)函数及turnLeft(angle)函数等,其中getUserPosition()函数用于获取被控机器人当前的机器人位置,getPosition(str)函数用于获取str对象的实际位置,goto(pos)函数用于驱动被控机器人移动到pos所对应的位置,take()函数用于驱动被控机器人抓取当前位置的物品,put()函数用于驱动被控机器人在当前位置放下正在抓取的物品,moveAhead(length)函数用于驱动被控机器人前进length的距离,moveBack(length)函数用于驱动被控机器人后退length的距离,turnRight(angel)函数用于驱动被控机器人右转angel的角度,turnLeft(angle)函数用于驱动被控机器人左转angel的角度。

此外,所述大语言模型与所述被控机器人之间建立有桥接API接口,以通过该桥接API接口确保所述大语言模型输出的高级语言控制指令可与所述被控机器人的机器人底层控制程序关联在一起,使所述大语言模型输出的高级语言控制指令可经所述桥接API接口调用所述被控机器人的机器人底层控制程序调整所述被控机器人的实际运动状况。

在本实施例中,所述处理器12可以是一种具有信号的处理能力的集成电路芯片。所述处理器12可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)及网络处理器(Network Processor,NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件中的至少一种。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。

在本实施例中,所述通信单元13用于通过网络建立所述机器人控制设备10与其他电子设备之间的通信连接,并通过所述网络收发数据,其中所述网络包括有线通信网络及无线通信网络。例如,所述机器人控制设备10可以通过所述通信单元13获取用户经终端设备下达的自然语言移动指令,其中所述自然语言移动指令可采用语音输入方式或文本输入方式下达给所述终端设备,其中所述终端设备可以是,但不限于,智能手机、个人计算机、平板电脑等。

在本实施例中,所述机器人移动控制装置100包括至少一个能够以软件或固件的形式存储于所述存储器11中或者固化在所述机器人控制设备10的操作系统中的软件功能模块。所述处理器12可用于执行所述存储器11存储的可执行模块,例如所述机器人移动控制装置100所包括的软件功能模块及计算机程序等。所述机器人控制设备10可通过所述机器人移动控制装置100利用大语言模型理解自然语言移动指令所承载的目标终点位置,并基于目标机器人(即被控机器人)在移动过程中实时采集到的环境深度图像灵活调整目标机器人移动往目标终点位置的移动路径,使目标机器人在面临突发的环境变化状况时也能正常到达目标终点位置,从而达到通过自然语言直接控制机器人进行自主导航的效果。

可以理解的是,图1所示的框图仅为所述机器人控制设备10的一种组成示意图,所述机器人控制设备10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

在本申请中,为确保所述机器人控制设备10能够利用大语言模型理解自然语言移动指令所承载的目标终点位置,并基于目标机器人在移动过程中实时采集到的环境深度图像灵活调整目标机器人移动往目标终点位置的移动路径,使目标机器人在面临突发的环境变化状况时也能正常到达目标终点位置,从而达到通过自然语言直接控制机器人进行自主导航的效果,本申请实施例提供一种机器人移动控制方法实现前述目的。下面对本申请提供的机器人移动控制方法进行详细描述。

请参照图2,图2是本申请实施例提供的机器人移动控制方法的流程示意图之一。在本申请实施例中,所述机器人移动控制方法可以包括步骤S210~步骤S230。

步骤S210,获取针对目标机器人的自然语言移动指令,并调用大语言模型对自然语言移动指令进行识别,得到目标机器人的目标终点位置。

在本实施例中,所述目标机器人为所述机器人控制设备10当前可以操控的被控机器人;所述机器人控制设备10在获取到用户针对所述目标机器人下达的自然语言移动指令后,可通过对该自然语言移动指令进行语言识别,得到以文本形式存在的目标移动指令内容,而后通过将与该自然语言移动指令对应的目标移动指令内容输入到所述大语言模型中,以利用所述大语言模型所具备的文本识别能力,从所述目标移动指令内容中提取出所述目标机器人当前需要前往的目标终点位置。

步骤S220,在目标机器人所在的原始语义地图中以目标终点位置为赋值中心进行地图奖励赋值,得到对应的赋值语义地图。

在本实施例中,所述大语言模型可通过自身加载的原始语义地图提升自身对所述目标机器人所处移动环境的感知功能,以便更好地生成所述目标机器人的高级语言移动控制代码。其中,所述大语言模型在得到所述目标机器人的目标终点位置后,会在所述目标机器人所在的原始语义地图中,以所述目标终点位置为赋值中心,针对该原始语义地图进行地图奖励赋值,使该原始语义地图内的各个可通行位置分别对应一个奖励值,得到对应的赋值语义地图,以便所述大语言模型基于得到的所述赋值语义地图生成控制所述目标机器人前往所述目标终点位置的高级语言移动控制代码。其中,所述目标终点位置在所述赋值语义地图中的实际奖励值最大,所述赋值语义地图中的各个可通行位置到所述目标终点位置的路径长度越大,则对应可通行位置的实际奖励值越小。

可选地,请参照图3,图3是图2中的步骤S220包括的子步骤的流程示意图。在本申请实施例中,所述步骤S220可以包括子步骤S221~子步骤S223,以借用水源流水规律有效描述原始语义地图中各个可通行位置到目标终点位置的通行路径长度状况。

子步骤S221,按照最大预设奖励值在原始语义地图中对目标终点位置进行赋值。

其中,可将所述目标终点位置视为所述原始语义地图中的水源,并将所述原始语义地图中的其他可通行位置视为从水源流出的水流可以流经的部位;所述最大预设奖励值可采用100、200、300等数字中的任一数字进行表示。以图4所示的赋值语义地图为例,可在图4中的目标终点位置处采用100进行赋值。

子步骤S222,确定原始语义地图内的多个可通行位置各自到目标终点位置的最短路径长度。

其中,可基于所述原始语义地图已记载的各个障碍物(包括墙体、封闭走廊等)的实际分布位置,有效约束各个可通行位置到所述目标终点位置的最短路径长度。

子步骤S223,针对原始语义地图内的每个可通行位置,按照预设的路径长度与奖励值之间的数值负相关关系,为该可通行位置赋予与对应最短路径长度匹配的奖励值。

其中,所述赋值语义地图中的每个可通行位置到所述目标终点位置的最短路径长度越大,则该可通行位置的实际奖励值越小。例如,图4中的起始移动位置到所述目标终点位置的最短路径长度最大,则该起始移动位置的实际奖励值为20;图4中的位于原始语义地图右下角位置处的可通行位置到所述目标终点位置的最短路径长度较小,则该可通行位置的实际奖励值为80。

由此,本申请可通过执行上述子步骤S221~子步骤S223,借用水源流水规律有效描述原始语义地图中各个可通行位置到目标终点位置的通行路径长度状况。

步骤S230,根据赋值语义地图及目标机器人实时采集到的环境深度图像,以最小化路径节点奖励和值为目的,基于大语言模型调用预存的高级语言移动控制函数驱动目标机器人移动到目标终点位置处。

在本实施例中,所述大语言模型可获取所述目标机器人在移动过程中实时采集到的环境深度图像,并基于所述环境深度图像有效确定所述目标机器人在移动过程中的实际移动位置,而后根据所述实际移动位置和所述目标终点位置在所述赋值语义地图中的分布状况,将从所述目标机器人在所述自然语言移动指令下达时的起始移动位置到所述目标终点位置的完整移动路径分割为连续的多条局部路径,使每条局部路径的局部终点位置充当从所述起始移动位置到所述目标终点位置的完整移动路径上的一个路径节点,接着以最小化该完整移动路径上的所有路径节点各自的奖励值之和为目的,使该大语言模型基于实时采集到的环境深度图像和所述赋值语义地图,对所述目标机器人从所述起始移动位置移动到所述目标终点位置的各个局部路径进行灵活调整,而后所述机器人控制设备10会基于该大语言模型调用预存的高级语言移动控制函数按照调整得到的局部路径驱动所述目标机器人进行移动,从而确保所述目标机器人在面临突发的环境变化状况时也能正常到达目标终点位置,以达到通过自然语言直接控制机器人进行自主导航的效果。

可选地,请参照图5,图5是图2中的步骤S230包括的子步骤的流程示意图。在本申请实施例中,所述步骤S230可以包括子步骤S231~步骤S236,以确保所述目标机器人在高级语言移动控制代码作用下,绕开所述原始语义地图中未记录的环境变化状况地正常到达目标终点位置,来达到通过自然语言直接控制机器人进行自主导航的效果。

子步骤S231,根据目标机器人实时采集到的环境深度图像,确定目标机器人在赋值语义地图中的实际移动位置。

在本实施例中,当所述机器人控制设备10获取到所述自然语言移动指令后,可通过获取所述目标机器人实时采集到的环境深度图像,并利用ORB-SLAM(Orinted FAST andBRIEF-Simultaneous Localization And Mapping,快速且简短的即时定位与地图构建)算法有效确定所述目标机器人在所述赋值语义地图中的起始移动位置,同时所述机器人控制设备10也可在所述目标机器人移动过程中,通过获取所述目标机器人实时采集到的环境深度图像,并利用ORB-SLAM算法有效确定所述目标机器人在所述赋值语义地图中的实际移动位置。

可选地,在本实施例的一种实施方式中,所述子步骤S231可以包括子步骤a和子步骤b:

子步骤a,根据所述目标机器人实时采集到的环境深度图像,基于ORB-SLAM算法进行局部地图构建,得到所述目标机器人所在环境的局部环境地图。

子步骤b,将所述局部环境地图与所述赋值语义地图进行信息匹配,得到所述目标机器人在所述赋值语义地图中的实际移动位置。

由此,本申请可通过执行上述子步骤a和子步骤b,以有效确定所述目标机器人在所述赋值语义地图中的实际移动位置。

子步骤S232,检测实际移动位置是否到达目标终点位置。

其中,若检测到所述实际移动位置到达所述目标终点位置,即表明所述目标机器人当前已经执行完所述自然语言移动指令,此时所述机器人控制设备10将停止控制所述目标机器人进行移动;若检测到所述实际移动位置未到达所述目标终点位置,即表明所述目标机器人当前还没有执行完所述自然语言移动指令,此时所述机器人控制设备10需要执行子步骤S233来控制所述目标机器人继续移动。

子步骤S233,从赋值语义地图提取与实际移动位置对应的局部赋值地图。

其中,所述机器人控制设备10可在所述赋值语义地图中,以所述实际移动位置为地图中心位置或地图内部特定位置进行局部地图提取,使提取出的局部赋值地图的地图范围能够涵盖所述目标机器人在所述实际移动位置处的局部环境地图,以便所述机器人控制设备10通过提取出的局部赋值地图中尽可能地了解到所述实际移动位置周围的各个可通行位置的实际奖励值状况。

子步骤S234,在所述局部赋值地图中,以所述实际移动位置为基准,在所述目标机器人的机器人视野范围内确定具有最大奖励值的局部终点位置。

在本实施例中,所述局部终点位置为所述目标机器人从所述自然语言移动指令下达时的起始移动位置移动往所述目标终点位置的完整移动路径上的一个路径节点。所述机器人控制设备10在确定出所述目标机器人当前的实际移动位置和局部赋值地图后,会在该局部赋值地图内以所述实际移动位置的实际奖励值为奖励值变化基准,根据所述局部赋值地图内各个可通行位置的实际奖励值,确定出从所述实际移动位置指向其他可通行位置的奖励值升高方向,而后根据所述目标机器人在该奖励值升高方向上实时采集到的环境深度图像,直接确定出所述赋值语义地图在该奖励值升高方向上的最大奖励值,接着将所述局部赋值地图在不同奖励值升高方向各自对应的最大奖励值中的数值最大的目标奖励值,作为所述目标机器人在所述实际移动位置处的机器人视野范围内的最大奖励值,而后直接将所述目标机器人在所述实际移动位置处的机器人视野范围内的最大奖励值所在的可通行位置,作为所述目标机器人在所述实际移动位置处对应的局部终点位置,以确保从所述起始移动位置到所述目标终点位置的完整移动路径上的各个路径节点的奖励值之和能够达到最小化效果,并尽可能地缩减局部路径分割数目。

可选地,在本实施例的一种实施方式中,所述子步骤S234可以包括子步骤d~子步骤f:

子步骤d,以所述实际移动位置为奖励值变化基准位置,确定所述局部赋值地图中的所有奖励值升高方向。

在本实施例中,所述机器人控制设备10在确定出所述实际移动位置后,可在所述局部赋值地图中确定出所述目标机器人能从所述实际移动位置直接移动到达的各个可通行位置,并根据确定出的各个可通行位置的实际奖励值,以所述实际移动位置的实际奖励值作为奖励值变化基准,确定出所述局部赋值地图中的所有奖励值升高方向。

以图6所示的赋值语义地图为例,若所述实际移动位置为上述起始移动位置,则图6中的虚线框图即表征所述实际移动位置所在的局部赋值地图,此时所述目标机器人在该局部赋值地图中可从所述起始移动位置直接移动到达的奖励值为20、25和30的可通行位置,该局部赋值地图中的以所述起始移动位置为奖励值变化基准位置的奖励值升高方向即为从起始移动位置指向奖励值为25的可通行位置的方向。

子步骤e,针对每个奖励值升高方向,控制所述目标机器人按照该奖励值升高方向进行深度图像采集,并将采集到的环境深度图像与所述赋值语义地图进行信息比对,得到所述赋值语义地图在该奖励值升高方向上的最大奖励值。

以图6所示的赋值语义地图为例,若确定出所述实际移动位置(即起始移动位置)的奖励值升高方向为从起始移动位置指向奖励值为25的可通行位置的方向,则需要控制目标机器人沿该奖励值升高方向采集环境深度图像,而后将采集到的环境深度图像与赋值语义地图进行信息比对,以确定出该赋值语义地图在所述环境深度图像的机器人视野范围内的各个可通行位置的实际奖励值依次为25、20,此时所述赋值语义地图在该奖励值升高方向上的最大奖励值即为25。

子步骤f,从所有奖励值升高方向各自对应的最大奖励值中筛选出数值最大的目标奖励值,并将所述目标奖励值在所述赋值语义地图中的可通行位置作为所述局部终点位置。

其中,以图6所示的赋值语义地图为例,若确定出所述赋值语义地图在所述实际移动位置(即起始移动位置)的奖励值升高方向上的最大奖励值为25,则所述机器人控制设备10会将25作为所述目标奖励值,并将所述目标奖励值在所述赋值语义地图中的可通行位置(即图6中的五角星位置)作为起始移动位置的局部终点位置。

由此,本申请可通过执行上述子步骤d~子步骤f,确保从所述起始移动位置到所述目标终点位置的完整移动路径上的各个路径节点的奖励值之和能够达到最小化效果,并尽可能地缩减局部路径分割数目。

子步骤S235,调用多模态路径规划大模型基于机器人视野范围内的环境深度图像对原始语义地图进行地图更新,并在更新后的原始语义地图中针对从实际移动位置到局部终点位置的机器人路径进行自动感知决策。

在本实施例中,当所述机器人控制设备10确定出所述目标机器人在所述实际移动位置处对应的局部终点位置,会控制所述目标机器人沿从所述实际移动位置指向所述局部终点位置的方向进行深度图像采集,得到所述目标机器人从所述实际移动位置到所述局部终点位置的机器人视野范围内的环境深度图像,而后所述机器人控制设备10会调用预存的多模态路径规划大模型基于所述机器人视野范围内的环境深度图像对所述原始语义地图进行地图更新,以将突发的环境变化状况更新到所述原始语义地图中,使更新后的原始语义地图更加贴合所述目标机器人的实际移动环境。

而后,所述机器人控制设备10将会调用所述多模态路径规划大模型在更新后的原始语义地图中,基于所述机器人视野范围内的环境深度图像,针对从所述实际移动位置到所述局部终点位置的机器人路径进行自动感知决策,以确保最终决策出的机器人路径能够有效绕开所述突发的环境变化状况,并确保所述目标机器人能够基于最终决策出的机器人路径从所述实际移动位置移动到所述局部终点位置处。

可选地,在本实施例的一种实施方式中,所述子步骤S235中的步骤“在更新后的原始语义地图中针对从所述实际移动位置到所述局部终点位置的机器人路径进行自动感知决策”可以包括子步骤h~子步骤J:

子步骤h,获取所述目标机器人实时采集到的从所述实际移动位置到所述局部终点位置的环境深度图像。

子步骤i,调用所述多模态路径规划大模型对所述环境深度图像进行环境分析,并根据对应的环境分析结果从预存的多种路径规划算法中选取适配的目标路径规划算法。

其中,所述多种路径规划算法可以包括但不限于:A*算法、Dijkstra算法、RRT算法等规划算法。

子步骤j,根据所述环境深度图像及更新后的原始语义地图,基于所述目标路径规划算法进行路径规划,得到从所述实际移动位置到所述局部终点位置的机器人路径。

由此,本申请可通过执行上述子步骤h~子步骤j,确保最终决策出的机器人路径实质贴合所述目标机器人的实际移动环境,并能有效绕开突发的环境变化状况地保证所述目标机器人从所述实际移动位置正常移动到所述局部终点位置处。

可以理解的是,上述多模态路径规划大模型可以与所述大语言模型集成在一起,也可以是与所述大语言模型相互独立的大模型,还可以是所述大语言模型的模型分支。

子步骤S236,调用大语言模型基于预存的高级语言移动控制函数驱动目标机器人按照机器人路径从实际移动位置移动到局部终点位置处。

在本实施例中,所述机器人控制设备10在得到所述目标机器人从所述实际移动位置到所述终点位置的机器人路径(即前述局部路径)后,会将所述机器人路径输入到所述大语言模型中,使所述大语言模型基于自身预加载的高级语言代码输出提示语和高级语言移动控制函数,针对所述目标机器人生成匹配的高级语言控制代码,并调用所述大语言模型与所述目标机器人之间的桥接API(Application Programming Interface,应用程序接口)接口运行该高级语言控制代码,以通过该桥接API接口驱动所述目标机器人的机器人底层控制程序运行,来控制所述目标机器人从所述实际移动位置移动到所述局部终点位置处,从而实现高级语言代码控制机器人运动状况的效果。

而当所述机器人控制设备10利用高级语言代码控制所述目标机器人移动到所述局部终点位置后,会跳转到上述子步骤S231继续执行,直至所述目标机器人从所述起始移动位置移动到所述目标终点位置,以确保所述目标机器人在高级语言移动控制代码作用下,绕开所述原始语义地图中未记录的环境变化状况地正常到达目标终点位置。

可选地,在本实施例的一种实施方式中,上述子步骤S236可以包括子步骤l~子步骤n:

子步骤l,将所述机器人路径与所述大语言模型加载的各个高级语言代码输出提示语进行信息匹配,得到与所述机器人路径匹配成功的目标代码输出提示语。

其中,所述目标代码输出提示语为驱动所述目标机器人实现所述机器人路径的移动效果所需的高级语言代码输出提示语。

子步骤m,调用与所述目标代码输出提示语关联的高级语言移动控制函数,针对所述机器人路径生成匹配的目标高级语言控制代码。

子步骤n,调用高级语言控制指令与机器人底层控制程序之间的桥接API接口运行所述目标高级语言控制代码,使所述目标机器人在所述机器人底层控制程序作用下从所述实际移动位置移动到所述局部终点位置处。

由此,本申请可通过执行上述子步骤l~子步骤n,实现高级语言代码控制机器人运动状况的效果。

本申请可通过执行上述步骤S230的具体步骤流程,确保所述目标机器人在高级语言移动控制代码作用下,绕开所述原始语义地图中未记录的环境变化状况地正常到达目标终点位置,来达到通过自然语言直接控制机器人进行自主导航的效果。

本申请还可通过执行上述步骤S210~步骤S230,利用大语言模型理解自然语言移动指令所承载的目标终点位置,并基于目标机器人在移动过程中实时采集到的环境深度图像灵活调整目标机器人移动往目标终点位置的移动路径,使目标机器人在面临突发的环境变化状况时也能正常到达目标终点位置,从而达到通过自然语言直接控制机器人进行自主导航的效果。

可选地,请参照图7,图7是本申请实施例提供的机器人移动控制方法的流程示意图之二。在本申请实施例中,与图2所示的机器人移动控制方法相比,图7所示的机器人移动控制方法还可以包括步骤S240,以确保所述机器人控制设备10加载的大语言模型能够实现自然语言控制机器人运动的效果。

步骤S240,将目标机器人所在的原始语义地图、目标机器人的物理硬件信息、与机器人移动操作相关的多个高级语言代码输出提示语和多个高级语言移动控制函数加载到大语言模型中,并创建大语言模型的高级语言控制指令与目标机器人的机器人底层控制程序之间的桥接API接口。

由此,本申请可通过执行上述步骤S240,确保所述机器人控制设备10加载的大语言模型能够实现自然语言控制机器人运动的效果。

在本申请中,为确保所述机器人控制设备10能够通过所述机器人移动控制装置100执行上述机器人移动控制方法,本申请通过对所述机器人移动控制装置100进行功能模块划分的方式实现前述功能。下面对本申请提供的机器人移动控制装置100的具体组成进行相应描述。

请参照图8,图8是本申请实施例提供的机器人移动控制装置100的组成示意图之一。在本申请实施例中,所述机器人移动控制装置100可以包括终点位置识别模块110、地图奖励赋值模块120及高级语言控制模块130。

终点位置识别模块110,用于获取针对目标机器人的自然语言移动指令,并调用大语言模型对所述自然语言移动指令进行识别,得到所述目标机器人的目标终点位置。

地图奖励赋值模块120,用于在所述目标机器人所在的原始语义地图中以所述目标终点位置为赋值中心进行地图奖励赋值,得到对应的赋值语义地图。

高级语言控制模块130,用于根据所述赋值语义地图及所述目标机器人实时采集到的环境深度图像,以最小化路径节点奖励和值为目的,基于所述大语言模型调用预存的高级语言移动控制函数驱动所述目标机器人移动到所述目标终点位置处。

可选地,请参照图9,图9是本申请实施例提供的机器人移动控制装置100的组成示意图之二。在本申请实施例中,所述机器人移动控制装置100还可以包括语言模型配置模块140。

语言模型配置模块140,用于将目标机器人所在的原始语义地图、所述目标机器人的物理硬件信息、与机器人移动操作相关的多个高级语言代码输出提示语和多个高级语言移动控制函数加载到所述大语言模型中,并创建所述大语言模型的高级语言控制指令与所述目标机器人的机器人底层控制程序之间的桥接API接口。

需要说明的是,本申请实施例所提供的机器人移动控制装置100,其基本原理及产生的技术效果与前述的机器人移动控制方法相同。为简要描述,本实施例部分未提及之处,可参考上述的针对机器人移动控制方法的描述内容。

在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个可读存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述,在本申请实施例提供的一种机器人移动控制方法及装置和可读存储介质中,本申请通过调用大语言模型对获取到的针对目标机器人的自然语言移动指令进行识别,得到目标机器人的目标终点位置,并在目标机器人所在的原始语义地图中以目标终点位置为赋值中心进行地图奖励赋值,得到对应的赋值语义地图,而后根据该赋值语义地图以及目标机器人实时采集到的环境深度图像,以最小化路径节点奖励和值为目的,基于大语言模型调用预存的高级语言移动控制函数驱动目标机器人移动到目标终点位置处,从而利用大语言模型理解自然语言移动指令所承载的目标终点位置,并基于目标机器人在移动过程中实时采集到的环境深度图像灵活调整目标机器人移动往目标终点位置的移动路径,使目标机器人在面临突发的环境变化状况时也能正常到达目标终点位置,从而达到通过自然语言直接控制机器人进行自主导航的效果。

以上所述,仅为本申请的各种实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应当以权利要求的保护范围为准。

相关技术
  • 一种机器人控制方法、机器人及计算机可读存储介质
  • 机器人移动控制方法、系统、设备及计算机可读存储介质
  • 一种浴室加热装置和用于控制浴室加热装置的方法、设备、电子设备及计算机可读存储介质
  • 一种定位方法及装置、移动设备和计算机可读存储介质
  • 机器人控制方法、装置、电子设备和计算机可读存储介质
  • 机器人充电控制方法及装置、移动机器人和可读存储介质
  • 智能机器人的移动控制方法及装置、智能机器人及可读存储介质
技术分类

06120116490638