基于动态规划的机器人调度路径规划方法及系统

技术领域

本发明涉及动态路径规划技术领域，尤其涉及一种基于动态规划的机器人调度路径规划方法及系统。

背景技术

本发明专利使用的动态规划(Dynamic Programming，DP)，利用了美国数学家贝尔曼(R.Bellman)等人在研究多阶段决策过程的优化问题时创立了动态规划原理。

医院中通过小车来进行物资的转运，在现有的物质转运过程中，通常是采用人工推动小车移动来实现的。其中，医院各科室就是物流的转运站点，当医院较大转运站点较多时。则需要投入大量的人力物力来完成物资的转运工作。为了减少工作量，医院逐步采用AGV小车来完成物资的转运工作。AGV小车属于AGV物流系统的组成部分。现有的AGV物流系统一般由AGV小车、智能化站点、通讯单元、服务器(及基本软件包)、充电桩、配电系统、电梯控制系统、门禁控制系统等组成。

现有技术中，服务器对AGV小车的调度通常采用随机的方法来进行调度，也即是当有转运任务是，服务器通过随机的方法将其中某一空闲AGV小车调度来执行转运任务，这样会导致AGV小车完成转运任务的过程中所移动的路程远、时间长以及导致整体AGV物流系统的运行成本高的问题。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于动态规划的机器人调度路径规划方法及系统。

一方面，为实现上述目的，根据本发明实施例的基于动态规划的机器人调度路径规划方法包括步骤：

接收小车调度指令；其中，所述调度指令包括发货站点位置信息和收货站点的位置信息；

确定是否有空闲机器人，如有，则根据各个空闲机器人{V

优选min{T

进一步地，根据本发明的一个实施例，根据第一空闲机器人V

根据第一空闲机器人V

分别获取第一空闲机器人V

通过动态规划方法计算所述第一空闲机器人V

进一步地，根据本发明的一个实施例，所述通过动态规划方法计算所述第一空闲机器人V

根据各站点距离所述物流发货站点的远近关系分别划分为多个阶段状态k＝1，2，3，…n；

分别获取第一空闲机器人V

根据站点状态变量集合x

进一步地，根据本发明的一个实施例，所述逆序解法寻优法计算公式为：

其中，x

其中，{r

其中，

进一步地，根据本发明的一个实施例，当k＝n时，公式

进一步地，根据本发明的一个实施例，所述基于动态规划的机器人调度路径规划方法还包括步骤：

当第一空闲机器人V

控制所述第一空闲机器人V

进一步地，根据本发明的一个实施例，所述基于动态规划的机器人调度路径规划方法还包括步骤：

根据第一空闲机器人V

获取第一空闲机器人V

控制所述第一空闲机器人V

另一方面，本发明还提供一种基于动态规划的机器人调度路径规划系统，包括：空闲机器人、客户端和服务器，所述空闲机器人设有多个，所述服务器分别与所述空闲机器人、客户端之间通信连接；

所述服务器包括：

命令接收模块，所述命令接收模块用于接收所述客户端发送的小车调度指令；其中，所述调度指令包括发货站点位置信息和收货站点的位置信息；

空闲机器人调动模块，所述空闲机器人调动模块用于确定是否有空闲机器人，如有，则根据各个空闲机器人{V

发货调动执行模块，所述发货调度模块用于优选min{T

进一步地，根据本发明的一个实施例，所述空闲机器人调动模块包括：

第一空闲机器人途径站点获取模块，所述第一空闲机器人途径站点获取模块用于根据第一空闲机器人V

第一空闲机器人途径站点时间获取模块，所述第一空闲机器人途径时间站点获取模块分别获取第一空闲机器人V

第一空闲机器人最短时间获取模块，所述第一空闲机器人最短时间获取模块通过动态规划方法计算所述第一空闲机器人V

进一步地，根据本发明的一个实施例，所述空闲机器人为医用AGV小车。

本发明实施例提供基于动态规划的机器人调度路径规划方法及系统中，通过接收小车调度指令；确定是否有空闲机器人，如有，则根据各个空闲机器人{V

通过医院各科室就是物流的智能化站点，某科室下达物流指令，调度空闲小车进行运输，空小车有的在基站待命，有的在回基站的路上某智能化站点，需要经过精确计算确认哪辆小车到达发货站点路径最短或时间最短，使得运行成本最低。

附图说明

图1为本发明实施例提供的基于动态规划的机器人调度路径规划方法流程图；

图2为本发明实施例提供的另一基于动态规划的机器人调度路径规划方法流程图；

图3为本发明实施例提供的通过动态规划方法计算所述第一空闲机器人V1到物流发货站点的最短时间T

图4为本发明实施例提供的再一基于动态规划的机器人调度路径规划方法流程图；

图5为本发明实施例提供的基于动态规划的机器人调度路径规划方法状态多阶段决策转换框图；

图6为本发明实施例提供的基于动态规划的机器人调度路径规划方法的一具体实施例状态图；

图7为本发明实施例提供的基于动态规划的机器人调度路径规划方法的又一具体实施例状态图；

图8为本发明实施例提供的基于动态规划的机器人调度路径规划方法的再一具体实施例状态图；

图9为本发明实施例提供的基于动态规划的机器人调度路径规划系统结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

实施例1：

一方面，参阅图1和图9，本发明实施例提供一种基于动态规划的机器人调度路径规划方法，包括步骤：

S101、接收小车调度指令；其中，所述调度指令包括发货站点位置信息和收货站点的位置信息；

S102、确定是否有空闲机器人，如有，则根据各个空闲机器人{V

S103、优选min{T

具体地，参阅4中所示，当医院的某科室需要转运物资时，可通过客户端向服务器下发某科室站点的物流调度指令。其中，调度指令包括发货站点位置信息和收货站点的位置信息；服务器通过步骤S101接收小车调度指令，并获取所述小车调度指令中的发货站点位置信息和收货站点的位置信息。并通过步骤S102、确定是否有空闲机器人。所述空闲机器人可为没有处于执行转运任务的医用AGV小车。当没有空闲机器人时，此时需要等待正在执行转运任务的机器人完成转运任务后，再做下一步的调度处理。而当有空闲机器人时，则分别获取各个空闲机器人{V

在此以第一空闲机器人V

服务器通过获取第一空闲机器人V

参阅图3其中，通过动态规划方法计算所述第一空闲机器人V

S1031、根据各站点距离所述物流发货站点的远近关系分别划分为多个阶段状态k＝1，2，3，…n；其中，第一空闲机器人V

S1032、分别获取第一空闲机器人V

S1033、根据站点状态变量集合x

具体地，参阅图5中所示，可通过步骤S1031根据各站点距离所述物流发货站点的远近关系分别划分为多个阶段状态k＝1，2，3，…n；例如，不同路线中，距离相同不远或者时间相差不多的站点可划分到同一阶段状态k。由于第一空闲机器人V

以上公式中，x

由于第一空闲机器人V

以下通过逆序解法寻优法计算进行详细的说明：

采用逆序解法(后向动态规划方法)寻优法计算最短距离，其方向与多阶段决策过程的实际行进方向相反，从最后一段开始计算逐段前推，求得全过程的最优策略。逆序地求出条件最优目标函数值集合和条件最优决策集合。计算步骤如下：

步骤1、当k＝n时，动态规划基本方程是

边界条件f

当k＝n时的动态规划基本方程成为：

或者写成最优决策的方程：

f

或者写成集合的方式：

{f

步骤2、当k＝n-1时，动态规划的基本方程是

所有的f

{f

步骤3、当k＝n-2，n-3，…2时，动态规划的基本方程及对应的求条件最优决策及相应的条件最优目标函数值也可以参照以上基本方程一一获取，再次不一一列举。

步骤4、当k＝1时，动态规划的基本方程是

所有的f

{f

其中，

其中，x

其中，u

其中，

其中，

与第一空闲机器人V

则空闲AGV机器人{V

再优选最优值V*＝min{T

实施例2：

参阅图2，在本发明的另一个实施例中，所述基于动态规划的机器人调度路径规划方法步骤：

S201、接收小车调度指令；其中，所述调度指令包括发货站点位置信息和收货站点的位置信息；

S202、确定是否有空闲机器人，如有，则根据各个空闲机器人{V

S203、优选min{T

S204、当第一空闲机器人V

S205、控制所述第一空闲机器人V

具体的，本实施例是在实施例1的基础上的进一步优化，其中，步骤S201至于步骤S203与实施例1相同，均是通过动态规划方法分别计算各个空闲机器人{V

参阅图4至图8，以下通过一医院AGV调度小车执行物流任务的实施例进一步进行说明。

实例:站点医院静脉配药中心位于2#住院楼三楼下达发送一批药品物流指令，从静配中心(发货站点)发送住院楼22层(收货站点)，通过数字化孪生模型平台(服务器)获取有3台空车。

其中，1号空车在地下四层待命区，1号空车接受指令第一阶段决策可到达AGV、员工、探视三种电梯门口；第二阶段乘坐三种电梯可到达三层电梯门口；第三阶段三种电梯门口到达2#住院楼三楼静配中心收发药品站点(发货站点)。

其中，2号空车正在质子楼10层收发站刚卸完药品，接受指令第一阶段决策可到达AGV、员工、探视三种电梯门口；第二阶段乘坐三种电梯可到达三层电梯门口，第三阶段从三种电梯门口到2#住院楼三楼达静配中心收发药品站(发货站点)。

其中，3号空车正在2#住院楼6层充电站充电完成待命，接受指令第一阶段决策可到达AGV、员工、探视三种电梯门口；第二阶段乘坐三种电梯可到达三层电梯门口，第三阶段从三种电梯门口到达2#住院楼三楼静配中心收发药品站(发货站点)。

以1号空车物流运输为计算例子：其间的道路系统如图6所示，图上圆圈表示途径的地方，称为节点(站点)，连结两地的箭线表示道路或乘坐电梯，其上的数字表示该段道路长度或时间，箭头表示通行的方向。试求s到t的最短路。求解过程如下：

步骤1、确定节点，并画出网络图如下：

节点s：1号空车在地下四层待命区；

节点a:地下四层AGV电梯门口；

节点b:地下四层员工电梯门口；

节点c:地下四层探视电梯门口；

节点d:2#住院楼三楼AGV电梯门口；

节点e:2#住院楼三楼员工电梯门口；

节点f:2#住院楼三楼探视电梯门口；

节点t:2#住院楼三楼静配中心收发药品站(发货站点)。

步骤2、划分决策阶段：

如图7中所示，可根据1号空车到(发货站点)的各个可选路线中的距离发货站点的距离/或者时间划分为多个决策阶段。例如，本实施例中可划分为3个决策阶段。每个决策阶段均需要对下一站点进行选择。

步骤3、站点状态变量集合x

开始阶段时，站点状态变量集合为x

第一阶段时，站点状态变量集合为x

第二阶段时，站点状态变量集合为x

结束阶段时，x

步骤4、k阶段决策u

第一阶段时，站点s决策集合为u

第二阶段时，站点a决策集合为u

第二阶段时，站点b决策集合为u

第二阶段时，站点c决策集合为u

第三阶段时，站点t决策集合为u

步骤5、第3阶段逆序求条件最优目标函数集和条件最优决策集：

由于第3阶段末已到达站点t，往后的距离自然是零，因此f

子步骤1)、站点d的条件最优目标函数f

子步骤2)、站点d的条件最优目标函数f

子步骤3)、站点d的条件最优目标函数f

步骤6、第2阶段逆序求条件最优目标函数集和条件最优决策集：

对2阶段所有可能的状态X

子步骤1)、站点a的条件最优目标函数f

子步骤2)、站点b的条件最优目标函数f

子步骤3)、站点c的条件最优目标函数f

步骤7、第1阶段逆序求条件最优目标函数集和条件最优决策集：

对1阶段所有可能的状态X

站点s的条件最优目标函数f

步骤8、参阅图8，通过以上可获取到1号空闲小车从站点s到站点t的最短路时间为：

T

步骤9、依上述方法可求出T

步骤10、计算V*＝min{T

实施例3：

参阅图2，在本发明的一个实施例中，所述基于动态规划的机器人调度路径规划方法步骤：

S201、接收小车调度指令；其中，所述调度指令包括发货站点位置信息和收货站点的位置信息；

S202、确定是否有空闲机器人，如有，则根据各个空闲机器人{V

S203、优选min{T

S204、当第一空闲机器人V

S205、控制所述第一空闲机器人V

S206、根据第一空闲机器人V

S207、获取第一空闲机器人V

S208、控制所述第一空闲机器人V

具体的，本实施例是在实施例2的基础上的进一步优化，其中，步骤S201至于步骤S205与实施例2相同，均是通过动态规划方法分别计算各个空闲机器人{V

参阅图9，另一方面，本发明实施例还提供一种基于动态规划的机器人调度路径规划系统，其特征在于，包括：空闲机器人、客户端和服务器，所述空闲机器人设有多个，所述服务器分别与所述空闲机器人、客户端之间通信连接；

所述服务器包括：命令接收模块、空闲机器人调动模块和发货调动执行模块，所述命令接收模块用于接收所述客户端发送的小车调度指令；其中，所述调度指令包括发货站点位置信息和收货站点的位置信息；

所述空闲机器人调动模块用于确定是否有空闲机器人，如有，则根据各个空闲机器人{V

所述发货调度模块用于优选min{T

所述空闲机器人调动模块包括：第一空闲机器人途径站点获取模块、第一空闲机器人途径站点时间获取模块和第一空闲机器人最短时间获取模块，所述第一空闲机器人途径站点获取模块用于根据第一空闲机器人V1当前站点位置信息S

所述第一空闲机器人途径时间站点获取模块用于分别获取第一空闲机器人V

所述第一空闲机器人最短时间获取模块用于通过动态规划方法计算所述第一空闲机器人V

其中，在本发明的一个所述中，所述第一空闲机器人途径时间站点获取模块：阶段划分模块、各阶段决策集获取模块和逆序解法寻优模块，所述阶段划分模块用于根据各站点距离所述物流发货站点的远近关系分别划分为多个阶段状态k＝1，2，3，…n；

所述各阶段决策集获取模块用于分别获取第一空闲机器人V

所述逆序解法寻优用于根据站点状态变量集合x

其中，x

其中，{r

其中，

其中，当k＝n时，公式

在本发明的一个实施例中，所述基于动态规划的机器人调度路径规划系统，所述服务器还包括：当位置到物流发货站点最优决策获取模块和当前位置移动至物流发货站点移动控制模块，所述当位置到物流发货站点最优决策获取模块用于当第一空闲机器人V

所述当前位置移动至物流发货站点移动控制模块用于控制所述第一空闲机器人V

在本发明的一个实施例中，所述基于动态规划的机器人调度路径规划系统，所述服务器还包括：物流发货站点到收货站点的最短时间计算模块、发货站点到物流收货站点最优决策获取模块和发货站点移动至物流收货站点移动控制模块，所述物流发货站点到收货站点的最短时间计算模块用于根据第一空闲机器人V

所述发货站点到物流收货站点最优决策获取模块用于获取第一空闲机器人V

所述发货站点移动至物流收货站点移动控制模块用于控制所述第一空闲机器人V

在本发明的一个实施例中，所述空闲机器人为医用AGV小车。

参阅图9，所述服务器可包括但不仅限于处理器、存储器。本领域技术成员可以理解，图示仅仅是控制装置的示例，并不构成对控制装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述控制装置还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立预设硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器可以是所述控制装置的内部存储单元，例如控制装置的硬盘或内存。所述存储器也可以是所述控制装置的外部存储设备，例如所述控制装置上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述控制装置的内部存储单元也包括外部存储设备。所述存储器用于存储所述计算机程序以及所述控制装置所需的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。

所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

以上仅为本发明的实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。