一种用于按压止血机器人的随动控制方法和系统

技术领域

本发明涉及自动化控制技术领域，更具体地，涉及一种用于按压止血机器人的随动控制方法和系统。

背景技术

心脏介入治疗技术已成为冠心病、心律失常、先天性心脏病、瓣膜性心脏病等疾病的常用治疗方法。桡动脉和股动脉是心脏介入治疗的主要手术路径。股动脉由于管径较粗便于穿刺和导管操作，在应对一些复杂病变时，股动脉路径具有其他介入路径无法比拟的优势。但同时，股动脉血管直径大、血流速度快，术后穿刺点的即刻止血困难，止血操作不当会增加术后并发症的风险。

近年来，多种类型的动脉穿刺闭合器以及股动脉压迫止血器应用到临床。然而，由于病人个体具有生理差异性(如血管条件、胖瘦)，这些装置均无法模拟人类操作者对不同个体穿刺点进行局部压迫的力度，止血装置难以临床推广，医生术后仍以人工压迫方法为主。同时，止血操作不当极易引起局部血肿、假性动脉瘤、动静脉瘘等并发症。在传统人工压迫方式下，患者在接受沙袋加压的过程中，肢体要长时间保证不动的状态，加重了患者的不适和痛苦程度。因此，经股动脉介入术后，如何缩短止血操作时间、提高患者舒适性、减少术后并发症，不仅成为介入医生关注的难点，而且成为目前业界关注的热点。

在股动脉介入手术后，对股动脉穿刺部位进行压迫，以促进血管创口的闭合和止血，这是一种常见的止血方法，但也存在一些并发症的风险，如出血、血肿、假性动脉瘤、动静脉瘘等。因此，选择合适的穿刺部位、使用适当的压迫力度和时间、采用辅助的止血器械或敷料等，都是提高止血效果和安全性的重要因素。目前，主要有人工压迫止血法，股动脉介入手术完成后，在拔除鞘管前，首先测量患者的收缩压和舒张压，并根据血压水平和鞘管大小确定压迫时间。一般来说，压迫时间为15-20分钟，但如果患者有高血压、抗凝治疗或较大的鞘管，则需要延长压迫时间。在拔除鞘管时，应保持负压抽吸，并用无菌棉球或敷料对穿刺点施加适当的压力。压力的大小应以能摸到足背动脉搏动而又无穿刺部位出血为度。压迫止血后，应用绷带或弹力袜对穿刺部位进行加压包扎，并让患者卧床休息6-12小时，避免活动或屈曲。这种人工压迫止血法费时费力，增加了医护人员的劳动量和患者的痛苦，并且可能影响患者的舒适度和恢复速度。

在现有技术中，专利申请CN202310632482.1公开了一种基于柔性按压的动脉穿刺点加压止血器。该止血器包括一个绑带部，一个基框部，多个从配组件，多个施压组件，一个透气敷料和一个膨胀组件。这类压迫止血器设备复杂，价格昂贵，操作复杂度高。并且压迫止血器适用的群体有限，不能针对不同生理状态的个体自适应的改变压迫力度。并且，压迫力度不易控制，过大或过小的压力都可能影响止血效果和安全性，过大的压力可能导致穿刺点及其周围血管的损伤或阻塞，过小的压力可能导致出血或血肿。此外，现有的压迫止血器并没有有效减小压迫时长，在压迫过程中患者也需要长时间卧床休息，避免活动，从而增加了患者痛苦程度。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种用于按压止血机器人的随动控制方法和系统。

根据本发明的第一方面，提供一种用于按压止血机器人的随动控制方法。该方法包括以下步骤：

检测机械臂按压处的当前的压力分布状态，并对比与标准状态之间的差异，如果差异达到设定变化阈值，则产生随动控制信号，其中所述标准状态是期望的按压效果所对应的压力分布状态；

在检测到所述随动控制信号的情况下，将所述当前的压力分布状态输入到经训练的强化学习模型，得到对应的执行动作，该执行动作用于指示机械臂按压角度的改变；

将所述执行动作转换为机械臂控制信号，以控制机械臂的按压位置固定而改变按压角度。

根据本发明的第二方面，提供一种用于按压止血机器人的随动控制系统。该系统包括机械臂、控制器和上位机，其中：

上位机用于执行：检测机械臂按压处的当前的压力分布状态，并对比与标准状态之间的差异，如果差异达到设定变化阈值，则产生随动控制信号，其中所述标准状态是期望的按压效果所对应的压力分布状态；在检测到所述随动控制信号的情况下，将所述当前的压力分布状态输入到经训练的强化学习模型，得到对应的执行动作传递给控制器，该执行动作用于指示机械臂按压角度的改变；

控制器用于将所述执行动作转换为机械臂控制信号，以控制机械臂的按压位置固定而改变按压角度。

与现有技术相比，本发明的优点在于，提供一种自适应即刻按压止血的机器人控制方案，以控制机械臂按压的方式达到压迫止血效果，能够精准控制按压力度，缩短压迫时长，并且通过对机械臂末端的随动控制，使患者在压迫过程中能够有小范围的活动空间，提升了患者的舒适度和安全性。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明一个实施例的用于按压止血机器人的随动控制方法的流程图；

图2是根据本发明一个实施例的按压止血机器人的随动控制方法的总体过程示意图；

图3是根据本发明一个实施例的五关节机械臂结构示意图；

图4是根据本发明一个实施例的训练强化学习模型的过程示意图；

图5是根据本发明一个实施例的价值表示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明提供一种用于按压止血机器人的随动控制方案，尤其适用于股动脉穿刺点的即刻按压止血的机械臂控制。该方案总体上包括：采集和分析压力数据，根据压力分布变化按照区间划分为不同状态，以这些状态作为后续强化学习模型的状态空间，每个状态对应机械臂的多个角度变换动作，这些动作作为后续强化学习模型的动作空间；基于强化学习的机械臂末端随动控制算法，根据上述的状态空间和动作空间，结合Q-learning算法训练强化学习模型，经训练的模型即可根据实时的压力分布变化，计算出相对应的随动控制信号；进而通过正逆运动学计算将随动控制信号转换为位置控制指令发送给机械臂控制器，以控制器控制机械臂运动，达到随动效果。

具体地，结合图1和图2所示，所提供的用于按压止血机器人的随动控制方法包括以下步骤：

步骤S110，构建强化学习模型，以实现机械臂随按压目标的位置变化而进行随动控制。

以图3的设有五关节机械臂的机器人平台为例，该平台还包括上位机和机器人控制器(未示出)。机械臂的末端为按压止血执行器，且末端执行器上安装一个柔性薄膜压力传感器，该传感器为一个正方形矩阵。柔性薄膜压力传感器上的压力大小和分布情况会随着按压力度和按压角度发生变化，本发明的目的是让机械臂的按压可以跟随被按压的目标物体的位置变化，即当被按压物体发生转动时，机械臂要跟随运动，保证按压方向与按压点垂直。

在一个实施例中，采用强化学习实现随动控制的总体构思是；首先，按压对象位置运动，导致贴附在按压处的薄膜压力传感器上的压力分布发生变化，产生新的状态s

S120，以达到按压止血效果时，恒力按压下的压力分布作为优化目标，训练强化学习模型。

在一个实施例中，强化学习模型的训练结合Q-learning算法实现，如图4所示。

首先，将薄膜压力传感器上的压力分布按照不同区间范围划分为50个状态，每个状态例如对应两个动作：机械臂的按压方向围绕按压点作逆时针旋转1

Q

其中，a

强化学习的过程就是更新Q-Table里的值，使得价值最大化，价值是未来奖励的期望。例如，以达到按压止血效果时的恒力按压下的薄膜压力传感器上的压力分布作为标准状态s

具体地，结合图4所示，采用Q-learning算法训练强化学习模型包括以下步骤：

步骤1：初始化Q-Table。

例如，初始值均为0，指定一个探索速率epsilon，一开始将它设定为1。

步骤2：生成一个随机数。如果这个数大于epsilon，查询Q-Table，选择当前状态下价值最大的动作。否则，继续探索(随机动作)。执行动作之后，得到一个新的状态，如果s

步骤3：获得奖励之后，更新该状态下对应动作的价值。

例如，更新方法采用Bellman方程实现，参见公式(2)。学习率α设置为0.1，影响因子γ设置为0.9。公式(3)是价值Q的真实值，公式(4)是时序差分误差。

NewQ(s,a)＝Q(s,a)+α[R(s,a)+γmaxQ

Q

TDerror＝Q

步骤4：更新状态s

步骤5：返回步骤2重复执行，直到达到目标或学习停止。

应理解的是，epsilon是随机采用的步长。在一开始，这个速率应该处于最大值，因为Q-Table中的值为初始值，没有意义。此时需要通过随机选择动作进行大量的探索。在刚开始训练Q函数时，必须有一个大的epsilon。随着智能体对估算出的Q值更有把握，再逐渐减小epsilon。此外，强化学习模型的状态数量、每个状态对应的动作数量等，可根据对强化学习模型的精度和效率要求进行合理设置。

步骤S130，以固定按压位置而改变按压角度为目标，设计机械臂末端的圆弧运动规划。

有了随动控制信号之后，可以开始控制机械臂运动。目标是在不改变按压位置的情况下改变按压角度。因为按压方向和末端连杆方向一致，所以问题是改变末端连杆的方向。在一个实施例中，通过设计圆弧规划控制机器臂末端执行器的运动。例如，以原机械臂末端为固定圆心，末端连杆为半径，与末端连杆相连的关节作为新的机械臂末端，让新的末端围绕圆心作圆弧运动，达到末端点不动而末端连杆方向改变的效果。

具体地，圆弧规划包括以下步骤：

首先，确定圆弧轨迹的起始点、中间点和终止点，以及机械臂末端的姿态。其次，根据三个点的坐标，求解圆弧轨迹所在的平面方程和圆心坐标。圆弧轨迹所在平面方程如公式(5)，其中，系数A,B,C,D可以由公式(6)求得。(x

Ax+By+Cz+D＝0 (5)

接下来，根据圆心坐标和圆弧角度，生成机械臂末端的位置插补点。

圆心坐标如公式(7)。圆弧角度如公式(8)，圆弧半径r是末端连杆的长度。

圆弧轨迹的第i个点的坐标为(x

其中，(x

I为单位矩阵，[ω]

最后，有了机械臂末端的位置插补点(x

步骤S140，利用经训练的强化学习模型和所设计的圆弧运动规划，对按压目标执行随动控制。

经训练的强化学习模型可以应用到机器人的随动控制中。具体地，在随动控制之前，目标物体位置不改变，此时机械臂对按压点保持一个恒力和垂直按压，以此时薄膜压力传感器上的压力分布作为标准分布，记作状态s

综上所述，相对于现有技术，本发明具有以下优势：

1)本发明采用的柔性薄膜压力传感器为一个正方形矩阵，根据矩阵上不同检测点的受力分布情况将压力数据划分成不同状态，作为强化学习的状态空间，提升了状态空间和压力分布之间的关联性，能够及时检测压力分布变化。

2)本发明将柔性薄膜压力传感器上的压力分布作为状态空间，机械臂的按压角度变换作为动作空间，利用Q-learning算法对强化学习模型进行训练，能够获得使机械臂适应不同状况个体的拥有末端随动功能的强化学习模型。

3本发明以原机械臂末端为固定圆心，末端连杆为半径，与末端连杆相连的关节作为新的机械臂末端，让新的末端围绕圆心作圆弧运动，实现末端点不动而末端连杆方向改变的效果，进而提升了压力控制的精准性并且能自适应地改变按压方向，实现末端跟随患者肢体伤口的运动控制。

4)本发明采用的随动控制技术人工成本低，减轻了医生的体力负担，并且按压力度的控制更加精准。并且，相比人工按压患者长时间不能活动，本发明的按压过程中患者能有小范围的活动空间，减轻了患者的痛苦程度。

5)经验证，本发明可有效应用于多种机器人平台，例如五关节机械臂的机器人平台，通过控制机械臂实现按压止血效果，并提升了患者的舒适性和安全性。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++、Python等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。