具有快速轨迹规划及混合信息姿态重建的智能穿戴系统

技术领域

本发明涉及上肢康复领域，具体涉及一种具有快速轨迹规划及混合信息姿态重建的智能穿戴系统。

背景技术

根据2019年全球脑卒中统计，全球脑卒中终生平均风险上升至24.9％。面对不断增加的医疗需求，康复外骨骼成为了潜在的可能，它能弥补护理成本的增加和护理人员的缺乏。研究报告显示，在所有的日常生活活动中，穿衣对护理人员的负担最大，而对辅助技术的使用却最少。给患者穿戴外骨骼比起穿衣服对护理人员的负担更大。目前，大多数外骨骼专注于如何在康复训练过程中提升患者的参与度及积极性，但外骨骼的穿戴阶段被轻视。大多数外骨骼仍然需要治疗师徒手调整来完成穿戴任务，这不仅增大护理人员的负担还会导致患者不舒服。因此，让患者、治疗师以及外骨骼相互协作、共同完成穿戴任务是非常必要的。在外骨骼的穿戴阶段，外骨骼的参与程度需要被尽量提高，治疗师决定大方向的同时，运动的细节由外骨骼负责。

用于采集人体姿态信号的传感器可分为三大类：穿戴式传感器、视觉与穿戴式相结合的传感器以及纯视觉传感器。关于穿戴式传感器，文献《Drift-Free and Self-Aligned IMU-Based Human Gait Tracking System With Augmented Precision andRobustness》(IEEE Robotics and Automation Letters)提出了一个基于IMU的在线人类步态估计框架。关于视觉与穿戴式相结合的传感器，Chen,Y提出一种视觉-惯性骨架跟踪(VIST)框架(Chen,Y.,Fu,C.,Leung,S.,&Shi,L..(2020).Drift-free and self-alignedimu-based human gait tracking system with augmented precision androbustness.IEEE Robotics and Automation Letters,PP(99),1-1.)，G Nagymáté提出基于augmented reality(AR)markers的姿态识别方法(G Nagymáté,Kiss,R.M.,&Masani,K..(2019).Affordable gait analysis using augmented reality markers.PLoS ONE,14(2).)。关于纯视觉传感器，Wu,S等使用多视角进行3D人体中心定位，然后再进行3D人体姿态估计(Wu,S.,Jin,S.,Liu,W.,Bai,L.,Qian,C.,&Liu,D.,et al.(2021).Graph-Based 3DMulti-Person Pose Estimation Using Multi-View Images.)。

然而，IMU等穿戴式的传感器虽然是姿态识别的解决方案之一，其具备抗遮挡能力及优秀的测量精度。但无法对目标进行定位以及需要麻烦的穿戴。因此穿戴式结合视觉的方案被提出，虽然穿戴的步骤被大程度地减少，但这仍然会让患者不自然，甚至干扰外骨骼动作。据此，纯视觉方案是本任务的最优解决方案。但在外骨骼的穿戴任务中，受限于各种复杂的医疗场地，无法充分地布置多个摄像头，这会导致源于多摄像头的抗遮挡优势无法很好地体现。因此，在这种情况下，从更可靠的视觉信息中估计所需的深度信息和三维姿势是必要的。

发明内容

为了解决现有技术存在的问题，本发明提供了一种具有快速轨迹规划及混合信息姿态重建的智能穿戴系统，实现了上肢康复训练的外骨骼穿戴任务中治疗师及患者数据的实时视觉姿态监测、混合姿态重建、穿戴轨迹跟踪，能够观察、估计并生成与患者匹配的穿戴姿态，进而快速、智能地辅助治疗师完成穿戴任务。

为了实现本发明目的，本发明公开了一种具有快速轨迹规划及混合信息姿态重建的智能穿戴系统，包括机器人本体模块、视觉姿态监测模块、混合姿态重建模块、穿戴轨迹规划模块和底层安全控制模块。

所述机器人本体模块作为执行机构，用于实现辅助上肢功能障碍人群进行外骨骼的穿戴任务；

所述视觉姿态监测模块包括视觉姿态信息采集系统，用于获取视觉传感器的实时信号，反馈外骨骼穿戴任务过程中患者及治疗师运动所产生姿态数据，所述姿态信息包含了患者以及治疗师的帧图像，通过openpose以及深度信息获得目标姿态的三维关键点位置信息，其中关键点信息包含了：肩关节、肘关节、腕关节的三维信息。

所述混合姿态重建模块用于把姿态数据分为可靠信息和不可靠信息，然后通过可靠信息对不可靠信息进行估计与重建以保证提高混合环境下的精确度和可靠度，，获得更可靠的目标姿态；

所述穿戴轨迹规划模块用于根据重建后的姿态信息规划外骨骼穿戴任务中的实时轨迹；

所述底层安全控制模块用于根据患者与外骨骼的交互力和目标轨迹，让外骨骼执行穿戴任务过程中，具有安全保护以及柔性，驱动外骨骼以辅助患者以及治疗师完成安全的穿戴任务。

进一步地，所述的机器人本体模块用于辅助患者以及治疗师完成上肢康复外骨骼的穿戴任务，并根据穿戴轨迹规划模块输出的目标轨迹来驱动外骨骼，以实现穿戴任务轨迹，并根据底层安全控制模块来根据交互力修正外骨骼的实际目标位置以实现安全的外骨骼穿戴任务。

进一步地，所述的混合姿态重建模块通过把获得的姿态信息分为可靠信息和不可靠信息，可靠性评估模型是基于两个指标建立的，这两个指标如(1)所示。

其中，δ

f(x)＝g(x)+h(x)(2)

进一步地，然后通过可靠信息对不可靠信息进行估计与重建，以保证提高混合环境下的精确度和可靠度，最终获得更可靠的目标姿态。

进一步地，混合姿态重建模块进行姿态重建的步骤包括：

三维坐标系中直线的参数方程用公式(3)表示，其中k

把用户的前臂和上臂各离散为n个关键点集中起来，形成三维点集，使用迭代最小二乘法方法拟合上臂和前臂的位姿，目标损失函数被设计如公式(4)-(5)所示：

w

其中，

其中，初值

当P(i,2)-X

其中，在把用户的前臂和上臂各离散为n个关键点集中起来形成三维点集中，将局部遮挡的点以及视觉的误差点忽略作为离群点。

进一步地，所述的穿戴轨迹规划模块基于重建后的目标姿态，采用局部轨迹规划的方法，生成自适应虚拟导向管道势场来解决局部极小值的问题，最终根据重建后的姿态信息规划外骨骼穿戴任务中的实时轨迹。

进一步地，所述穿戴轨迹规划模块中，吸引力势场F

F

其中，k

进一步地，所述的底层安全控制模块根据目标轨迹以及患者与外骨骼的交互力，设计底层柔顺控制算法，最终驱动外骨骼以辅助患者以及治疗师完成安全的穿戴任务。

所述底层安全控制模块中的底层柔顺控制算法为

当电机位置X

与现有技术比较，本发明具有如下优点和技术效果：

本发明提出了一种具有快速轨迹规划及混合信息姿态重建的智能穿戴系统，旨在解决现有上肢外骨骼穿戴任务中须由多个治疗师合力协作才能完成外骨骼穿戴任务的问题。机器人本体模块辅助上肢功能障碍人群进行外骨骼的穿戴任务，视觉姿态监测模块采集并得到患者的姿态数据，混合姿态估计重建外骨骼穿戴任务过程中的视觉信息不可靠部分，以保证提高混合环境下的精确度，穿戴轨迹规划模块用于根据重建后的姿态信息规划外骨骼穿戴任务中的实时轨迹。底层安全控制模块用于根据交互力信息，让外骨骼执行穿戴任务过程中，具有安全保护以及柔性。一种具有快速轨迹规划及混合信息姿态重建的智能穿戴系统，实现了康复训练的穿戴任务中患者及治疗师的姿态监测与估计重建，有利于治疗师及患者更轻松地完成外骨骼穿戴任务，进而顺利开展外骨骼康复训练。

附图说明

图1为本发明实施例提供的一种具有快速轨迹规划及混合信息姿态重建的智能穿戴系统示意图。

图中所示：1-机器人本体模块、2-视觉姿态监测模块、3-混合姿态重建模块、4-穿戴轨迹规划模块、5-底层安全控制模块。

图2为人工势场示意图，左图为吸引力势场，右图为排斥力势场。

图3为柔顺控制算法的数学模型示意图。

具体实施方式

下面将结合具体实施例对本发明作进一步说明，但不限于此。

如图1所示，本发明提供的一种具有快速轨迹规划及混合信息姿态重建的智能穿戴系统，包括机器人本体模块1、视觉姿态监测模块2、混合姿态重建模块3、穿戴轨迹规划模块4和底层安全控制模块5；

所述机器人本体模块1作为执行机构，实现辅助上肢功能障碍人群进行外骨骼的穿戴任务；

所述视觉姿态监测模块2包括视觉姿态信息采集系统，用于获取视觉传感器的实时信号，反馈外骨骼穿戴任务过程中患者及治疗师运动所产生的姿态数据，包括患者的姿态数据、治疗师的姿态数据；所述姿态数据包含了患者以及治疗师的帧图像，通过openpose以及深度信息获得目标姿态的三维关键点位置信息，其中关键点信息包含了：肩关节、肘关节、腕关节的三维信息。

所述混合姿态重建模块通过把获得的姿态数据分为可靠信息和不可靠信息，然后通过可靠信息对不可靠信息进行估计与重建，以保证提高混合环境下的精确度和可靠度，最终获得更可靠的目标姿态。

所述穿戴轨迹规划模块规划采用局部轨迹规划的方法，并生成自适应虚拟导向管道势场来解决局部极小值的问题，最终根据重建后的姿态信息规划外骨骼穿戴任务中的实时轨迹。

所述底层安全控制模块根据患者与外骨骼的交互力，设计底层柔顺控制算法，最终驱动外骨骼以辅助患者以及治疗师完成安全的穿戴任务。

所述的机器人本体模块用于辅助患者以及治疗师完成上肢康复外骨骼的穿戴任务，并根据穿戴轨迹规划模块输出的目标轨迹来驱动外骨骼，以实现穿戴任务轨迹，并根据底层安全控制模块来根据交互力修正外骨骼的实际目标位置以实现安全的外骨骼穿戴任务。

在本发明的其中一些实施例中，所述的混合姿态重建模块通过把获得的姿态信息分为可靠信息和不可靠信息，可靠性评估模型是基于两个指标建立的，这两个指标如式子(1)所示。

其中，δ

f(x)＝g(x)+h(x)(2)

f(x)代表可靠性评价指标，当f(x)大于1，被认为是不可靠信息，当(x)小于1，被认为是可靠信息。

然后通过可靠信息对不可靠信息进行估计与重建，以保证提高混合环境下的精确度和可靠度，最终获得更可靠的目标姿态。

三维坐标系中直线的参数方程可以用公式(3)表示，其中k

把用户的前臂和上臂各离散为n个关键点集中起来，形成三维点集。其中的局部遮挡的点以及视觉的误差点被忽略作为离群点，因此使用迭代最小二乘法方法拟合上臂和前臂的位姿以减少视觉信号引起的误差。目标损失函数被设计如式子(4)(5)所示。其中，

w

当P(i,2)-X

穿戴轨迹规划模块采用局部轨迹规划的方法，并生成自适应虚拟导向管道势场来解决局部极小值的问题，最终根据重建后的姿态信息规划外骨骼穿戴任务中的实时轨迹。

在本发明的其中一些实施例中，所述的穿戴轨迹规划模块基于重建后的目标姿态，采用基于人工势场的局部轨迹规划的方法，根据重建后的姿态信息规划外骨骼穿戴任务中的实时轨迹。其中，吸引力势场F

F

其中，k

所述的底层安全控制模块根据目标轨迹以及患者与外骨骼的交互力，设计底层柔顺控制算法，最终驱动外骨骼以辅助患者以及治疗师完成安全的穿戴任务。电机的控制率即所述底层柔顺控制算法为(11)：

当电机位置X

本发明提出了一种具有快速轨迹规划及混合信息姿态重建的智能穿戴系统，旨在解决现有上肢外骨骼穿戴任务中须由多个治疗师合力协作才能完成外骨骼穿戴任务的问题。机器人本体模块辅助上肢功能障碍人群进行外骨骼的穿戴任务，视觉姿态监测模块采集并得到患者的姿态数据，混合姿态估计重建外骨骼穿戴任务过程中的视觉信息不可靠部分，以保证提高混合环境下的精确度，穿戴轨迹规划模块用于根据重建后的姿态信息规划外骨骼穿戴任务中的实时轨迹。底层安全控制模块用于根据交互力信息，让外骨骼执行穿戴任务过程中，具有安全保护以及柔性。本发明实现了康复训练的穿戴任务中患者及治疗师的姿态监测与估计重建，有利于治疗师及患者更轻松地完成外骨骼穿戴任务，进而顺利开展外骨骼康复训练。

前述实施例提供的穿戴系统的使用流程如下：

在本发明的其中一些实施例中，所述机器人本体模块1处于患者以及治疗师的背后，辅助治疗师及患者进行外骨骼穿戴任务。在机器人本体模块1执行外骨骼辅助穿戴任务的过程中，视觉姿态监测模块2采集患者及治疗师的帧图像，通过openpose以及深度信息获得目标姿态，监测到的图像数据作为作为输入参数传输至混合姿态重建模块3。所述混合姿态重建模块3通过可靠信息对不可靠信息进行估计与重建，以保证提高混合环境下的精确度和可靠度，最终获得更可靠的目标姿态，重建后的姿态被传输至穿戴轨迹规划模块4。所述的穿戴轨迹规划模块4基于重建后的目标姿态，采用局部轨迹规划的方法，生成自适应虚拟导向管道势场来解决局部极小值的问题，最终根据重建后的姿态信息规划外骨骼穿戴任务中的实时轨迹，实际轨迹被传输至底层安全控制模块5。所述的底层安全控制模块5根据目标轨迹以及患者与外骨骼的交互力，设计底层柔顺控制算法，最终驱动外骨骼以辅助患者以及治疗师完成安全的穿戴任务。

本发明提供的具有快速轨迹规划及混合信息姿态重建的智能穿戴系统，机器人本体模块辅助上肢功能障碍人群进行外骨骼的穿戴任务；视觉姿态监测模块采集并得到患者的姿态数据；混合姿态估计重建外骨骼穿戴任务过程中的视觉信息不可靠部分，以保证提高混合环境下的精确度；穿戴轨迹规划模块用于根据重建后的姿态信息规划外骨骼穿戴任务中的实时轨迹。底层安全控制模块用于根据交互力信息，让外骨骼执行穿戴任务过程中，具有安全保护以及柔性。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。