一种基于VIO系统的下肢外骨骼运动模式预测方法及系统

技术领域

本发明涉及下肢外骨骼运动技术领域，具体涉及一种基于VIO系统的下肢外骨骼运动模式预测方法及系统。

背景技术

为方便日常出行，生活场所中存在大量建设好的平地、楼梯、斜坡等地形。通过不同的发力和平衡控制方式，健康人可以自由顺畅地在这些地形之间运动。但是截肢、神经损伤、肌肉萎缩等下肢功能障碍使病人失去了行走能力，造成了极大的生活不便。受人行走发力方式的启发，下肢假肢、外骨骼等设备被广泛用来辅助下肢病人进行日常行走。为适应日常生活中的多种地形，上述设备通常保存许多预设的运动模式。因此如何检测用户状态并进行协同运动成为了下肢外骨骼的主要发展方向。

目前，下肢外骨骼等设备获取用户状态主要使用两类传感器，用户状态检测传感器和环境信息检测传感器。用户状态检测传感器主要包括惯性测量单元(InertialMotionUnit，IMU)、肌电信号(Electromyography，EMG)和脑电信号(electroencephalogram，EEG)等。环境检测传感器主要包括激光雷达、深度相机等。用户状态检测传感器可以直接获取用户状态，但缺乏预测功能；环境信息检测传感器具备预测潜力，但只能粗略估计或使用用户状态检测传感器检测状态。目前的研究及工程开发方向主要集中于使用上述传感器对地形步态进行分类，或利用一些预设参数，如固定环境采集视角等，对步态进行预测，从而实现对下肢外骨骼运动模式切换的指导。

但是上述方式用于下肢外骨骼运动模式精确切换时刻的预测仍会存在偏差，如检测延迟、状态估计误差等。因此本发明基于视觉惯性里程计(Visual-InertialOdometry，VIO)对用户状态进行精确估计，通过构建环境地形信息精确预测下肢外骨骼运动模式。

发明内容

本发明的目的是提供一种基于VIO系统的下肢外骨骼运动模式预测方法及系统，以解决现有技术中对用户运动状态估计精度较低，用户运动和地形信息关联不足，并最终导致下肢外骨骼运动模式预测精度不高的问题。

为实现上述目的，本发明采取以下技术方案：

本发明提供一种基于VIO系统的下肢外骨骼运动模式预测方法，包括：

获取深度相机视野内环境信息和运动信息，基于VIO系统输入环境信息和运动信息预估用户状态信息，并对深度相机周围的场景进行三维点云模型图构建；

从深度相机当前视角下的环境信息中提取平面信息，将平面信息映射至三维点云模型图上重构地形，并结合用户状态信息在三维点云模型图上对用户当前的落脚点进行投影，判断用户当前所处的地形；

结合用户状态信息和用户当前所处的地形，判断用户未来一段时间内的落脚点，并预测下肢外骨骼的运动模式。

进一步地，还包括三维点云模型图的构建方法：VIO系统根据输入的环境信息和运动信息初始化世界坐标和用户的位姿，并计算深度相机时序上的关键帧，利用多个关键帧集合成点云数据，通过点云数据构建并更新深度相机周围场景的三维点云模型图。

进一步地，还包括环境信息和运动信息的获取方法：环境信息的获取包括通过深度相机获取一定数量的相机彩色图和深度图，运动信息的获取包括采用深度相机上固定的惯性测量单元获取用户的运动数据，其中，运动数据包括深度相机运动的加速度和角速度。

进一步地，用户状态信息包括用户的位姿、速度以及通过从用户足部测量压力的方式获取用户在步行循环中的运动阶段。

进一步地，还包括地形信息的构建方法：从深度相机当前视角下的深度图中提取并更新平面信息，将提取的平面信息映射至三维点云模型图上与已有的平面信息进行重合度匹配，根据匹配的平面信息重构并更新地形。

进一步地，还包括平面信息的提取方法：对深度相机当前视角下的深度图依次进行平面分割和过滤得到完整平面，从完整平面中提取平面信息并将其存储，其中，平面信息包括平面面积、平面中心点坐标以及平面法向量值。

一种下肢外骨骼运动模式预测的系统，包括视觉集成穿戴模块、下肢传感模块以及VIO系统运算模块；

所述视觉集成穿戴模块包括深度相机和固定在深度相机上的惯性测量单元，所述深度相机用于采集一定数量的相机彩色图和深度图，所述惯性测量单元用于检测用户运动时的用户的运动数据，运动数据包括深度相机运动的加速度和角速度；

所述下肢传感模块为压力鞋垫，所述压力鞋垫用于通过从用户足部测量压力的方式获取用户在步行循环中的运动阶段；

所述视觉集成穿戴模块和所述下肢传感模块的信号输出端分别与所述VIO系统运算模块的信号输入端相连接，用于并被配置为执行权利要求1-6任意一项所述的下肢外骨骼运动模式预测方法的步骤。

进一步地，所述VIO系统运算模块包括传感和建图单元、平面提取和地形重构单元以及下肢外骨骼运动模式预测单元；

所述传感与建图单元用于获取深度相机视野内环境信息和运动信息，并通过输入的环境信息和运动信息预估用户状态信息，同时对深度相机周围的场景进行三维点云模型图构建；

所述平面提取和地形重构单元用于从深度相机当前视角下的环境信息中提取平面信息，将平面信息映射至三维点云模型图上重构地形，并结合用户状态信息在三维点云模型图上对用户当前的落脚点进行投影，判断用户当前所处的地形；

所述下肢外骨骼运动模式预测单元用于结合用户状态信息和用户当前所处的地形，判断用户未来一段时间内的落脚点，并预测下肢外骨骼的运动模式。

本发明由于采取以上技术方案，其具备以下有益效果：

基于VIO系统输入深度相机视野内环境信息和运动信息，完成VIO系统初始化、建图、地形重构等工作，通过从深度相机当前视角下的深度图中提取平面信息映射至三维点云模型图上构建地形信息，来判断用户当前所处的地形，并结合预估的用户状态信息，精准预测下肢外骨骼的运动模式并发送切换指令。本发明可以解决对地形识别精度不足，用户运动状态估计不准确，运动模式切换时机判断不准确等问题，并且对不同穿戴者、不同穿戴位置、不同传感硬件、不同助力硬件具有较强的兼容性。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在整个附图中，用相同的附图标记表示相同的部件。在附图中：

图1是本发明实施例提供的一种下肢外骨骼运动模式预测方法的流程示意框图；

图2是本发明实施例提供的一种下肢外骨骼运动模式预测系统的整体结构示意框图；

图3是本发明实施例提供的一种下肢外骨骼运动模式预测系统的VIO系统运算模块的运算结构示意框图。

附图中各标记表示如下：

1、视觉集成穿戴模块；11、深度相机；12、惯性测量单元；2、下肢传感模块；3、VIO系统运算模块；31、传感与建图单元；32、平面提取和地形重构单元；33、下肢外骨骼运动模式预测单元。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施方式。虽然附图中显示了本发明的示例性实施方式，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

由于传统下肢外骨骼等设备在使用时，对用户下肢外骨骼运动模式切换时刻的预测容易存在偏差。本发明提供一种基于VIO系统的下肢外骨骼运动模式预测方法及系统，基于VIO系统，根据输入的深度相机视野内环境信息和运动信息预估用户状态信息，并对深度相机周围的场景进行三维点云模型图构建，通过提取深度相机当前视角下的平面信息重构地形，结合用户状态信息判断用户未来一段时间内的运动姿态并预测下肢外骨骼的运动模式。其有效解决对地形识别精度不足，用户定位、运动状态估计不准确，运动模式切换时机判断不准确等问题。

下面通过实施例对本发明的方案进行详细说明。

实施例

如图1所示，本发明提供一种基于VIO系统的下肢外骨骼运动模式预测方法，包括：

获取深度相机11视野内环境信息和运动信息，基于VIO系统输入环境信息和运动信息预估用户状态信息，并对深度相机11周围的场景进行三维点云模型图构建。其中，用户状态信息包括用户的位姿、速度以及通过从用户足部测量压力的方式获取用户在步行循环中的运动阶段，利用获得的用户位姿、速度信息和压力测量的结合，可获取包括用户落脚时间点、运动方向、步长等综合姿态信息。其中，用户的位姿包括用户的位置和姿态。

从深度相机11当前视角下的环境信息中提取平面信息，将平面信息映射至三维点云模型图上重构地形，并结合用户状态信息包含的位置信息在三维点云模型图上对用户当前的落脚点进行投影，判断用户当前所处的地形；

结合用户状态信息包含的位姿、速度信息和用户当前所处的地形，判断用户未来一段时间内的落脚点，并预测下肢外骨骼的运动模式。

如上所述，VIO系统是融合相机和IMU数据实现同步定位与建图的算法。基于VIO系统，进一步地，VIO系统可根据输入的环境信息和运动信息初始化世界坐标和用户的位姿，并计算深度相机时序上的关键帧，利用多个关键帧集合成点云数据，通过点云数据构建并更新深度相机11周围场景的三维点云模型图。其中，三维点云模型图的生成和更新还包括通过对不同时刻点云数据依权重进行更新和加权投票以平滑时序信息。

进一步地，环境信息和运动信息的获取方法为：环境信息的获取包括通过深度相机11获取一定数量的相机彩色图和深度图；运动信息的获取包括采用深度相机11上固定的惯性测量单元12获取用户的运动数据。其中，运动数据包括深度相机11运动的加速度和角速度。

进一步地，本发明的下肢外骨骼运动模式预测方法还包括地形信息的构建方法：从深度相机11当前视角下的深度图中提取并更新平面信息，将提取的平面信息映射至三维点云模型图上与已有的平面信息(深度相机时序上之前映射的平面)进行重合度匹配，根据匹配的平面信息重构并更新地形(更新匹配到的平面信息)。此种映射仅为三维点云模型图的属性并可进行字典(哈希)运算，可以加快运行速度。

进一步地，平面信息的提取方法包括对深度相机11当前视角下的深度图依次进行平面分割和过滤得到完整平面，从完整平面中提取平面信息并将其存储，其中，平面信息包括平面面积、平面中心点坐标以及平面法向量值。优选地，提取的平面过滤可采用多种方法，如平面整体均方误差、面积、完整程度等常规方法进行过滤，且重合度匹配也可以采取多种方法，如交并比、时序投票法等。

如上所述，由于硬件和用户状态估计原因，同一平面在不同帧深度图上会存在一定的偏差，因此本系统会根据用户位置和新获取的传感信息实时更新平面信息。且地形的构建和更新，可加强地形的几何特征并进一步排除非地形的平面信息的干扰。其中，特定地形的三维几何特征包括地形面积、地形与水平面夹角、与周边平面的空间关系。

具体的预测步骤如下：

S1、同步获取一定数量的相机彩色图、深度图(20～30Hz)，以及与深度相机11外参固定的IMU数据(>100Hz)；

S2、VIO系统初始化，并获取世界坐标及用户的初始位姿数据；

S3、VIO系统初始化成功，则进入下一步骤，若初始化失败，返回步骤S1；

S4、基于步骤S1获取的传感信息，通过相机彩色图、深度图等信息计算深度相机11时序上的关键帧，并更新用户位姿信息、计算速度信息；

S5、利用关键帧及关键帧的位姿数据构建三维点云模型图，实时更新点云权重并将三维点云模型图和相应点云进行加权投票，进而实时更新三维点云模型图；

S6、对深度相机11当前视角下的深度图进行平面信息提取，在时序上将其与三维点云模型图上已有平面进行匹配，进行新平面添加与平面更新；

S7、利用更新过的平面信息，构建地形和更新地形信息；

S8、利用VIO系统对用户当前落脚点进行投影，并通过地形信息判断用户所处地形，结合用户状态信息和用户所处的地形预测时序上的下一落脚点，进而预测下肢外骨骼模式切换的时刻；

S9、若VIO系统不被用户结束，则返回步骤S4继续。

本发明基于VIO系统输入深度相机11周围的环境信息和运动信息，完成VIO系统初始化、建图、地形重构等工作，通过从深度相机11当前视角下的深度图中提取平面信息映射至三维点云模型图上构建地形信息，来判断用户当前所处的地形，并结合预估的用户状态信息，精准预测下肢外骨骼的运动模式并发送切换指令。本发明可以解决对地形识别精度不足，用户运动状态估计不准确，运动模式切换时机判断不准确等问题，并且对不同穿戴者、不同穿戴位置、不同传感硬件、不同助力硬件具有较强的兼容性。

本发明还提供一种下肢外骨骼运动模式预测的系统，包括视觉集成穿戴模块1、下肢传感模块2以及VIO系统运算模块3；

视觉集成穿戴模块1包括深度相机11和固定在深度相机11上的惯性测量单元12。深度相机11用于采集一定数量的相机彩色图和深度图，惯性测量单元12用于检测用户运动时的用户的运动数据，运动数据包括深度相机11运动的加速度和角速度；

下肢传感模块2优选为压力鞋垫，压力鞋垫用于通过从用户足部压力测量的方式获取用户在步行循环中的运动阶段。其中，该压力检测的方式不局限于压力鞋垫这一种结构，凡是可获取用户运动阶段等姿态数据的方式均可适用。

视觉集成穿戴模块1和下肢传感模块2的信号输出端分别与VIO系统运算模块3的信号输入端相连接，用于并被配置为执行本发明下肢外骨骼运动模式预测方法的步骤。

进一步地，VIO系统运算模块3包括传感和建图单元31、平面提取和地形重构单元32以及下肢外骨骼运动模式预测单元33；

传感与建图单元31用于获取深度相机11视野内环境信息和运动信息，并通过输入的环境信息和运动信息预估用户状态信息，同时对深度相机11周围的场景进行三维点云模型图构建；

平面提取和地形重构单元32用于从深度相机11当前视角下的环境信息中提取平面信息，将平面信息映射至三维点云模型图上重构地形，并结合用户状态信息在三维点云模型图上对用户当前的落脚点进行投影，判断用户当前所处的地形；

下肢外骨骼运动模式预测单元33用于结合用户状态信息和用户当前所处的地形，判断用户未来一段时间内的落脚点，并预测下肢外骨骼的运动模式。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。