基于下肢评估和步态分析的足底矫正方法、系统及其应用

技术领域

本发明涉及运动医学技术领域，尤其涉及基于下肢评估和步态分析的足底矫正方法、系统及其应用。

背景技术

研究发现，下肢康复问题中，导致下肢功能障碍的原因有很多，包括运动损伤、神经损伤等等，由于无法得到有效的康复治疗，导致留下后遗症。然而目前医疗体系中的下肢康复现状是：1，康复医师的数量有限，导致供需比例不平衡；2，医院已有的康复设备成本高且便携性差，时间、空间以及金钱的成本相对较高；3，患者缺乏主动康复训练的个性化指导。因此，如何便携、自主、低成本且又高效地对下肢功能障碍患者进行康复辅助是很有必要的。其中，康复辅助可理解为，在下肢康复治疗过程中，通过矫正步态，以适配下肢康复过程，避免下肢由于步态异常出现阻碍康复治疗。

本申请发明人所在团队就人体运动功能的综合研究发现，步态的研究在运动训练、疾病诊断、康复医疗、身份识别等方面都起到了非常重要的作用和应用。例如，运动训练中，利用步态来分析出运动员在训练过程中出现的问题，以提升成绩；疾病诊断中，利用步态来判断一些骨科或者神经性疾病等等。并发现目前利用步态分析对下肢康复的应用中，肌电信图(EMG)中的表面肌电图(sEMG)就是利用步态分析技术。然而该应用无法解决上述问题。

因此，本申请发明人认为有必要根据人体步态个体化数据，设计一款满足特殊人群特殊需求、以便下肢康复训练用的矫形鞋(鞋垫)。

发明内容

本申请实施例通过提供一种基于下肢评估和步态分析的足底矫正方法、系统及其应用，实现了基于下肢评估和步态分析，为足底矫形装置提供更可靠的数据依据，阻止足底局部非正常用力导致的恶化，以便将整个足底用力恢复到正常范围后，实现保护下肢的目的，同时为下肢康复提供了更准确的评估手段。

第一方面，本申请实施例提供了一种基于下肢评估和步态分析的足底矫正方法，所述方法包括步骤：

S1：实时接收人体下肢步态运动时的RGB-D视频数据和足底压力数据。

S2：基于采用频率同步RGB-D视频数据和足底压力数据的时间序列，对齐同步RGB-D视频数据中的Depth图像和RGB图像；

S3：利用Faster R-CNN算法检测出RGB图像中下肢所在的矩形区域利用深度阈值设置，分割出矩形区域内Depth图像的人体掩膜；

S4：基于RGB图像构建XY坐标系，再基于Depth图像构建Z坐标系，实现构建人体的三维坐标系；提取下肢部位的多个特征关键点，映射到三维坐标系上，通过同一骨架的两个特征关键点得到关节向量；

S5：将Depth图像和XY坐标系网络输出的热力图输入至Z坐标系所在的卷积神经网络，回归出每个特征关键点所对应的Z坐标系，使得RGB-D视频数据的每一帧都包括提取的多个特征关键点，获取各特征关键点的空间位置；

S6：利用特征关键点的空间位置，构建人体下肢坐标系；计算获取大腿、小腿与垂直于地面向上向量的夹角，大腿、小腿与人体坐标系的夹角，以及大腿小腿之间的夹角，获取下肢各角度随步态周期变化的曲线；

S7：基于预设的步态周期与步态模板，对比下肢各夹角下的步态所在阶段以及对应的足底压力数据，进行步态分析和下肢评估，获取步态特点和人体下肢状况，以根据下肢状况调整人体运动时对足底的相应部位的压力，使得足底的相应部位用力均匀；并基于步态分析和下肢评估，设计制作足底矫形装置。

进一步地，所述步骤S2中包括：预设压力跑步机的采样频率为H

对RGB-D视频数据的第n帧I

进一步地，所述步骤S3还包括：将RGB-D相机放置于人体下肢部位正后方2m处，以使Depth值接近人体背面对应的Depth值；并且通过将掩膜外的Depth图像和RGB图像的值设为0，去除背景影响。

进一步地，所述步骤S5还包括通过X、Y、Z坐标描述每个特征关键点的空间位置，使得第n帧的第i个特征关键点记为：

并以此类推获取对应各个特征关键点的空间位置，依次对应于骶尾关节J

进一步地，所述步骤S6中，构建的人体坐标系中，关节向量表示为：

则对应的坐标系中系(X，Y，Z)为：X＝V

其中，一大腿与人体坐标系x轴的夹角的计算方式为：

其中(X，Y，Z)为J

采集大量正常人体运动的步态数据，并计算得到步态周期内足跟着地、足底着地、足跟离地以及足尖离地时的大腿、小腿与人体坐标系、地面的夹角以及大腿、小腿间的夹角。

进一步地，所述步骤S7进一步还包括，根据下肢角度和足底压力数据，确定步态周期的起止时间，确定步态所在节点阶段。

第二方面，本申请实施例提供了一种基于下肢评估和步态分析的足底矫正系统，采用如第一方面任意一项所述的方法，所述系统包括：数据传输模块、数据校准模块、掩膜提取模块、坐标构建模块、位置提取模块、夹角计算模块、压力调整模块；

所述数据传输模块配置为实时接收人体下肢步态运动时的RGB-D视频数据和足底压力数据；

所述数据校准模块配置为基于采用频率同步RGB-D视频数据和足底压力数据的时间序列，对齐同步RGB-D视频数据中的Depth图像和RGB图像；

所述掩膜提取模块配置为利用Faster R-CNN算法检测出RGB图像中下肢所在的矩形区域利用深度阈值设置，分割出矩形区域内Depth图像的人体掩膜；

所述坐标构建模块配置为基于RGB图像构建XY坐标系，再基于Depth图像构建Z坐标系，实现构建人体的三维坐标系；提取下肢部位的多个特征关键点，映射到三维坐标系上，通过同一骨架的两个特征关键点得到关节向量；

所述位置提取模块配置为将Depth图像和XY坐标系网络输出的热力图输入至Z坐标系所在的卷积神经网络，回归出每个特征关键点所对应的Z坐标系，使得RGB-D视频数据的每一帧都包括提取的多个特征关键点，获取各特征关键点的空间位置；

所述夹角计算模块配置为利用特征关键点的空间位置，构建人体下肢坐标系；计算获取大腿、小腿与垂直于地面向上向量的夹角，大腿、小腿与人体坐标系的夹角，以及大腿小腿之间的夹角，获取下肢各角度随步态周期变化的曲线；

压力调整模块配置为基于预设的步态周期与步态模板，对比下肢各夹角下的步态所在阶段以及对应的足底压力数据，进行步态分析和下肢评估，获取步态特点和人体下肢状况，并根据下肢状况增加人体运动时对足底的相应部位的压力，使得足底的相应部位用力均匀；并基于步态分析和下肢评估，设计制作足底矫形装置。

第三方面，一种采用第一方面任意一项所述的基于下肢评估和步态分析的足底矫正方法制成的矫形鞋垫。

第四方面，一种采用第一方面任意一项所述的基于下肢评估和步态分析的足底矫正方法制成的矫形鞋。

本申请实施例中提供的基于下肢评估和步态分析的足底矫正方法、系统及其应用，至少具有如下技术效果：

(1)通过调整足底的相应部位受力来实现对下肢的矫正，避免下肢过度恶化。

(2)通过改变步态周期中，足底用力的分布范围，改善下肢状态，以便足底用于随下肢一起恢复到正常范围，实现保护下肢的目的。

(3)通过结合特征关键点的空间数据和压力数据，更为全面地评估下肢情况和步态特点，进而分析出步态异常的原因，为足底矫形装置的设计提供更可靠的数据依据，也为下肢康复提供了更准确的评估手段。

附图说明

图1为本申请实施例一中的基于下肢评估和步态分析的足底矫正方法的流程图；

图2为本申请实施例一中的正常脚底压力分布的分区热力显示图；

图3为本申请实施例一中的正常足底压力分布的2/3D热力显示对照图；

图4为本申请实施例一中的膝关节内旋角在不同步行速度下随步态周期的变化示意图；

图5为本申请实施例一中的RGB-D相机与压力跑步机位置摆放示意图；

图6为本申请实施例一种下肢夹角示意图。

具体实施方式

本发明旨在基于步态分析和下肢评估，为足底矫形装置的设计提高客观依据，以便为下肢康复提供辅助。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例一

参考图1-6所示，本申请实施例提供了一种基于下肢评估和步态分析的足底矫正方法，该方法包括如下步骤：

S1：实时接收人体下肢步态运动时的RGB-D视频数据和足底压力数据。

本步骤采用RGB-D相机实时采集下肢步态运动的RGB-D视频数据，并上传至终端服务系统。其中，RGB-D视频数据包括但不局限于时间、Depth(深度)图像、RGB(彩色)图像。采用压力跑步机实时采集下肢步态运动的足底压力数据，上传至终端服务系统。足底压力数据包括但不局限于步态时间、步态周期、步态时相、压力值、着地位置等。步态是指人体步行时的姿态和行为特征，人体通过髋、膝、踝、足趾的一系列连续活动，使身体沿着一定方向移动的过程。步行周期表示为行走一侧足跟着地到该侧足跟再次着地的过程被称为一个步行周期。压力跑步机的履带上铺设有压力传感器，通过压力传感器获取不同运动时的压力分布以及步态周期中各步态节点的压力大小，并采用热力图展示足底压力数据。

如图2-3所示，图2为脚底压力分布的分区热力显示图；图3为正常足底压力分布的2/3D热力显示对照图，并以此作为压力模板数值显示。然而下肢功能障碍患者的足底压力分布热力图显示，区别于正常足底热力图，比如，O型腿容易使更多压力积聚在足底外侧，增加足底外侧和地面接触的机会，使得患者压力分布在足底外侧大于压力模板数值，在足跟离地阶段，可以观察到图2中的区域2的压力值大于压力模板的数值。但是并不是所有的足底外侧偏大都是由于O型腿导致的，本实施方案结合髋关节、膝关节和踝关节的数据更准确地推断出患者步态异常地原因，比如，O型腿的大腿、小腿与垂直于地面向上的向量的夹角、大腿小腿间的夹角会显示出和常人的差异，且差异在不同的步态阶段和不同速度时差异明显程度不同。如图4所示，膝关节内旋角在不同步行速度下随步态周期的变化示意图，图4(I)表示正常人的步态变化，图4(II)表示内八患者的步态变化。

S2：基于采用频率同步RGB-D视频数据和足底压力数据的时间序列，对齐同步RGB-D视频数据中的Depth图像和RGB图像。

进一步地，步骤S2中包括：预设压力跑步机的采样频率为H

步骤S3：利用Faster R-CNN算法检测出RGB图像中下肢所在的矩形区域利用深度阈值设置，分割出矩形区域内Depth图像的人体掩膜。

进一步地，步骤S3还包括：参考图5所示，将RGB-D相机放置于人体下肢部位正后方2m处，以使Depth值接近人体背面对应的Depth值。并且通过将掩膜外的Depth图像和RGB图像的值设为0，去除背景影响。由此可知，本实施例中，为了减少环境对特征关键点检测提取的干扰，首先将下肢部位从环境中分割出来：利用Faster R-CNN算法检测出下肢在RGB图像所在区域的矩形区域，再在该矩形区域内基于Depth图像设置阈值分割出所在的掩膜，能根据Depth图像设置阈值的原因在于：RGB-D相机放置于人体下肢的正后方2m处，其背面所对应的深度值基本较为接近，获得到掩膜后，将掩膜外的Depth图像和RGB图像的值都设为0，去除背景影响。

步骤S4：基于RGB图像构建XY坐标系，再基于Depth图像构建Z坐标系，实现构建人体的三维坐标系；提取下肢部位的多个特征关键点，映射到三维坐标系上，通过同一骨架的两个特征关键点得到关节向量。进一步地，本步骤中的特征关键点可以包括骶尾关节、左侧髂后上棘、右侧髂后上棘、左侧股骨外髁，右侧股骨外髁、左侧踝关节外踝和右侧踝关节外踝。

步骤S5：将Depth图像和XY坐标系网络输出的热力图输入至Z坐标系所在的卷积神经网络，回归出每个特征关键点所对应的Z坐标系，使得RGB-D视频数据的每一帧都包括提取的多个特征关键点，获取各特征关键点的空间位置。

进一步地，本步骤中，还包括通过X、Y、Z坐标描述每个特征关键点的空间位置，使得第n帧的第i个特征关键点记为：

并以此类推获取对应各个特征关键点的空间位置，依次对应于骶尾关节J

步骤S6：利用特征关键点的空间位置，构建人体下肢坐标系；计算获取大腿、小腿与垂直于地面向上向量的夹角，大腿、小腿与人体坐标系的夹角，以及大腿小腿之间的夹角，获取下肢各角度随步态周期变化的曲线。

进一步地，本步骤中，构建的人体坐标系中，关节向量表示为：V

进一步地，其中，一大腿与人体坐标系x轴的夹角的计算方式为：

其中(X，Y，Z)为J

步骤S7：基于预设的步态周期与步态模板，对比下肢各夹角下的步态所在阶段以及对应的足底压力数据，进行步态分析和下肢评估，获取步态特点和人体下肢状况，并根据下肢状况增加人体运动时对足底的相应部位的压力，使得足底的相应部位用力均匀；并基于步态分析和下肢评估，设计制作足底矫形装置。

本步骤之前还包括获取步态模板；其包括：采集大量正常人体运动的步态数据，并计算得到步态周期内足跟着地、足底着地、足跟离地以及足尖离地时的大腿、小腿与人体坐标系、地面的夹角以及大腿、小腿间的夹角。进一步地，由于人体步态的周期性和规律性，为获取步态模板，本实施例通过采集超100以上的健康下肢步态的RGB-D视频数据和压力数据，通过配准、平均得到视频和压力数据每一帧的模板。

本步骤还包括根据下肢角度和足底压力数据，确定步态周期的起止时间，确定步态所在节点阶段。一般情况下，人体步态是呈现周期性的，且每个步态周期内的步态会经历足跟着地-足底着地-足跟离地-足尖离地几个阶段。举例描述，以右脚足跟着地为起始点，下一次右脚足跟着地为终止点作为一个步态周期，将视频和压力数据分为不同周期，并且后续的分析以周期为单位进行分析。

进一步地，制作足底矫形装置时，一方面需要考虑患者脚外形，通常可以通过扫描或者拍照获得，本方案在实际应用时需要考虑到足底矫形装置的真正用途，例如，在O型腿患者足底矫形装置设计中，会把足底矫形装置的足底外侧根据足底受力情况设计得高一些。在患者矫正效果评估方面，通过压力数据和RGB-D视频数据的组合，在获得各自数据的基础上，可以获取之间的连接关系。比如，下肢角度随步态周期的曲线变化。进一步本申请发明人在实际应用中，发现O型腿患者矫正三个月后进行判断，虽然肉眼看不到体态的变化或者压力分布的变化，但是膝关节内旋脚和常人的差异减小，因此说明当前矫正策略是正确的，虽然还没有达到最终的效果，但是阶段性的客观反馈可以通过及时调整，也让患者更容易坚持。

实施例二

本申请实施例提供了一种基于下肢评估和步态分析的足底矫正系统，采用实施例一的方法，该系统包括：数据传输模块100、数据校准模块200、掩膜提取模块300、坐标构建模块400、位置提取模块500、夹角计算模块600、压力调整模块700。

数据传输模块100配置为实时接收人体下肢步态运动时的RGB-D视频数据和足底压力数据。

数据校准模块200配置为基于采用频率同步RGB-D视频数据和足底压力数据的时间序列，对齐同步RGB-D视频数据中的Depth图像和RGB图像。进一步地，预设压力跑步机的采样频率为H

掩膜提取模块300配置为利用Faster R-CNN算法检测出RGB图像中下肢所在的矩形区域利用深度阈值设置，分割出矩形区域内Depth图像的人体掩膜。

进一步地，将RGB-D相机放置于人体下肢部位正后方2m处，以使Depth值接近人体背面对应的Depth值；并且通过将掩膜外的Depth图像和RGB图像的值设为0，去除背景影响。

坐标构建模块400配置为基于RGB图像构建XY坐标系，再基于Depth图像构建Z坐标系，实现构建人体的三维坐标系；提取下肢部位的多个特征关键点，映射到三维坐标系上，通过同一骨架的两个特征关键点得到关节向量；

位置提取模块500配置为将Depth图像和XY坐标系网络输出的热力图输入至Z坐标系所在的卷积神经网络，回归出每个特征关键点所对应的Z坐标系，使得RGB-D视频数据的每一帧都包括提取的多个特征关键点，获取各特征关键点的空间位置。

进一步地，通过X、Y、Z坐标描述每个特征关键点的空间位置，使得第n帧的第i个特征关键点记为

夹角计算模块600配置为利用特征关键点的空间位置，构建人体下肢坐标系；计算获取大腿、小腿与垂直于地面向上向量的夹角，大腿、小腿与人体坐标系的夹角，以及大腿小腿之间的夹角，获取下肢各角度随步态周期变化的曲线。

进一步地，构建的人体坐标系中，关节向量表示为：V

其中，一大腿与人体坐标系x轴的夹角的计算方式为：

其中(X，Y，Z)为J

压力调整模块700配置为基于预设的步态周期与步态模板，对比下肢各夹角下的步态所在阶段以及对应的足底压力数据，进行步态分析和下肢评估，获取步态特点和人体下肢状况，并根据下肢状况增加人体运动时对足底的相应部位的压力，使得足底的相应部位用力均匀；并基于步态分析和下肢评估，设计制作足底矫形装置。

实施例三

一种实施例中，本申请实施例提供了实施例一的应用，采用实施例一中的基于下肢评估和步态分析的足底矫正方法制成的矫形鞋垫。

另一种实施例中，本申请实施例提供了实施例一的应用，采用实施例一中的基于下肢评估和步态分析的足底矫正方法制成的矫形鞋。

实施例四

在一个实施例中，提出了一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行计算机可读指令时实现以下步骤：

S1：实时接收人体下肢步态运动时的RGB-D视频数据和足底压力数据；

S2：基于采用频率同步RGB-D视频数据和足底压力数据的时间序列，对齐同步RGB-D视频数据中的Depth图像和RGB图像；

S3：利用Faster R-CNN算法检测出RGB图像中下肢所在的矩形区域利用深度阈值设置，分割出矩形区域内Depth图像的人体掩膜；

S4：基于RGB图像构建XY坐标系，再基于Depth图像构建Z坐标系，实现构建人体的三维坐标系；提取下肢部位的多个特征关键点，映射到三维坐标系上，通过同一骨架的两个特征关键点得到关节向量；

S5：将Depth图像和XY坐标系网络输出的热力图输入至Z坐标系所在的卷积神经网络，回归出每个特征关键点所对应的Z坐标系，使得RGB-D视频数据的每一帧都包括提取的多个特征关键点，获取各特征关键点的空间位置；

S6：利用特征关键点的空间位置，构建人体坐标系；计算获取大腿、小腿与垂直于地面向上向量的夹角，大腿、小腿与人体坐标系的夹角，以及大腿小腿之间的夹角，获取下肢各角度随步态周期变化的曲线；

S7：基于预设的步态周期与步态模板，对比下肢各夹角下的步态所在阶段以及对应的足底压力数据，进行步态分析和下肢评估，获取步态特点和人体下肢状况，并根据下肢状况增加人体运动时对足底的相应部位的压力，使得足底的相应部位用力均匀；并基于步态分析和下肢评估，设计制作足底矫形装置。

在一个实施例中，提出了一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：

S1：实时接收人体下肢步态运动时的RGB-D视频数据和足底压力数据；

S2：基于采用频率同步RGB-D视频数据和足底压力数据的时间序列，对齐同步RGB-D视频数据中的Depth图像和RGB图像；

S3：利用Faster R-CNN算法检测出RGB图像中下肢所在的矩形区域利用深度阈值设置，分割出矩形区域内Depth图像的人体掩膜；

S4：基于RGB图像构建XY坐标系，再基于Depth图像构建Z坐标系，实现构建人体的三维坐标系；提取下肢部位的多个特征关键点，映射到三维坐标系上，通过同一骨架的两个特征关键点得到关节向量；

S5：将Depth图像和XY坐标系网络输出的热力图输入至Z坐标系所在的卷积神经网络，回归出每个特征关键点所对应的Z坐标系，使得RGB-D视频数据的每一帧都包括提取的多个特征关键点，获取各特征关键点的空间位置；

S6：利用特征关键点的空间位置，构建人体坐标系；计算获取大腿、小腿与垂直于地面向上向量的夹角，大腿、小腿与人体坐标系的夹角，以及大腿小腿之间的夹角，获取下肢各角度随步态周期变化的曲线；

S7：基于预设的步态周期与步态模板，对比下肢各夹角下的步态所在阶段以及对应的足底压力数据，进行步态分析和下肢评估，获取步态特点和人体下肢状况，并根据下肢状况增加人体运动时对足底的相应部位的压力，使得足底的相应部位用力均匀；并基于步态分析和下肢评估，设计制作足底矫形装置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明一些示例性实施例，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。