基于深度学习的异常步态分析方法、装置、设备及介质

技术领域

本发明涉及步态分析技术领域，具体涉及基于深度学习的异常步态分析方法、装置、设备及介质。

背景技术

现有异常步态分析方法通常使用基于量表的方法对用户的异常步态进行分析，衡量用户步态异常程度。为了实现步态异常程度的客观量化，研究人员开发了利用可穿戴设备或智能手机的步态分析系统。公开号为“CN 107137089 A”，名称为“一种穿戴式传感鞋系统及步态评估方法”的现有技术通过穿戴式鞋传感器收集运动数据，计算标准化压力峰值、跨步时间、站立时间比、步距、步速等参数，实现步态评估。公开号为“CN 110916673 A”，名称为“一种步态监测的方法及智能设备”的现有技术将智能手机固定在脊柱L3位置处，评估步频、加速度平均幅值、步伐规则性、对称性和变异性等步态参数。另外，文献[I.E.Maachi,G.A.Bilodeau,W.Bouachir.Deep 1D-Convnet for accurate Parkinson diseasedetection and severity prediction from gait.Expert Systems with Applications,2020,143:1-7]提出一种基于一维卷积神经网络的步态评估方法，通过采集用户足底压力数据识别用户的异常步态严重程度。

然而，传统基于量表的异常步态分析方式存在以下问题：1)分析过程耗时长，效率低；2)分析过程需要专业评定人员实时监督和指导，对评定人员熟练度要求较高；3)分析结果受评定人员主观影响大，存在主观差异；4)分析过程需要在专业环境下进行，对设备场景要求高。

基于可穿戴设备的步态评估方法(如CN 107137089 A)需要单独设计传感器，成本较高，且设备的安装、调试过程较为繁琐，增加了用户的使用负担。基于智能手机的异常步态量化方法(如CN 110916673 A)通过手工提取传感器数据的时频域特征，此类方法的效果取决于手工提取的特征。现有基于深度学习的异常步态量化方法多只关注数据的单尺度和时域的特征，忽略了数据的多尺度特性以及频域特性。

发明内容

本发明目的在于提供基于深度学习的异常步态分析方法、装置、设备及介质，实现客观化的异常步态分析，提高步态量分析的准确性。

本发明通过下述技术方案实现：

第一方面，本发明提供了基于深度学习的异常步态分析方法，该方法包括：

基于智能手机获取用户步态数据，并对用户步态数据进行预处理；

根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征，采用卷积神经网络对多尺度时频特征进行深度特征提取，得到多尺度时频深度特征；并通过注意力机制融合多尺度时频深度特征，构建基于多尺度时频深度特征的异常步态分析模型，并进行模型训练；

将待分析的用户步态数据输入到训练好的基于多尺度时频深度特征的异常步态分析模型中，进行预测分析，并输出异常步态结果。

进一步地，基于智能手机获取用户步态数据，是通过智能手机中的惯性传感器，采集用户步行过程中的用户步态数据；用户步态数据包括三轴加速度数据、三轴角速度和三轴磁力计数据。

进一步地，智能手机固定在用户L2脊柱位置处，且智能手机方向垂直朝上，屏幕面朝外；

用户在长度不少于10米的无障碍环境下进行数据获取。

进一步地，预处理包括：

采用阈值法，对用户步态数据进行关键序列提取，得到关键序列数据段；

采用z规范化法，对关键序列数据段中每个惯性传感器数据进行归一化处理，得到规范化后的关键序列表示，作为预处理后的用户步态数据。

进一步地，构建基于多尺度时频深度特征的异常步态分析模型，包括：

步骤A，根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征，多尺度时频特征u

其中，tanh()函数作为回声状态网络的储备池内部的激活函数；

步骤B，采用卷积神经网络对多尺度时频特征进行深度特征提取，分别提取每个储备池状态的深度特征，得到多尺度时频深度特征；多尺度时频深度特征表示为第一维时频深度特征d

步骤C，通过注意力机制对不同尺度时频深度特征进行加权融合，得到融合后的用户步态数据特征表示k＝w

步骤D，根据融合后的步态特征表示，得到基于多尺度时频深度特征的异常步态分析模型r

进一步地，该方法步骤C之后还包括：对融合后的用户步态数据特征表示进行关系一致正则化，使具有相似惯性传感器数据的用户具有相似的步态数据特征表示；

关系一致正则化约束项为：

其中，tr()表示对一个矩阵求迹；k

进一步地，构建基于多尺度时频深度特征的异常步态分析模型训练时采用的模型损失函数为：

其中，

第二方面，本发明又提供了基于深度学习的异常步态分析装置，该装置支持的基于深度学习的异常步态分析方法；该装置包括：

获取单元，用于基于智能手机获取用户步态数据；

预处理单元，用于对用户步态数据进行预处理；

异常步态分析模型构建单元，用于根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征，采用卷积神经网络对多尺度时频特征进行深度特征提取，得到多尺度时频深度特征；并通过注意力机制融合多尺度时频深度特征，构建基于多尺度时频深度特征的异常步态分析模型；

模型训练单元，用于进行模型训练，得到训练好的基于多尺度时频深度特征的异常步态分析模型；

异常步态分析单元，用于将待分析的用户步态数据输入到训练好的基于多尺度时频深度特征的异常步态分析模型中，进行预测分析；

输出单元，用于输出异常步态结果。

第三方面，本发明又提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于深度学习的异常步态分析方法。

第四方面，本发明又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于深度学习的异常步态分析方法。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明基于深度学习的异常步态分析方法、装置、设备及介质，利用多尺度时频回声状态网络和卷积神经网络技术，实现高精度、客观化、低成本异常步态量化；1)使用智能手机采集数据，整个过程易于实施，方便用户在家庭环境中使用，能够有效降低医疗成本；2)克服了传统量表评定方法耗时长、主观性强、环境受限等缺陷，也克服了传统机器学习方法手工提取特征的缺陷；3)回声状态网络能够通过储备池提取出序列的特征表示，且输入层和储备池不需要训练，模型训练效率高；4)回声状态网络通过多尺度结构捕获序列的多尺度时频特征，能够更全面的描述序列数据特征，克服以往基于深度学习的步态评估方法中只能获取限于时域的单一尺度特征的不足；自适应多尺度融合机制引导模型关注对步态评分预测作用较大的尺度，关系正则化增加步态数据特征表示的辨别力，有助于提升异常步态量化准确度。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明基于深度学习的异常步态分析方法流程图。

图2为本发明基于多尺度时频深度特征的异常步态分析模型框架图。

图3为本发明基于深度学习的异常步态分析装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

本发明利用智能手机采集用户步态数据并提取关键序列数据；使用多尺度时频回声状态网络对多变量时间序列进行建模，获取步态的多尺度时频特征；使用卷积神经网络提取回声状态网络储备池表示的深度特征；构建自适应多尺度融合机制，使用注意力机制对不同尺度时频特征进行加权融合，实现多尺度信息融合；通过关系正则化约束具有相似传感器数据的用户具有相似的步态数据特征表示。进而构建的基于多尺度时频深度特征的异常步态分析模型，实现客观化的异常步态分析，提高步态量分析的准确性。

实施例1

如图1所示，本发明基于深度学习的异常步态分析方法，该方法包括：

步骤1，基于智能手机获取用户步态数据；基于智能手机获取用户步态数据，是通过智能手机中的惯性传感器，采集用户步行过程中的用户步态数据，采样频率20Hz。用户步态数据包括三轴加速度数据、三轴角速度和三轴磁力计数据。

具体地，智能手机固定在用户L2脊柱位置处，且智能手机方向垂直朝上，屏幕面朝外；用户在长度不少于10米的无障碍环境下进行数据测试获取。首先，用户坐在椅子上保持放松状态10秒，调整自身状态，准备测试。其次，用户起身向前直行10米，转身返回椅子处，然后坐下，保持放松状态10秒，测试过程结束。

步骤2，对用户步态数据进行预处理；

使用矩阵X表示智能手机采集的原始数据为：

其中，M表示采集数据包括的变量数目，B表示采集数据的序列长度,

具体地，预处理包括：

(1)采用阈值法，对用户步态数据进行关键序列提取，得到关键序列数据段；

关键序列提取的目的是滤除原始数据中对步态评估分析无用的部分，提高处理效率。本发明方案使用阈值法提取关键序列。

首先，计算矩阵X的一阶差分：

X′＝(x

＝(x′

其中

然后，计算X′每个时刻的绝对幅度：

|X′|＝(||x′

其中，||x′

设定加速度阈值TH，将智能手机佩戴在用户身上，让用户静坐30秒，取这30秒中最大的加速度作为TH的值。从t＝1时刻开始向t＝B时刻依次考虑，若||x′

(2)采用z规范化法，对关键序列数据段中每个惯性传感器数据进行归一化处理，得到规范化后的关键序列表示，作为预处理后的用户步态数据。

具体地，采用z规范化法对关键序列数据中每个惯性传感器数据x

其中，sqrt()为开根号操作。

z规范化后的数据为：

规范化后的关键序列表示为：

步骤3，构建基于多尺度时频深度特征的异常步态分析模型，并进行模型训练；

本发明的基于多尺度时频深度特征的异常步态分析模型构建过程为：根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征，采用卷积神经网络对多尺度时频特征进行深度特征提取，得到多尺度时频深度特征；并通过注意力机制融合多尺度时频深度特征，构建基于多尺度时频深度特征的异常步态分析模型；最后基于特征对softmax函数得到用户异常步态值，实现异常步态分析。

构建及训练细节包括：

步骤3.1，根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征；

回声状态网络由输入层、储备池和输出层三个部分组成。在训练阶段，输入权值和储备池层权值都是随机初始化和固定的，输出权值可通过线性回归求解。回声状态网络的更新公式为：

其中

为获取时间序列数据中的多尺度特性，本发明方案利用多时间尺度回声状态网络的储备池提取传感器信号的特征，如图2所示。尺度为cr的回声状态网络储备池状态更新公式为：

为同时利用时域特征和频域特征，本发明方案对规范化后的传感器信号进行频域特征提取。针对时刻t和尺度cr，构建子序列

其中DFT()表示离散傅里叶变换。融合时域和频域特征作为回声状态网络的输入，得到尺度为cr的回声状态网络储备池状态更新公式，即多尺度时频特征u

其中，tanh()函数作为回声状态网络的储备池内部的激活函数；

该回声状态网络得到的储备池状态表示为

步骤3.2，采用卷积神经网络对多尺度时频特征进行深度特征提取，分别提取每个储备池状态的深度特征，得到多尺度时频深度特征；多尺度时频深度特征表示为第一维时频深度特征d

使用卷积层神经网络分别提取每个储备池状态U

步骤3.3，通过注意力机制对不同尺度时频深度特征进行加权融合，得到融合后的用户步态数据特征表示；

本发明使用注意力机制融合多尺度时频深度特征。定义注意力权重

α

α

α

其中，w

k＝w

步骤3.4，对融合后的用户步态数据特征表示进行关系一致正则化，使具有相似惯性传感器数据的用户具有相似的步态数据特征表示；

首先，计算两个样本在惯性传感器信号空间中的相似性：

其中X

其中N是用户数目。具有相似关键传感器序列的用户，其对应的步态数据特征表示也应该相似。因此，本发明方案采用的关系一致正则化约束项为：

其中，tr()表示对一个矩阵求迹；k

步骤3.5，根据融合后的步态特征表示，通过Softmax层得到步态异常值；

对于第i个用户，Softmax层的输入为用户步态数据特征表示k

r

其中，k

步骤3.6，模型损失函数：构建基于多尺度时频深度特征的异常步态分析模型训练时采用的模型损失函数为：

其中，

步骤3.7，反向传播迭代训练；

基于步骤3.6得到的模型输出得分与实际得分的误差值，使用梯度下降的误差反向传播算法实现对卷积神经网络权值参数W

其中

对于注意力权重参数W

其中

本发明中η设置为0.0001，经过2000次迭代后，完成模型参数训练，对网络结构和参数进行保存。

以上，步骤3.6和步骤3.7是用于模型训练使用。

步骤4，将待分析的用户步态数据输入到训练好的基于多尺度时频深度特征的异常步态分析模型中，进行预测分析，并输出异常步态结果。

具体地，将待分析的用户步态数据，将其进行与步骤1和步骤2相同的数据采集、预处理，并输入到步骤3训练好的模型r

具体实施时，经过上述步骤1采集100名步态正常用户和100名步态异常用户的步态样本，经步骤2预处理，通过步骤3构建出基于多尺度时频深度特征的异常步态分析模型并完成训练过程得到异常步态量化模型M。对于步行功能等级未知的受试用户A，通过步骤1、2采集步行过程中的传感器数据并预处理，将预处理后数据输入至模型M，输出得到受试用户A的步态量化结果，完成异常步态量化。该量化过程可以在家庭环境中实施，整个过程无需医师的参与，过程简单、快速、客观。

实施例2

如图3所示，本实施例与实施例1的区别在于，本实施例又提供了基于深度学习的异常步态分析装置，该装置支持实施例1的基于深度学习的异常步态分析方法；该装置包括：

获取单元，用于基于智能手机获取用户步态数据；

预处理单元，用于对用户步态数据进行预处理；

异常步态分析模型构建单元，用于根据预处理后的用户步态数据，基于多尺度时频回声状态网络提取时间序列的多尺度时频特征，采用卷积神经网络对多尺度时频特征进行深度特征提取，得到多尺度时频深度特征；并通过注意力机制融合多尺度时频深度特征，构建基于多尺度时频深度特征的异常步态分析模型；

模型训练单元，用于进行模型训练，得到训练好的基于多尺度时频深度特征的异常步态分析模型；

异常步态分析单元，用于将待分析的用户步态数据输入到训练好的基于多尺度时频深度特征的异常步态分析模型中，进行预测分析；

输出单元，用于输出异常步态结果。

其中，各个单元的执行过程按照实施例1所述的基于深度学习的异常步态分析方法流程步骤执行即可，此实施例中不再一一赘述。

同时，本发明又提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于深度学习的异常步态分析方法。

同时，本发明又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于深度学习的异常步态分析方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。