一种基于传感器融合和迁移学习的康复训练方法及系统

技术领域

本发明涉及计算机辅助中风康复技术领域，尤其涉及一种基于传感器融合和迁移学习的康复训练方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

临床约75％的中风患者伴有不同程度的肢体运动功能障碍，严重影响患者生活状态。因此，安全有效的中风康复肢体训练对中风病人来说非常关键。在利用康复训练设备对中风病人进行肢体训练时，为了提高患者自主训练的积极性与康复训练动作的准确性，准确的肢体动作识别算法至关重要。

目前大部分肢体动作识别算法都是基于视频信号，如专利CN107301370A，利用Kinect摄像头采集肢体动作的骨架数据流，包含了人体骨架关节点在三维空间中的坐标信息，提取骨架关节角描述符作为肢体动作的特征数据，将特征数据分类并采用随机森林分离器进行肢体动作识别，利用Kinect骨架追踪的特点，解决了部分自遮挡的问题；专利CN109766782A，基于Kinect传感器采集深度图像信息并使用SVM模型进行训练，通过对用户多种肢体动作，如抬手、挥臂等肢体动作的识别，解决了之前局限的动静态手势识别问题，将手势延伸到肢体动作，对人机交互领域具有重大意义。

然而上述基于视频信号的动作识别算法数据获取操作复杂，便携性和趣味性较差，不能在日常生活场景中随时随地的对训练动作进行识别与反馈；并且视频信息只能反应动作的大致姿态，缺乏三维姿态角速度、加速度以及压力传感信息的获取，无法对康复训练中肢体动作的准确性做出精准判断；同时，现有技术中采用的深度学习算法，通常需要大量的数据进行训练。而在医疗识别领域中，由于涉及到病人隐私等原因，往往很难得到大量的优质的图像数据，因此难以取得好的效果。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于传感器融合和迁移学习的康复训练方法及系统，基于由压力传感器和九轴姿态传感器构成的中风康复训练设备系统，具有便携性和趣味性，可以提高患者自主训练的积极性；同时结合迁移学习方法则可以大大提高对肢体动作的分类识别结果，提高了设备识别肢体康复训练动作的准确度，有效监测患者训练情况并提供反馈信息。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种基于传感器融合和迁移学习的康复训练方法，包括以下步骤：

选择一个康复训练动作进行训练，并获取康复训练动作数据；

对康复训练动作数据进行预处理，并划分训练集数据与测试集数据；

采用训练集数据对卷积神经网络进行预训练，建立康复训练动作神经网络模型；

采用测试集数据优化康复训练动作神经网络模型；

采用迁移学习方法建立和优化其它训练动作的康复训练动作神经网络模型，并保存每个模型的神经网络参数；

将实时监测的康复训练动作传感器数据输入到康复训练动作神经网络模型获得分类结果；

对分类结果进行打分反馈。

进一步地，使用九轴姿态传感器和三方向压力传感器获取康复训练动作数据。

进一步地，采用九轴姿态传感器获取训练动作的角度信息，以及采用三方向压力传感器获取训练动作的力信息。

进一步地，采用互补滤波器对获取的角度信息进行欧拉角解算，获得x、y、z三个方向的三维姿态角速度、三维姿态角加速度和姿态角度。

进一步地，采用三方向压力传感器获取三个方向的压力值并将其转化为电信号的幅度值。

进一步地，所述康复训练动作数据为十维数据，包括：三维姿态角速度、三维角加速度、姿态角度和三维压力幅度值。

进一步地，所述采用迁移学习方法建立和优化除预训练康复动作之外其它康复训练动作神经网络模型，具体为：将预训练模型的参数导出，然后冻结预训练模型全连接层前面的所有层,同时将全连接层参数随机初始化，换上新训练动作数据对模型重新训练。

一个或多个实施例提供了一种基于传感器融合和迁移学习的康复训练系统，包括：

训练数据获取模块，被配置为：选择一个康复训练动作进行训练，并获取康复训练动作数据；

预处理模块，被配置为：对康复训练动作数据进行预处理，并划分训练集数据与测试集数据；

预训练模块，被配置为：采用训练集数据对卷积神经网络进行预训练，建立康复训练动作神经网络模型；

优化模块，被配置为：采用测试集数据优化康复训练动作神经网络模型；

迁移训练模块，被配置为：采用迁移学习方法建立和优化除预训练康复动作外其它康复训练动作神经网络模型，并保存每个模型的神经网络参数；

分类模块，被配置为：将实时监测的康复训练动作传感器数据输入到康复训练动作神经网络模型获得分类结果；

反馈模块，被配置为：对分类结果进行打分反馈。

一个或多个实施例提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述所述的方法。

一个或多个实施例提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述所述的方法。

以上一个或多个技术方案存在以下有益效果：

本申请引入迁移学习的思路，首先基于传感器融合获取一种康复运动数据，训练并优化深度学习神经网络模型，然后利用迁移学习训练其它动作的神经网络模型，基于传感器融合和迁移学习思想降低了分类识别的成本与出错的概率，从而提升了中风康复肢体动作识别的准确度；在中风患者主动运动过程中能够较为准确的识别其康复动作是否和软件建议的动作一致并做出反馈，以更有效地促进中风患者早日康复。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例中康复训练辅助设备a示意图；

图2为本发明实施例中建议的部分康复训练动作示意图；

图3为本发明实施例基于传感器融合和迁移学习的康复训练方法流程图；

图4为本发明实施例的康复训练动作神经网络模型结构图；

图5为本发明实施例Inception V2模型结构示意图；

图6为使用康复训练动作神经网络模型监测康复训练并做出反馈的流程图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

实施例一

本实施例公开了一种基于传感器融合和迁移学习的康复训练方法，首先基于已有康复动作数据库选择一个训练动作，利用采集的该康复运动数据训练并优化深度学习神经网络模型，然后利用迁移学习训练其它康复动作的神经网络模型，如图1所示，包括以下步骤：

(1)选择一个康复训练动作进行训练并获取康复训练动作数据；例如图2.A1所示的旋转动作，使用如图3所示设备a做旋转动作，并多次采集该动作数据；

(2)对采集的康复训练动作数据进行预处理，并划分训练集数据与测试集数据；

(3)采用预处理后的训练集数据对卷积神经网络进行预训练，建立康复训练动作神经网络模型；

(4)采用预处理后的测试集数据优化康复训练动作神经网络模型；设定滑动步长为b s，重叠a-b s，每a s做一次测试，以优化网络模型，达到较高准确度；

(5)采用迁移学习方法建立和优化除预训练康复动作外其它康复训练动作神经网络模型，并保存每个模型的神经网络参数；

(6)将实时监测的康复训练动作传感器数据输入到康复训练动作神经网络模型获得分类结果；该模型的分类结果为四种，分别为训练动作准备、训练动作标准、训练动作基本达标、训练动作不达标；

(7)对得到的分类结果进行打分反馈；对每种康复动作的每一组训练数据的分类结果进行打分反馈，以建议是否需要重新训练。

进一步地，本实施例以右手旋转神经网络模型的建立为例，具体步骤如下：

1)选择一个训练动作，使用右手旋转设备a，使用九轴姿态传感器获取训练动作的角度信息。

2)采用互补滤波器将获取的角度信息进行欧拉角解算，综合不同传感器的响应特性，进行互补融合。陀螺仪动态响应快，但是存在累积误差，可以使用加速度计得到的姿态角修正陀螺仪计算的翻滚角和俯仰角，使用磁力计修正陀螺仪计算的偏航角，包括如下过程，如附图1：

2.1)估算位移姿态：利用加速度计信号和磁力计信号估算设备翻滚角、俯仰角和偏航角姿态；

2.2)估算角度姿态：利用陀螺仪信号估算设备翻滚角、俯仰角和偏航角姿态；

2.3)利用一阶低通滤波器将前两步得到的姿态估计值进行数据融合，滤除加速度计和磁力计的高频分量和陀螺仪的低频分量，获得x、y、z三个方向的角速度、三个方向的角加速度和姿态角度七维数据。

3)融合姿态传感器数据和压力传感器数据：通过步骤2)获取三维姿态角速度、三维角加速度、姿态角度再加上三方向压力传感器获取并转化为电信号的幅度值，共十通道数据。

其中，压力传感器的原理是把压力值转换为电信号输出。右手做旋转动作，手会拿住康复设备，力会通过设备作用在压力传感器上，产生一个压力值，此时压力传感器会接受这个信号，产生电信号输出。十通道数据指三维姿态角速度、三维角加速度、姿态角度和三方向压力传感器获得的三个压力值(转换为电信号)。

4)对步骤3)获取的十通道数据进行如下处理：

4.1)将每一通道数据分别做均值方差归一化，这样后续处理中能够加速梯度下降算法的速度，公式如下；

其中x

然后将采集的数据划分为样本数据；在序列数据中“滑动窗口”用来截取序列片段，从而将原始数据重塑为指定长度的样本，以便模型的建模，获得的结果是长度相同的N个数组：

4.2)将归一化后的数据划分为固定长度的样本数据。设置滑动窗为a秒，滑动步长为b秒，b

4.3)采集的数据总长度为L，N＝floor((L-(a-b)*Fs)/(b*Fs)),floor函数为向下取整。此时获得N个(a*Fs)*10的二维数组作为训练数据X；

4.4)通过将滑动窗的开始时刻后移不同的时刻(

其中，做数据增强使得训练样本增广，此种数据增强方法相当于重采样，这样获取的新样本因为开始时刻不同，所以其窗口内的数据与原始的不同，以此往后，每个滑动窗的样本数据都与原始样本数据不同。

4.5)将训练数据的类别标记为Y，类别为四类，包括训练动作准备、训练动作标准、训练动作基本达标、训练动作不达标。训练动作准备指右手做旋转动作前的动作，即拿起训练设备准备做旋转动作。

5)利用训练数据X和类别Y，训练四分类神经网络模型。

其中，神经网络选择二维残差神经网络，主要构造方法和框架如下：

神经网络的输入是训练数据X的每个样本值，是二维十通道数据。将输入依次通过卷积层，卷积层，池化层，卷积层，卷积层，池化层，inception V2模块，最大池化层，inception V2模块，最大池化层，inceptionV2模块，最大池化层，池化层，全局平均池化层，全连接层(FC层)，最后通过一个softmax层，输出判别结果。

其中，Softmax是一个多分类层，将前面通过FC层得到的特征进行四分类。

卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。

卷积层负责提取特征，卷积过程就是卷积核上的权值参数与其输入图像对应元素相乘并求和，然后加上偏置值、通过激活函数，得到神经元的输出值。

池化层，通常用来将卷积层之后得到的维度很大的特征切成几个区域，取其最大值或平均值，得到新的、维度较小的特征。目的是为了减少特征图，主要作用是通过减少网络的参数来减小计算量，并且能够在一定程度上控制过拟合。一般池化层夹杂在连续的卷积层之间。

Inception结构，就是将多个卷积或池化操作放在一起组成一个模块，使用小卷积核堆叠替代大卷积核，以模块为单位去组装整个网络，用一个稀疏的网络结构产生稠密的数据，既能增加神经网络的表现，也能保证计算资源的有效利用，本网络应用Inception V2模型结构，如图5。

全连接层，就是把所有局部特征结合变成全局特征，用来计算最后每一类的得分。前面的卷积和池化相当于做特征工程，后面的全连接层相当于做特征加权。最后的全连接层在整个卷积神经网络中起到“分类器”的作用。

softmax层，将softmax函数应用到从上一层全连接层获得的输入来计算输出值，从softmax层得到的输出是一系列相加和为1的正数，可以看作是一个概率分布。其中概率值最大的类别被视为分类的预测标签。

进一步地，采用迁移学习方法建立和优化其它训练动作的模型。

所述迁移学习是指将源域中的知识迁移到目标域中以提升学习模型的表现。二维残差神经网络具有很深的网络结构，在网络低层次提取到的特征与数据集关系不大，而在高层次提取到的特征与目标任务紧密相关，所以预训练模型和目标模型可以共享低层次参数，只需重新训练高层权重。输出识别结果正确率最高时对应的机器学习模型即为训练好的机器学习模型；否则，就继续训练。

迁移学习时，将预训练模型的参数导出(如右手旋转神经网络模型)，如要训练右手开合动作的模型，按照上述步骤(2)获得此动作的训练数据和测试数据，然后冻结预训练模型全连接层前面的所有层，同时将全连接层参数随机初始化，应用右手开合动作的训练数据重新训练模型。

进一步地，对训练动作打分以作反馈的机制参照图4，首先将一组训练动作的打分做归一化处理，如做了n次训练动作，每次的打分为a1、a2、a3和a4，则归一化分数a＝(a1+a2+a3+a4)/4；设置合格线，如a>s1，给予较高评价，s2

实施例二

本实施例提供了一种基于传感器融合和迁移学习的康复训练系统，包括：

训练数据获取模块，被配置为：选择一个康复训练动作进行训练并获取康复训练动作数据；

预处理模块，被配置为：对康复训练动作数据进行预处理，并划分训练集数据与测试集数据；

预训练模块，被配置为：采用预处理后的训练集数据对卷积神经网络进行预训练，建立康复训练动作神经网络模型；

优化模块，被配置为：采用预处理后的测试集数据优化康复训练动作神经网络模型；

迁移训练模块，被配置为：采用迁移学习方法建立和优化除预训练动作外其它康复训练动作神经网络模型，并保存每个模型的神经网络参数；

分类模块，被配置为：将实时监测的康复训练动作传感器数据输入到康复训练动作神经网络模型获得分类结果；

反馈模块，被配置为：对分类结果进行打分反馈。

实施例三

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于传感器融合和迁移学习的康复训练方法中的步骤。

实施例四

本实施例的目的是提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于传感器融合和迁移学习的康复训练方法中的步骤。

以上实施例二至四中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

以上一个或多个实施例具有以下技术效果：

利用传感器融合和迁移学习相结合的思想，建立中风康复肢体动作神经网络模型。与传统的机器学习等方法相比，降低了分类识别的成本与出错的概率，从而提升了中风康复肢体动作识别的准确度。在中风患者主动运动过程中能够较为准确的识别其康复动作是否和软件建议的动作一致并做出反馈，以更有效地促进中风患者早日康复。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。