基于多传感器数据的运动数据计算方法、装置、运动手柄及介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于多传感器数据的运动数据计算方法、装置、运动手柄及介质。

背景技术

跳绳作为一种有氧运动项目，目前在全国中小学已经非常普及。它不仅可以锻炼人的反应力和身体协调能力，还能一定程度上增强人的免疫力。同时，作为一项全身性运动，跳绳需要多块肌肉共同协同参与，对青少年的力量和身体素质有重要促进作用。

研究表明运动对人体自身生长激素分泌是强有力的生理性刺激，但这种刺激需要同时满足两个因素：运动强度和运动时间。在同等的运动时间下，较低强度的运动对生长激素分泌的促进作用不明显。高强度的运动对生长激素分泌的刺激有天花板效应，并且，高强度的运动还可能导致运动损伤。所以运动强度需要在一个有效且安全的范围内。但是现有的跳绳设备大多分为不带传感器的普通跳绳和可以计数的跳绳装置，均无法完成强度自主运动数据的计算，由此需要人工监测运动强度。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供基于多传感器数据的运动数据计算方法、装置、运动手柄及介质，解决现有跳绳无法自主进行运动数据的计算，需要人工判断和监测的问题。

本发明公开了一种基于多传感器数据的运动数据计算方法，包括：

获取多个动态移动数据，所述动态移动数据包括多个传感器数据以及视频数据，其中，所述传感器数据包括陀螺仪数据、加速计数据、心率传感器数据、霍尔传感器数据；

根据所述视频数据进行角点检测获取不同状态下的移动高度，基于所述移动高度和所述传感器数据生成样本数据；

基于Transformer网络建立初始模型，采用所述样本数据进行训练，获得以多个传感器数据作为输入，输出移动高度的目标模型；

采集用户实时的传感器数据，并通过所述目标模型处理输出目标高度数据；

根据所述目标高度数据生成包含位移和运动量的运动数据。

优选地，在获取多个动态移动数据或采集用户实时的传感器数据后，还包括对传感器数据的处理，包括：

对各个传感器数据进行误差校准、降噪和/或归一化处理；

对陀螺仪数据和加速计数据进行数据转换，以获得xyz坐标系下的角度和加速度。

优选地，所述根据所述视频数据进行角点检测获取不同状态下的移动高度，包括：

基于所述视频数据进行逐帧提取，以获得对应的图像集；

采用角点检测算法获取所述图像集的各个图像中标定板的交点坐标；

根据所述交点坐标的变化确定移动高度。

优选地，所述根据所述交点坐标的变化确定移动高度，包括：

获取预设帧数视频段对应的图像，将各个图像中获得的交点坐标的变化平均以计算移动高度。

优选地，所述采用所述样本数据进行训练，获得以多个传感器数据作为输入，输出移动高度的目标模型，包括：

获取所述样本数据中任一样本，其中，每一样本均包括多个传感器数据和一移动高度；

将各个传感器数据输入至初始模型中处理，输出样本高度数据；

将所述样本高度数据与所述移动高度进行均方误差比较，通过极小化均方误差来优化，以进行模型训练，直至获得目标模型。

优选地，所述根据所述目标高度数据生成包含位移和运动量的运动数据，包括：

根据所述目标高度数据获得用户相对地面的位移；

根据所述目标高度数据以预设重力势能计算函数获得运动量，以生成运动数据。

优选地，通过在运动手柄内预置陀螺仪、加速计、心率传感器、霍尔传感器，获得所述传感器数据。

本发明还提供一种基于多传感器数据的运动数据计算装置，包括：

预处理模块，用于获取多个动态移动数据，所述动态移动数据包括多个传感器数据以及视频数据，其中，所述传感器数据包括陀螺仪数据、加速计数据、心率传感器数据、霍尔传感器数据；根据所述视频数据进行角点检测获取不同状态下的移动高度，基于所述移动高度和所述传感器数据生成样本数据；

模型建立模块，用于基于Transformer网络建立初始模型，采用所述样本数据进行训练，获得以多个传感器数据作为输入，输出移动高度的目标模型；

信号处理模块，用于采集用户实时的传感器数据，并通过所述目标模型处理输出目标高度数据；

计算模块，用于根据所述目标高度数据生成包含位移和运动量的运动数据。

本发明还提供一种运动手柄，所述运动手柄包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述运动数据计算方法的步骤。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序所述计算机程序被执行实现所述运动数据计算方法的步骤。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

本申请提供的运动数据计算方法通过运动手柄可采集多个传感器数据，包括但不限于x、y、z轴的角度和角加速度，心率(心率传感器的输出)，以及跳绳个数(霍尔传感器的输出)，基于Transformer建立初始模型，并基于传感器数据和视频采集处理后获得实时运动高度生成样本数据，训练以获得基于多个传感器数据的输入，输出预测的高度数据的目标模型。在实际应用过程中，采集各个传感器数据，并通过目标模型自主输出对用户移动高度(数据)的预测，并基于该高度数据自主计算运动量，实现实现跳绳过程高度和运动量的自主采集和监测，解决现有跳绳无法自主进行运动数据的计算，需要人工判断和监测的问题。

附图说明

图1为本发明所述基于多传感器数据的运动数据计算方法实施例一的流程图；

图2为本发明所述基于多传感器数据的运动数据计算方法实施例一中所述根据所述视频数据进行角点检测获取不同状态下的移动高度的流程图；

图3为本发明所述基于多传感器数据的运动数据计算装置实施例二的模块示意图；

图4为本发明所述运动手柄实施例三的模块示意图。

附图标记：

6-基于多传感器数据的运动数据计算装置；61-预处理模块；62-模型建立模块；63-信号处理模块；64-计算模块；7-运动手柄；71-存储器；72-处理器。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

实施例一：本发明公开了一种基于多传感器数据的运动数据计算方法，应用于运动手柄中，通过该方法可以实现自主检测运动(跳绳)过程的运动高度，从而计算出跳绳过程中的运动量。具体的，可应用于运动手柄下，或者也可以应用于某一服务端，与运动手柄远程通信，通过运动手柄中传感器采集数据，并在服务端内进行下述各个步骤的远程处理，参阅图1，包括以下步骤：

S100：获取多个动态移动数据，所述动态移动数据包括多个传感器数据以及视频数据，其中，所述传感器数据包括陀螺仪数据、加速计数据、心率传感器数据、霍尔传感器数据；

在上述步骤中，通过在运动手柄内预置陀螺仪、加速计、心率传感器、霍尔传感器，获得多个传感器数据。该运动手柄用于跳绳，可以是跳绳手柄，可以设计跳绳手柄模板，3D打印手柄，将上述各个传感器植入手柄，选取200名志愿者进行跳绳实验，年龄分布从7岁到18岁。让志愿者进行1至10分钟的跳绳，重复10次，以每秒钟30次的采样频率采集各传感器的信号数据，同时在志愿者胸前贴黑白棋盘格标定板，用50mm焦距镜头的摄像头正对志愿者胸前的黑白棋盘格标定板，以120帧每秒拍摄跳绳过程获得视频数据，从而获得上述动态移动数据。

具体的，在获取多个动态移动数据或下述采集用户实时的传感器数据后，还包括对传感器数据的处理，具体的，包括：

对各个传感器数据进行误差校准、降噪和/或归一化处理，以剔除明显不合理的数据；对陀螺仪数据和加速计数据进行数据转换，以获得xyz坐标系下的角度和加速度。因此每次采集的数据是8维的，包括x、y、z轴的角度和角加速度，心率(心率传感器的输出)，以及跳绳个数(霍尔传感器的输出)。作为说明的是，心率传感器用于监测用户的心率变化，霍尔传感器用于确定跳绳个数，可用于辅助监测用户的运动状态，进而可以过滤采集的角度和角加速度中明显不合理的数据，进一步提高后续基于此进行移动高度确定的准确性。

S200：根据所述视频数据进行角点检测获取不同状态下的移动高度，基于所述移动高度和所述传感器数据生成样本数据；

在上述步骤中，上述视频数据中志愿者会带有标定板，基于标定板通过角点检测确定标定板内点的变化，进而确定志愿者实际的移动高度，角点检测算法可包括：基于灰度图像的角点检测、基于二值图像的角点检测、基于轮廓曲线的角点检测。其中本实施方式中采用基于标定板的方法主要考虑像素领域点的灰度变化，即图像亮度的变化，将与邻点亮度对比足够大的点定义为角点，具体的，所述根据所述视频数据进行角点检测获取不同状态下的移动高度，包括：

S210：基于所述视频数据进行逐帧提取，以获得对应的图像集；

在上述步骤中，动态移动数据中包含的是动态视频，对此需要对每一帧淮安进行检测，确定视频中对应人像的移动高度，从而确定志愿者实际的跳绳高度。

S220：采用角点检测算法获取所述图像集的各个图像中标定板的交点坐标；

具体的，用opencv中的角点检测算法获得视频帧中黑白棋盘格标定板的交点坐标，如上所述的，交点坐标为与邻点对比足够大的点，基于标定板上黑白棋盘格的尺寸，通过该点变化确定图像中人像变化。

S230：根据所述交点坐标的变化确定移动高度。

具体的，所述根据所述交点坐标的变化确定移动高度，包括：获取预设帧数视频段对应的图像，将各个图像中获得的交点坐标的变化平均以计算移动高度。作为举例的，可以是将相邻的4帧图像的高度变化平均得到采样频率与传感器信号采样频率一致的实际高度变化，也可以是其他帧数进行平均，以增加计算结果的准确性。

作为说明的是，上述基于所述移动高度和所述传感器数据生成样本数据，该样本数据中包含的若干样本，每一样本均对应唯一志愿者，其关联在某一时间段下该志愿者跳绳状态下不同的传感器采集的数据以及视频数据，以及根据该视频数据获得的移动高度，该移动高度作为样本中的标签。

S300：基于Transformer网络建立初始模型，采用所述样本数据进行训练，获得以多个传感器数据作为输入，输出移动高度的目标模型；

本实施方式中，采用Transformer网络进行时间信号的分析，该Transformer网络为现有网络，上述步骤S230的若干个移动高度作为训练数据的标签。具体的，所述采用所述样本数据进行训练，获得以多个传感器数据作为输入，输出移动高度的目标模型，包括：获取所述样本数据中任一样本，其中，每一样本均包括多个传感器数据和一移动高度；将各个传感器数据输入至初始模型中处理，输出样本高度数据；将所述样本高度数据与所述移动高度进行均方误差比较，通过极小化均方误差来优化，以进行模型训练，直至获得目标模型。

基于上述，经过信号处理模块处理后的传感器数据和对应高度的变化曲线，在时间上进行对应。将传感器数据作为输入，模型输出与对应时间点的移动高度(变化)进行MSE(均值方差)比较，通过极小化MSE来训练优化网络。经过若干训练后，得到学习后的网络权重参数，以生成目标模型。记t时刻经信号处理模块得到的传感器数据为

D

其中x

S400：采集用户实时的传感器数据，并通过所述目标模型处理输出目标高度数据；

在本实施方式中，可以将该目标模型植入运动手柄中的计算芯片，同时如上述在运动手柄中内置各个传感器，通过传感器采集的数据，输入到计算芯片(或如下述实施例二的装置)中进行信号处理，得到根据传感器数据估算的高度数据(即目标高度数据)。具体的，上述目标模型完成信号转换任务，包括第一阶段的角点检测和多传感器信号预处理和第二阶段的基于传感器数据预测高度的Transformer网络的数据处理。

S500：根据所述目标高度数据生成包含位移和运动量的运动数据。

需要说明的是，上述位移包括但不限于用户相对地面在重力方向上的位移，也可以通过上述用于训练的样本数据的修改实现其他方向上位移的计算，上述运动量可根据用户移动的高度进行测算。具体的，所述根据所述目标高度数据生成包含位移和运动量的运动数据，包括：根据所述目标高度数据获得用户相对地面的位移，即，根据目标模型的输出直接获得，然后根据所述目标高度数据以预设重力势能计算函数获得运动量，以生成运动数据。

基于上述训练过程，目标模型输出的只有高度数据，即每一时刻的基于各传感器数据通过目标模型测算出当前用户的高度。通过每一时刻的高度h，可以检测一次跳绳上下运动的高度差(即用户在该次跳绳最高点与最低点之间的差值)。运动量是一段时间内人物跳绳所做的功，即上述预设重力势能计算函数为E＝mgH，m是用户体重，g是重力加速度，H是跳绳过程的总的高度差，每次跳绳高度差(即上述高度h)的总合。

在本实施方式中，采集多个传感器数据，包括但不限于x、y、z轴的角度和角加速度，心率(心率传感器的输出)，以及跳绳个数(霍尔传感器的输出)，基于Transformer建立初始模型，并采用多个传感器数据和视频采集、帧图像分析等方式，获得实时运动高度生成样本数据，对该初始模型进行训练，以获得基于多个传感器数据的输入，输出预测的高度数据的目标模型。在实际应用过程中，采集各个传感器数据，并通过目标模型自主输出对用户移动高度(数据)的预测，并基于该高度数据自主计算运动量，实现实现跳绳过程高度和运动量的自主采集和监测。

作为进一步可选的，还可基于获得的运动数据/传感数据进行自主监测，自主预警，作为举例而非锌锭的，如当心率传感器的输出明显异常，或基于运动数据发现明显偏离用户历史运动习惯，则反馈预警信号至用户或监管人员，进一步实现跳绳过程的智能化监测。

实施例二：本发明还提供一种基于多传感器数据的运动数据计算装置6，可应用于运动手柄中，实现对运动(跳绳)过程的自主监测，具体的，参阅图2，包括：

预处理模块61，用于获取多个动态移动数据，所述动态移动数据包括多个传感器数据以及视频数据，其中，所述传感器数据包括陀螺仪数据、加速计数据、心率传感器数据、霍尔传感器数据；根据所述视频数据进行角点检测获取不同状态下的移动高度，基于所述移动高度和所述传感器数据生成样本数据；

具体的，预先选取200名志愿者进行跳绳实验，年龄分布从7岁到18岁。让志愿者进行1至10分钟的跳绳，重复10次，以每秒钟30次的采样频率采集各传感器的信号数据，用50mm标准镜头采集志愿者跳绳过程中的视频数据，志愿者胸前贴黑白棋盘格标定板，基于opencv的角点检测算法对视频数据中的黑白棋盘格标定板进行亚像素级别的角点检测，得到跳绳过程中角点的实时坐标，并且通过标定板中棋盘格的实际大小计算出志愿者跳绳的实时高度(即上述移动高度)，获得样本数据。

模型建立模块62，用于基于Transformer网络建立初始模型，采用所述样本数据进行训练，获得以多个传感器数据作为输入，输出移动高度的目标模型；

具体的，采用Transformer网络建立的模型进行时间信号的分析，将传感器数据作为输入，模型输出与对应时间点的移动高度(即上述样本数据中提出的移动高度)进行MSE(均值方差)比较，极小化MSE来训练优化网络，生成上述目标模型。

信号处理模块63，用于采集用户实时的传感器数据，并通过所述目标模型处理输出目标高度数据；

计算模块64，用于根据所述目标高度数据生成包含位移和运动量的运动数据。

具体的，根据所述目标高度数据获得用户相对地面的位移，即，根据目标模型的输出直接获得，然后根据所述目标高度数据以预设重力势能计算函数(E＝mgH)获得运动量，以生成该运动数据，基于该运动数据实现跳绳过程高度和运动量的自主采集和监测。

实施例三：为实现上述目的，本发明还提供一种运动手柄7，该运动手柄7可包括实施例二的基于多传感器数据的运动数据计算装置6组成部分置于该运动手柄7中，运动手柄7可以设置执行程序的计算芯片等。如图4所示，本实施例的运动手柄7至少包括但不限于：可通过系统总线相互通信连接的存储器71、处理器72，需要指出的是，仅示出了具有组件-的计算机设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

本实施例中，存储器71可以包括存储程序区和存储数据区，其中，存储程序区可存储搡作系统；存储数据区可存储用户的传感器数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器。在一些实施例中，存储器71可选包括相对于处理器远程设置的存储器71，这些远程存储器可以通过网络连接至运动手柄7。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器72在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器72通常用于控制执行上述目标模型进行信号处理。本实施例中，处理器72用于运行存储器71中存储的程序代码，例如运行基于多传感器数据的运动数据计算装置6，以实现实施例一的基于多传感器数据的运动数据计算方法。

需要指出的是，图4仅示出了具有部件71-72的运动手柄7，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。

在本实施例中，存储于存储器71中的基于多传感器数据的运动数据计算装置6还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器71中，并由一个或多个处理器(本实施例为处理器71)所执行，以完成本发明。

实施例四：

为实现上述目的，本发明还提供一种计算机可读存储介质，其包括多个存储介质，如卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、等等，其上存储有计算机程序，可内置于或连接至上述实施例三中的运动手柄7中接口，该程序被处理器92执行时实现相应功能。本实施例的计算机可读存储介质用于基于多传感器数据的运动数据计算装置6，被处理器72执行时实现实施例一的运动数据计算方法。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。