一种基于移动端和ESP32的动作捕捉系统及方法

技术领域

本发明涉及动作捕捉识别技术领域，特别涉及一种基于移动端和ESP32的动作捕捉系统及方法。

背景技术

随着计算机硬件技术的发展，动作捕捉识别技术的应用领域越来越广泛。传统的动作捕捉识别主要是基于计算机视觉的姿态分析，即通过摄像机在不同角度同时捕捉人体的运动过程，从视频序列中抽取相关视觉信息，通过找到合适方法对视觉信息进行表示实现动作识别。在上述过程中，一方面，由于人体之间的个体差异、动作的多样性和复杂性，如何充分有效的表达动作姿态是基于视觉的姿态分析中的一大难点，且在具体的应用中还需要对计算代价和准确度进行平衡；另一方面，基于计算机视觉的姿态分析方式主要是依靠光学元件和摄像技术（如PhaseSpace、NOKOV和Worldviz）。上述分析方式主要存在以下缺陷：

（1）整体光学系统价格普遍较高，一般在25万至50万美元，无法满足大众的价格要求，大部分企业的设备需要专业人员对其进行每日维护。此外，整套系统，包括工作站、软件和数据修改，还会成倍提高使用成本和硬件费用。

（2）系统价格昂贵，它可以捕捉实时运动，但后处理（包括Marker的识别、跟踪、空间坐标的计算）的工作量较大，只适合科研类应用。

上述基础上，本领域经过长期研究对动作捕捉识别技术进行了改进，提出了利用惯性传感器的姿态分析，该分析方法中，人体可穿戴专门的传感器获取数据，再通过相关处理处理软件建立模型后其进行处理，从而达到动作识别的目的，且动作捕捉识别技术在康复医疗领域得到了广泛应用（如InterSense）。但利用惯性传感器的姿态分析并不能体现所有，惯性捕捉数据产生滞后现象比较明显。

基于上述分析可见，用于动作捕捉识别的产品目前仍然存在以下问题：

（1）几乎无法支持基于移动端较低成本的动作捕捉技术来满足康复医疗术后量化跟踪的需求，且光学元件和摄像技术中的设备需要专业人员对其进行每日维护，且销售价格普遍较高，也无法满足大众的价格要求。

（2）整套系统，包括工作站、软件和数据修改，会成倍提高使用成本和硬件费用。

（3）系统操作程序复杂，投入成本高，也很容易被外部的因素影响和干扰，这将导致整个动作捕捉的技术仅仅用于科研或者电影制作的领域，很难使用到康复医疗的领域，达到精准辅助医生对康复患者的目的。

因此，本领域亟需开发一种新的动作捕捉识别系统，以消除现有技术的缺陷和限制。

发明内容

本发明的目的是提出一种基于移动端和ESP32的动作捕捉系统，系统结构较为简单，体积较小，易于生产，且投入成本低，不易受外部因素影响和干扰。

本发明的另一目的是提出一种基于移动端和ESP32的动作捕捉方法，其操作程序简单，其可在极大程度上帮助医生实时精准且便捷地通过移动端跟踪并量化康复患者在康复治疗恢复过程中的效果。

实现本发明目的的技术方案为：

一种基于移动端和ESP32的动作捕捉系统，包括动作捕捉单元、数据传输单元和移动端；动作捕捉单元用于采集运动数据，数据传输单元用于获取动作捕捉单元产生的运动数据，并通过无线网络传输至移动端；移动端对运动数据进行处理；

所述动作捕捉单元和数据传输单元之间通过硬件接口进行连接，数据传输单元和移动端之间通过无线网络连接；其中，所述动作捕捉单元为两个，分为第一动作捕捉单元和第二动作捕捉单元，两个动作捕捉单元并联后再与数据传输单元串联。

实现本发明另一目的的技术方案为：

一种基于移动端和ESP32的动作捕捉方法，包括以下步骤：

S1，动作捕捉单元根据运动轨迹产生运动数据；

S2，移动端发送请求，控制单元获取动作捕捉单元产生的运动数据；

S3，控制单元获取动作捕捉单元的运动数据，并传输给移动端；

S4，移动端对运动数据进行可视化处理，实现3D渲染和动态同步。

本发明的动作捕捉系统主要应用于医疗康复护膝，两个动作捕捉单元分为安装于普通护膝支架的大腿支架和小腿支架，控制单元设置在护膝的膝盖部分。控制单元在移动端的请求下获取动作捕捉单元的数据，再将数据传输到移动终端，移动终端通过软件处理得实现3D模型的构建。本发明的连接方式简单，且可同步获取两个动作捕捉单元的数据，实现大腿支架和小腿支架运动数据的同步获取。通过本发明的动作捕捉系统，可事实监控和分析患者的运动状态，方便移动实时精准且便捷地通过移动端跟踪并量化康复患者在康复治疗恢复过程中的效果，进而适时的调整治疗方案，达到提高康复治疗效果，缩短康复周期的效果。

本发明的有益效果在于：

（1）本发明采用移动端进行系统运动状态的监测，方便携带和随时观察，进一步提高检测效率。

（2）本发明系统结构较为简单，体积较小，易于生产，且投入成本低，不易受外部因素影响和干扰。

（3）本发明操作程序简单，其可在极大程度上帮助医生实时精准且便捷地通过移动端跟踪并量化康复患者在康复治疗恢复过程中的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种工作原理图；

图2为本发明方法的一种流程图；

图3为本发明硬件连接方式的一种结构示意图；

图4为本发明硬件之间的另一种工作原理图；

图5为本发明中VALUE值的指定设置图；

图6是本发明系统运行过程中得到的一种运动轨迹和趋势图；

图7为本发明测量的正常人和患者关于x轴的旋转速率对比图；

图8为本发明测量的正常人和患者关于y轴的旋转速率对比图；

图9为本发明测量的正常人和患者关于z轴的旋转速率对比图；

图10为本发明测量的正常人和患者关于x轴的角速度对比图；

图11为本发明测量的正常人和患者关于y轴的角速度对比图；

图12为本发明测量的正常人和患者关于z轴的角速度对比图；

图13为本发明测量的正常人和患者向量与x轴所形成的角度对比图；

图14为本发明测量的正常人和患者向量与y轴所形成的角度对比图；

图15为本发明测量的正常人和患者向量与z轴所形成的角度对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于移动端和ESP32的动作捕捉系统，包括动作捕捉单元、控制单元和移动端；动作捕捉单元用于采集运动数据，控制单元用于获取动作捕捉单元产生的运动数据，并通过无线网络传输至移动端；移动端对运动数据进行处理；

所述动作捕捉单元和控制单元之间通过硬件接口进行连接，控制单元和移动端之间通过无线网络连接；其中，所述动作捕捉单元为两个，分为第一动作捕捉单元和第二动作捕捉单元，两个动作捕捉单元并联后再与控制单元串联，具体如图3-图4所示。

本发明的动作捕捉系统主要应用于医疗康复护膝，两个动作捕捉单元分为安装于普通护膝支架的大腿支架和小腿支架，控制单元设置在护膝的膝盖部分。控制单元在移动端的请求下获取动作捕捉单元的数据，再将数据传输到移动终端，移动终端通过软件处理得实现3D模型的构建。本发明的连接方式简单，且可同步获取两个动作捕捉单元的数据，实现大腿支架和小腿支架运动数据的同步获取。通过本发明的动作捕捉系统，可事实监控和分析患者的运动状态，方便移动实时精准且便捷地通过移动端跟踪并量化康复患者在康复治疗恢复过程中的效果，进而适时的调整治疗方案，达到提高康复治疗效果，缩短康复周期的效果。具体如图1-图4所示。

本发明中的动作捕捉单元为姿态传感器、控制单元为微控制器、移动端为手机。

姿态传感器可选用MPU6000、MPU6050或MPU6055，本发明优选MPU6055，其数据效率高，低功耗，传输信号跳跃小。

微控制器可选用ESP6088或ESP32，本发明优选ESP32。ESP32是一块WiFi芯片，其集成了天线开关、射频balun、功率放大器、低噪放大器、过滤器和电源管理模块，整个解决方案占用了最少的印刷电路板面积。2.4GHzWi-Fi加蓝牙双模芯片采用TSMC低功耗40nm技术，功耗性能和射频性能最佳，安全可靠，易于扩展至各种应用。

进一步地，所述动作捕捉单元包括陀螺仪和加速传感器，其可根据动作捕捉单元的运动轨迹生产角度信息和加速度信息。

动作捕捉单元可得到待测物体x、y、z轴的倾角（俯仰角Pitch、滚转角Roll、偏航角Yaw）。微控制器读取到动作捕捉单元的六个数据（三轴加速度AD值、三轴角速度AD值）经过姿态融合后就可得到Pitch、Roll、Yaw角。

进一步地，如图3所示，动作捕捉单元为姿态传感器，其中，

第一动作捕捉单元的高电平连接第二动作捕捉单元的设备地址接口；

第一动作捕捉单元的低电平连接第二动作捕捉单元的串行数据接口；

第一动作捕捉单元的时钟接口连接第二动作捕捉单元的时钟接口；

第一动作捕捉单元的串行数据接口连接第二动作捕捉单元的低电平；

本发明的姿态传感器优选MPU6055，其中，第一动作捕捉单元的高电平、低电平、时钟接口和串行数据接口的引脚分别为VCC、GND、SCL和SDA；第二动作捕捉单元的设备地址接口、串行数据接口、时钟接口和低电平的引脚分别为AD0、SDA、SLC和CND。

即引脚VCC、GND、SCL和SDA分别与第二动作捕捉单元的AD0、SDA、SLC和CND相连接。本发明中的两个SCL(时钟线)相连，目的是使两块MPU6055使用同一时钟，达到时钟同步的目的。

进一步地，如图4所示，动作捕捉单元与控制单元的高电平、低电平和两个协议接口相连接。

微控制器优选ESP32，其中ESP32的高电平和低电平引脚分别为VCC和GND，两个协议接口的引脚分别为IO21和IO22。ESP32的VCC和GND连接两块姿态传感器的目的是为了给两块姿态传感器供电和接地的作用，而IO21和IO22两个接口是充当SCL和SDA线，再通过人为编写软件去控制SCL和SDA线的高低电平变化去模拟I2C协议。即本发明的IO21和IO22两个引脚的作用是实现数据接受和指令发送的通信。本发明采用模拟I2C协议的方式，虽然执行速度不如硬件I2C快，耗时较长，但稳定性就比硬件I2C更佳。

如图2所示，一种基于移动端和ESP32的动作捕捉方法，包括以下步骤：

S1，动作捕捉单元获取运动数据；

S2，移动端发送请求，控制单元获取运动数据；

S3，控制单元获取动作捕捉单元的运动数据，并传输给移动端；

S4，移动端对运动数据进行可视化处理，实现3D渲染和动态同步。

进一步地，在步骤S1中，动作捕捉单元通过陀螺仪和加速传感器获取运动轨迹生产角度信息和加速度信息。动作捕捉单元可得到待测物体x、y、z轴的倾角（俯仰角Pitch、滚转角Roll、偏航角Yaw）。微控制器读取到动作捕捉单元的六个数据（三轴加速度AD值、三轴角速度AD值）经过姿态融合后就可得到Pitch、Roll、Yaw角。

进一步地，在步骤S2中，控制单元采用多线程的方式动态分布式获取动作捕捉单元产生的运动数据。在本发明中，控制单元采用轮询机制获取动作捕捉单元的数据，采用轮询机制可解决服务器压力过大的问题的。在创建线程池时，针对第一动作捕捉单元和第一动作捕捉单子线程分别为子线程A和子线程B，其中，子线程A和子线程B分别为高电平和低电平，其目的是把两个动作捕捉单元区分开。

进一步地，在步骤S2和步骤S3中，移动端与控制单元通过无线网路进行传输。所述无线网络可采用ESP32中的低功耗蓝牙系统（BLE）进行广播，分别在广播包和扫描包中设置AdvertiseData.Builder的每一种广播报文参数，其中LEN，TYPE为芯片中默认数值，VALUE值则根据分布式获取机制进行指定设置，在本发明中VALUE值的指定设置具体如图5所示。

VALUE值的指定设置顺序是不可改变的，采用上述设置可将原数据迅速的解析出来，一次性和后续3D模型中对应的点进行同步。所述步骤S4可以采用KD-Tree算法进行三角化，从而达到动态同步和二次渲染的目的。其中，Kd-Tre（k-dimensionalTree）是由BST(Binarysearchtree)发展而来的一种高维索引树形数据结，本质也是二叉树，不过每个节点的数据都是k维，常用于在大规模的高维数据空间进行最近邻查找(NearestNeighbor)和近似最近邻查找(ApproximateNearestNeighbor)，例如图像检索和识别中的高维图像特征向量的K近邻查找与匹配。

在本发明中，步骤S4中的过程具体如下：

一、构建Kd-Tree算法：

（1）首先按XX轴的分割线对空间进行分割。计算所有点的xx坐标的平均值，选择所有点中最接近平均值的点作为分割线，把空间中的点进行分割；

（2）对分隔好的空间按照yy轴的分割线进行分割，分割过程同上。分割好后继续按xx轴进行分割，依次类推，直到最终只剩每个空间中只有一个点结束分割。

构建Kd-Tree算法时，划分维度要尽量使得这个维度上所有数据项数值的分布尽可能地有大方差，也就是说，数据在这个维度上尽可能分散。这样的分割过程就对应于一个二叉树，每个分割线对应于一个分支，每个点对应于一个叶子节点。

二、搜索算法

（1）依照非叶节点中存储的分割维度以及中位数信息，自根节点始，从上向下搜索，直到到达叶子。遍历的原则是比较分割维度上，查询值与中位数的大小，设查询为Q，当前遍历到的节点为u，则若Q>u，继续遍历u的右子树，反之，遍历左子树。

（2）遍历到叶子之后，计算叶子节点中与查询Q距离最小的数据项与查询的距离，记为D；其后执行“回溯”操作，回溯至当前节点的父节点，判断以Q为球心，以D为半径的超球面是否与这个父节点的另一个分支所代表的区域有交集。如果没有，继续向上一层回溯；如果有，则按照步骤（1）步继续执行，探底到叶子节点后，如果此时Q与这个叶子节点中的数据项有更小的距离，则更新D。

（3）持续进行上述步骤（1）至步骤（2），直到回溯至根节点，且根节点的两个分支都被“探测”过为止。

三、根据Kd-Tree进行无序点云去噪：

（1）根据点云数据生成Kd-Tree，建立点云的拓扑关系；

（2）查找任一点的邻域；

（3）计算该点与邻域内各点的距离取平均值；

（4）判断该平均值是否超过阈值，若超过则判定该点为噪点，进行去除。

将本发明的系统进行运行后，输出得到运动轨迹趋势图，具体如图6所示。本发明两个动作捕捉单元分为安装于普通护膝支架的大腿支架和小腿支架上的，图6所记录的主要为大小腿在运动过程中旋转和位移的轨迹趋势。

为了实现康复数据的可视化，在使用本发明的系统测试时，动作捕捉单元将系统的加速度、角速度和消毒进行了进一步转化，由此测试出病人康复前后的量化数据。具体如图7～13所示。

图7～图9为为本发明测量的正常人和患者关于x、y、z轴的旋转速率（即加速度）对比图，其中，蓝色为普通人的测量数据，橘色为膝关节患者的测量数据；

图10～图12为本发明测量的正常人和患者关于x、y、z轴的角速度对比图，角速度的定义为：一个以弧度为单位的圆(一个圆周为2π,即：360度=2π),在单位时间内所走的弧度即为角速度。公式为：ω=Ч/t(Ч为所走过弧度，t为时间)ω的单位为：弧度每秒。在图10～图12中，蓝色为普通人的测量数据，橘色为膝关节患者的测量数据；

图13～图15为本发明测量的正常人和患者向量与x，y，z轴所形成的角度对比图，其中，蓝色为普通人的测量数据，橘色为膝关节患者的测量数据。

根据上述测量数据可以看出：本发明的系统可实现运动数据的精准测量，以便医生分析，从而为患者制定合理的康复策略，帮助患者早日康复。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步地的详细说明，所应理解的是，以上所述仅为本发明的具体实施方法而已，并不用于限制本发明，凡是在本发明的主旨之内，所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。