一种测量和重现针灸手法的系统及方法

技术领域

本发明涉及一种测量和重现针灸手法的系统及方法，属于医学测量技术领域。

背景技术

针灸是中医的重要部分之一，其治疗效果已经得到了广泛的研究和认可。传统针灸教学利用经络穴位图、人体穴位模型等工具帮助学生直观把握穴位位置，并会在学生身上标出穴位，用互相点穴或自身练习的方式加深印象。随着计算机技术的发展，虚拟现实技术也被用于针灸教学中，学生可以在虚拟场景中练习相关针刺手法，丰富了手法的练习方式。但针灸手法的传授主要依靠口授笔录、视频录像的方式进行，缺乏量化方式，需要教师在实践中不断地指导。针灸作为一门注重实践的课程，教学质量往往取决于教师的经验、技术水平，而目前仍缺乏经验丰富的优秀针灸教师。则能提升学生的学习效率和练习效果。

传统的针刺手法采集系统通过装有传感器的毫针或特制的操作台采集针刺过程中的力学量，相关数据可以存储并生成波形，从而与标准手法进行比较，但这类系统只能获取针体上的力学参数，不能直观反映出操作过程中的手部运动和针灸针运动，学生对针刺手法的学习仍然需要在教师指导下进行。若能对标准针刺手法进行量化记录和重现，建立一套针刺手法的测量和重现系统，对提升针灸治疗科学性、有效性具有重要意义。

发明内容

为解决上述问题，本发明公开一种测量和重现针灸手法的系统及方法，操作简便，测量准确，手法直观，能够记录和再现医师的针灸操作。

为解决上述技术问题，本发明采用的技术方案是：

本发明首先提供一种测量和重现针灸手法的系统，该系统包括以下模块：数据采集模块；手法测量模块；手部重建模块；手法重现模块；

所述的数据采集模块用于获取针灸操作过程中的图像信息和/或针灸针的位置、姿态信息；

所述的手法测量模块用于测量针灸操作过程中手部的动作和/或姿态信息；

所述的手部重建模块在手法测量模块所测量得到的信息的基础上，建立对应手法的手部的三维模型；

所述的手法重现模块用于操作人员观看、保存针灸手法。

进一步地，所述数据采集模块包括相机和惯性测量单元，所述相机用于获取针灸操作过程中的图像信息；所述惯性测量单元用于获取针灸针的位置和/或姿态信息；所述的惯性测量单元固定在针灸针上。

本发明还提供一种用上述的一种测量和重现针灸手法的系统进行针灸手法测量和重现的方法，该方法包括如下步骤：

S1.数据采集模块获取针灸操作过程中的图像信息和/或针灸针的位置、姿态信息；

S2.手法测量模块测量针灸操作过程中手部的动作和/或姿态信息；

S3.手部重建模块根据手法测量模块所测量得到的信息，建立对应手法的手部的三维模型；

S4.手法重现模块将手部的三维模型和/或针灸针的三维模型显示在显示器上。

进一步地，步骤S2中所述手法测量模块测量针灸操作过程中手部的动作和/或姿态信息的具体过程是：所述手法测量模块输入为无标记的手部图像，输出为手部关键点的位置，通过计算机视觉的方式获得手部的动作和/或姿态信息。

进一步地，步骤S3中所述手部重建模块根据手法测量模块所测量得到的信息，建立对应手法的手部的三维模型，具体是采用粒子群优化算法计算手部模型的参数，建立对应手法的手部的三维模型。

进一步地，所述采用粒子群优化算法计算手部模型的参数，建立对应手法的手部的三维模型，具体是：

采用MANO参数化模型作为手部三维模型，所述的MANO参数化模型根据输入的10维的shapevector和10维的posevector参数生成相应的20维的MANO手部模型；

将20维的MANO手部模型的参数空间作为粒子群优化算法的求解空间，粒子群优化算法的目标函数值fitness为MANO手部模型的关键点与所述手法测量模块输出的手部关键点的距离平方和的负值，即

其中n为手法测量模块输出的手部21关键点的编号，Y为粒子群优化算法的一个解，

所述粒子群优化算法的约束条件为手部的运动学约束,粒子的初始位置与速度为随机值，根据更新公式改变粒子的速度和位置，即

其中v为粒子的速度，k为当前循环的次数，K为循环的最大次数，d为粒子维度的序号，

进一步地，所述手法重现模块显示手部的三维模型和/或针灸针的三维模型，所述手部的三维模型和/或针灸针的三维模型跟随手法的变化而改变；所述手法重现模块用于保存和/或加载针灸手法文件。

本发明的有益效果是：

通过本发明公开的测量和重现针灸手法的系统及方法，能够记录医师的针灸操作，通过三维环境进行生动地再现，辅助针灸的记录和教学工作。本发明能够对手部运动和针灸针运动进行测量，弥补了现有针刺手法采集系统仅能采集力学数据的空白。使用计算机视觉的方法进行手法的测量，解决了手部交互复杂、存在遮挡情况下的手法测量难题。本发明采用的技术方案拥有较大的视野，能够在不调节相机位置的情况下测量多个穴位的针刺操作。本系统测量准确，稳定可靠，直观生动，功能丰富，能够很好地帮助医师记录和复现针灸手法。

附图说明

图1为本发明的系统架构图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

如图1所示，本发明实施例提供的一种测量和重现针灸手法的系统，包括数据采集模块、手法测量模块、手部重建模块、手法重现模块。所述的数据采集模块用于获取针灸操作过程中的图像信息、针灸针的位置、姿态信息。所述的手法测量模块用于测量针灸操作过程中手部的动作、姿态信息。所述的手部重建模块在手法测量模块所测量得到的信息的基础上，建立对应手法的手部的三维模型。所述的手法重现模块用于操作人员观看、保存针灸手法。

所述数据采集模块通过Kinectv2相机获取针灸操作过程中的图像信息，通过六轴惯性测量单元WT901获取针灸针的位置、姿态信息，上述的惯性测量单元WT901通过夹具固定在针灸针上，由此能够对针灸操作过程中力学信息以外的数据进行测量。在其他实施例中，Kinectv2相机也可以采用其他彩色(RGB)相机、彩色-深度(RGB-D)相机、红外相机等其他图像采集装置，六轴惯性测量单元WT901也可以采用三轴、九轴等其他类型的惯性测量单元，固定方式也可以采用胶粘、焊接、磁吸等其他方式，并不局限于此。

所述手法测量模块输入为无标记的手部图像，输出为21个手部关键点的位置，通过计算机视觉OpenPose的方式测量手部关键点的位置，从而获得手部的动作、姿态信息。在其他实施例中，也可以采用YOLO目标检测算法、方向梯度直方图与支持向量机(HOG+SVM)、卷积神经网络(CNN)等其他检测算法，并不局限于此。

所述手部重建模块根据手法测量模块所测量得到的信息，采用粒子群优化算法(PSO)，计算MANO手部模型的参数，使MANO手部模型与测量得到的手部关键点的位置相匹配，建立对应手法的手部的三维模型。

上述的手部重建模块的具体方法是：采用MANO参数化模型作为手部三维模型，所述的MANO参数化模型根据输入的10维的shapevector和10维的posevector参数生成相应的手部三维模型。将20维的MANO手部模型的参数空间作为粒子群优化算法的求解空间，粒子群优化算法的目标函数值为MANO参数化模型的关键点与上述手法测量模块输出的手部关键点的距离平方和的负值，即

其中n为手部21关键点的编号，Y为粒子群优化算法的一个解，

其中v为粒子的速度，k为当前循环的次数，K为循环的最大次数，d为粒子维度的序号，

所述手法重现模块在Unity3D中显示手部的三维模型、针灸针的三维模型，所述手部的三维模型、针灸针的三维模型跟随手法的变化而改变；所述手法重现模块能够保存、加载针灸手法文件。在其他实施例中，也可以采用UnrealEngine、Open3D、WebGL等其他三维模型可视化工具，并不局限于此。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。