多方法融合的手部穴位定位方法、系统及电子设备

技术领域

本申请属于立体视觉技术领域，具体涉及一种多方法融合的手部穴位定位方法、系统及电子设备。

背景技术

常用的二维图像缺乏深度信息，而深度信息对于我们感知所处的三维世界是极其重要的。模拟人类的双眼感知机制，双目立体视觉通过采集具有一定角度和位置偏差的左、右图像，并通过计算图像中每个像素点的视差，而后使用三角公式恢复被拍摄场景的深度信息，在三维重建、自动驾驶、自助导航和增强现实等领域具有重大的应用前景。

传统的立体匹配方法速度快，易于实现，但精度较低，而基于学习的立体匹配方法往往能够取得很高的匹配精度，但很多基于学习的立体匹配方法在特征提取阶段将每个像素点的通道和空间特征视为同等重要，这不利于对立体匹配任务有效特征的充分表达，而给了无效特征阻碍立体匹配进程的机会，致使最后的匹配精度下降，同时对于弱纹理区域的立体匹配依然是如今双目立体匹配需要研究的重要方向。

为此，本申请提供一种多方法融合的手部穴位定位方法及电子设备以解决上述问题

发明内容

本申请实施例的目的是提供一种多方法融合的手部穴位定位方法及电子设备，其解决了现有技术中手部穴位定位粒度大、不够准确的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种多方法融合的手部穴位定位方法，包括：

采集手部图像信息，进行数据标注，包括左、右手信息以及指甲位置信息，并对数据进行预处理，形成样本数据；

根据形成的样本数据，生成用于训练指甲定位模型的数据集；

根据形成的样本数据，采用关键点定位模型定位样本的手部关键点，生成训练直接穴位定位模型的数据集；

对用于训练指甲定位模型的数据集按照比例进行划分，形成训练集和测试集，进行指甲定位模型的训练；

对用于训练直接穴位定位模型的数据集按照比例进行划分，形成训练集和测试集，进行直接穴位定位模型的训练；

通过AR眼镜获取手部图像或实时视频，将图像信息传输到该手部定位系统；

针对不同的穴位，采取不同的模型或方法，结合中医穴位定位理论，进行穴位的定位；

将穴位位置信息与名称信息通过增强现实的方式显示到手部对应位置。

可选的，所述手部图像信息，包括：

左手手掌图像、左手手背图像、右手手掌图像以及右手手背图像四种图像；

其中，四种图像等比例采集，手的姿势需平放；

所述指甲位置信息，包括：

采用矩形框进行标注；

所述对数据进行预处理，包括：

图像旋转、图像增强、对比度调整以及亮度调整。

可选的，所述采用关键点定位模型定位样本的手部关键点，包括：

采取MediaPipe手部关键点定位算法定位21个手部关键点，手部关键点坐标为(x

可选的，所述进行指甲定位模型的训练，包括：

采用YOLOv5算法进行指甲定位模型的训练；

所述指甲定位模型，包括：

定位图像中所有存在的指甲位置，对于每个指甲的位置，使用(x

可选的，所述直接穴位定位模型，包括：

输入层，具有63个神经元；

隐藏层，数量为两个；

输出层，用于定位穴位的x、y坐标。

可选的，所述采取不同的模型或方法，包括：

根据不同的穴位特点，采用不同的定位方法，包括：

调用MediaPipe手部关键点定位模型，定位出21个手部关键点；

根据该信息得到图像中的手部区域；

通过第10与第11个关键点，计算手指同身寸长度；

调用指甲识别模型，并保存模型识别的结果；如果识别结果不为空，则表示当前图像为手背；识别结果为空则表示当前图像为手掌；若图像为手掌，则进行手掌穴位的定位；若为手背，则进行手背穴位的定位。

可选的，所述结合中医穴位定位理论，进行穴位的定位，包括：

对于第一类穴位，以手部关键点为基准，根据中医的穴位定位方法，按照手指同身寸进行偏移，定位穴位位置；

对于第二类穴位，根据目标穴位所属的手部位置，得到属于该位置的指甲位置信息。以该指甲位置为基准，根据中医的穴位定位方法，按照手指同身寸进行偏移，定位穴位位置；

对于第三类穴位，采用Canny算子进行手部边缘检测，获取当前图像中手部轮廓信息，根据目标穴位所属的手部位置，选择距离该位置最近的手部关键点，根据中医的穴位定位方法选取搜索的方向，以该关键点为起点，沿着该搜索方向进行搜索，在到达手部轮廓时停止搜索，得到该穴位的位置。

对于第四类穴位，将目标穴位21个手部关键点的x、y、z数据输入直接穴位定位模型，模型计算后，得到该穴位的x、y坐标。

第二方面，本申请实施例提供了一种多方法融合的手部穴位定位系统，包括：

样本数据形成模块，用于采集手部图像信息，进行数据标注，包括左、右手信息以及指甲位置信息，并对数据进行预处理，形成样本数据；

第一数据集生成模块，用于根据形成的样本数据，生成用于训练指甲定位模型的数据集；

第二数据集生成模块，用于根据形成的样本数据，采用关键点定位模型定位样本的手部关键点，生成训练直接穴位定位模型的数据集；

指甲定位模型训练模块，用于对用于训练指甲定位模型的数据集按照比例进行划分，形成训练集和测试集，进行指甲定位模型的训练；

直接穴位定位模型训练模块，对用于训练直接穴位定位模型的数据集按照比例进行划分，形成训练集和测试集，进行直接穴位定位模型的训练；

图像信息传输模块，用于通过AR眼镜获取手部图像或实时视频，将图像信息传输到该手部定位系统；

穴位定位模块，用于针对不同的穴位，采取不同的模型或方法，结合中医穴位定位理论，进行穴位的定位；

显示模块，用于将穴位位置信息与名称信息通过增强现实的方式显示到手部对应位置。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

在本申请实施例中，提出了一种更细粒度的手部穴位定位方法，针对不同类别的手部穴位采取针对性的定位方法；在考虑手部关键点信息的基础上，进一步考虑了指甲信息、手部轮廓信息，并提出了没有明显图像特征情况下的穴位定位方法，提高了手部穴位的定位精度；其次，本申请将手部穴位分为四类，针对每种类别提出定位方法，而不是针对每个穴位提出不同的定位方法；在保证定位精度的前提下，降低了系统开发的工作量；再次，本申请采用增强现实技术显示穴位信息，在真实的视野中叠加显示穴位信息，更加直观，在手部穴位定位时也不需要手持拍摄，更为方便。

附图说明

图1是本申请实施例提供的定位方法实施步骤图；

图2是本申请实施例提供的21个手部关键点的示意图；

图3是本申请实施例在针对每个穴位定位时的定位方法图；

图4(a)～(d)是本申请实施例提供的手部穴位定位示意图；

图5是本申请实施例提供的多方法融合的手部穴位定位系统的结构框图；

图6是本申请实施例提供的电子设备的结构框架图；

图7是本申请实施例提供的电子设备的硬件结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的多方法融合的手部穴位定位方法进行详细地说明。

请参见图1，是本申请实施例提供的一种多方法融合的手部穴位定位方法，包括：

步骤S100、采集手部图像信息，进行数据标注，包括左、右手信息以及指甲位置信息，并对数据进行预处理，形成样本数据；

步骤S101、根据形成的样本数据，生成用于训练指甲定位模型的数据集；

步骤S102、根据形成的样本数据，采用关键点定位模型定位样本的手部关键点，生成训练直接穴位定位模型的数据集；

步骤S103、对用于训练指甲定位模型的数据集按照比例进行划分，形成训练集和测试集，进行指甲定位模型的训练；

步骤S104、对用于训练直接穴位定位模型的数据集按照比例进行划分，形成训练集和测试集，进行直接穴位定位模型的训练；

步骤S105、通过AR眼镜获取手部图像或实时视频，将图像信息传输到该手部定位系统；

步骤S106、针对不同的穴位，采取不同的模型或方法，结合中医穴位定位理论，进行穴位的定位；

步骤S107、将穴位位置信息与名称信息通过增强现实的方式显示到手部对应位置。

在步骤S100中，所述手部图像信息，包括：

左手手掌图像、左手手背图像、右手手掌图像以及右手手背图像四种图像；其中，四种图像等比例采集，手的姿势需平放，也就是说，手不进行弯曲、握拳等动作。

所述指甲位置信息，包括：

采用矩形框进行标注；

所述对数据进行预处理，包括但不限于：

图像旋转、图像增强、对比度调整以及亮度调整等方法。

需另外说明的是，不考虑畸形、残疾等特殊情况，每个图像样本中包含一个手部，每个手部标注五个指甲的位置信息。

在步骤S102中，所述采用关键点定位模型定位样本的手部关键点，包括：

采取MediaPipe手部关键点定位算法定位21个手部关键点，具体参见图2所示，手部关键点坐标为(x

需要说明的是，考虑到人体结构的关联性，第四类穴位虽然没有明显的图像特征，但是与其他手部部位还是存在关联，因此，步骤S102中构建的数据集包含了手部21个关键点的x、y、z轴信息，以及要定位穴位的x、y轴信息。

在步骤S103中，所述进行指甲定位模型的训练，包括：

采用YOLOv5算法进行指甲定位模型的训练，训练得到的指甲定位模型有两个用处，一个作用是定位指甲的位置，另一作用是可以根据模型输出，来判断手部图像是手掌还是手背。

所述指甲定位模型，包括：

定位图像中所有存在的指甲位置，对于每个指甲的位置，使用(x

需要说明的是，在步骤S103中，划分数据集时要做到随机划分，避免数据顺序对模型产生影响，并且要保证左/右手、手掌/手背四种图像在训练集与测试集中的等比例分布。

在步骤S104中，所述直接穴位定位模型，包括：

输入层，具有63个神经元；

隐藏层，数量为两个；

输出层，用于定位穴位的x、y坐标。

另外，该模型学习率lr为0.001，损失函数为MSE。

步骤S104中训练的模型可以直接定位没有明显图像特征的穴位，模型运行速度较快，可以准确地定位第四类穴位。

需要说明的是，在步骤S104中，划分数据集时要做到随机划分，避免数据顺序对模型产生影响，并且要保证左/右手、手掌/手背四种图像在训练集与测试集中的等比例分布。

在步骤S105中，采用头戴式AR眼镜获取手部图像信息，即具有移动平台的优点，也解放了双手，不用进行手持拍摄，可以更方便的获取手部图像信息。

参见图3和4(a)～(d)所示，在步骤S106中，所述采取不同的模型或方法，包括：

根据不同的穴位特点，采用不同的定位方法，包括：

调用MediaPipe手部关键点定位模型，定位出21个手部关键点；

根据该信息得到图像中的手部区域；

通过第10与第11个关键点，计算手指同身寸长度；

调用指甲识别模型，并保存模型识别的结果；如果识别结果不为空，则表示当前图像为手背；识别结果为空则表示当前图像为手掌；若图像为手掌，则进行手掌穴位的定位；若为手背，则进行手背穴位的定位。

另外需要说明的是，在能够区分手掌与手背的情况下，可以根据关键点信息判断当前图像是左手还是右手，在进行坐标偏移的时候需要用到该信息。

在步骤S106中，所述结合中医穴位定位理论，进行穴位的定位，包括：

对于第一类穴位，以手部关键点为基准，根据中医的穴位定位方法，按照手指同身寸进行偏移，定位穴位位置；

对于第二类穴位，根据目标穴位所属的手部位置，得到属于该位置的指甲位置信息。以该指甲位置为基准，根据中医的穴位定位方法，按照手指同身寸进行偏移，定位穴位位置；

对于第三类穴位，采用Canny算子进行手部边缘检测，获取当前图像中手部轮廓信息，根据目标穴位所属的手部位置，选择距离该位置最近的手部关键点，根据中医的穴位定位方法选取搜索的方向，以该关键点为起点，沿着该搜索方向进行搜索，在到达手部轮廓时停止搜索，得到该穴位的位置。

对于第四类穴位，将目标穴位21个手部关键点的x、y、z数据输入直接穴位定位模型，模型计算后，得到该穴位的x、y坐标。

下面以具体实施例1对本申请实施例提供的一种多方法融合的手部穴位定位方法进行详细说明。

实施例1

第一类穴位以少府穴为例，中医穴位理论中，少府穴位于横平第5掌指关节近端，第4、5掌骨之间，根据第13和第17关键点可以进行定位，第13关键点坐标为(x

第二类穴位以左手商阳穴为例，中医穴位理论中，商阳穴位于食指末节桡侧，指甲根角侧上方0.1指寸位置，因此该穴位可以通过食指指甲位置，以及同身寸长度进行定位，通过第10和第11关键点，计算出同身寸长度为：

记定位出的左手食指指甲坐标为(x

第三类穴位以中冲穴为例，中医穴位理论中，中冲穴位于中指末端最高点，因此可以根据关键点12，结合Canny算子提取出的手部轮廓进行定位，设提取出的手部轮廓为c，那么以关键点12为出发点，向上进行搜索，当检测到到达轮廓c时停止搜索，此时的位置坐标即中冲穴的坐标。

第四类穴位以合谷穴为例，中医穴位理论中，合谷穴位于第2掌骨桡侧的中点处，但是仅通过21个关键点并不能确定第2掌骨的长度，也就无法确定其中点位置，无法直接根据手部关键点定位，因此，对于该穴位，将21个关键点的x、y、z坐标信息输入直接穴位定位模型，通过模型计算，输出该穴位的坐标。

参见图5所示，本申请实施例提供了一种多方法融合的手部穴位定位系统，包括样本数据形成模块1、第一数据集生成模块2、第二数据集生成模块3、指甲定位模型训练模块4、直接穴位定位模型训练模块5、图像信息传输模块6、穴位定位模块7以及显示模块8。

所述样本数据形成模块1用于采集手部图像信息，进行数据标注，包括左、右手信息以及指甲位置信息，并对数据进行预处理，形成样本数据。

所述第一数据集生成模块2用于根据形成的样本数据，生成用于训练指甲定位模型的数据集。

所述第二数据集生成模块3用于根据形成的样本数据，采用关键点定位模型定位样本的手部关键点，生成训练直接穴位定位模型的数据集。

所述指甲定位模型训练模块4用于对用于训练指甲定位模型的数据集按照比例进行划分，形成训练集和测试集，进行指甲定位模型的训练。

所述直接穴位定位模型训练模块5对用于训练直接穴位定位模型的数据集按照比例进行划分，形成训练集和测试集，进行直接穴位定位模型的训练。

所述图像信息传输模块6用于通过AR眼镜获取手部图像或实时视频，将图像信息传输到该手部定位系统。

所述穴位定位模块7用于针对不同的穴位，采取不同的模型或方法，结合中医穴位定位理论，进行穴位的定位。

所述显示模块8用于将穴位位置信息与名称信息通过增强现实的方式显示到手部对应位置。

如图6所示，本申请实施例还提供一种电子设备600，电子设备600包括处理器601，存储器602，存储在存储器602上并可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述多方法融合的手部穴位定位方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的第一电子设备包括上述所述的移动电子设备和非移动电子设备。

图7为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。

本领域技术人员可以理解，电子设备700还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

应理解的是，本申请实施例中，输入单元704可以包括图形处理器(GraphicsProcessingUnit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器709可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器710可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述多方法融合的手部穴位定位方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述多方法融合的手部穴位定位方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。