一种基于机器视觉的脸部穴位实时定位方法

技术领域

本发明属于医疗图像处理领域，具体涉及一种基于机器视觉的脸部穴位实时定位方法。

背景技术

针灸按摩是中医学中的一个重要分科，研究表明，脸部穴位针灸与按摩对于治疗面部神经炎、面瘫、偏头痛等疾病有非常显著的效果。针灸按摩的重点在于寻找穴位，通过刺激人体的某些穴位，起到疏通经络、松弛肌肉、调节身体机能的作用，穴位寻找的准确度也将直接影响针灸按摩的最终效果。人体穴位繁多，光是脸部的穴位就有30多种。传统的寻找穴位的方法往往需要使用者进行长时间的学习以及培训之后才能逐渐正确掌握，具有较强的个人主观性，并且每个人身体构造有一定的区别，其相应穴位的位置也会产生一定的偏差，非常不利于针灸初学者或者普通老百姓进行穴位按摩。

随着人工智能的快速发展，机器视觉为穴位智能定位提供了一种有效的技术手段，但目前已有的穴位定位技术存在对设备要求比较高、价格昂贵、使用不便捷、只能识别部分特定的穴位、不能实时寻穴等问题。

发明内容

针对上述存在的一些问题，本发明提供了一种基于机器视觉的脸部穴位实时定位方法，以帮助普通人可以快速准确地进行穴位的实时寻找。

本发明一种基于机器视觉的脸部穴位实时定位方法，具体如下：

步骤一、在PC端构建有遮挡环境下的脸部穴位定位追踪算法模型，具体如下：

1.1：采集用户在正坐目视前方时的静态图片，得到Ⅰ类样本；

1.2：针对Ⅰ类样本，采用边缘检测算法进行脸部轮廓提取，得到脸部轮廓图片；

1.3：针对脸部轮廓图片进行遍历像素点的操作，识别出所需的四个关键点，得到静态环境下的寸转换比；

1.4：采用计算机视觉算法构建脸部关键点拓展识别，得到动态人脸特征点定位；

1.5：以中医骨度分寸法为基础，根据步骤1.4中定位的动态人脸特征点得到步骤1.3中四个关键点的实时三维坐标信息，然后根据寸转换比的计算得到用户的寸的实时长度；

1.6：按照穴位是否在经络循行部位上，将脸部穴位分为脸部特定穴位和脸部其他穴位，并结合寸的实时长度获得无遮挡环境下的脸部穴位位置；然后，结合人脸分类器和边界框回归，对人脸识别进行层层候选窗口筛选，将步骤1.4中定位的各动态人脸特征点框定在边界框之中，极大地减少部分遮挡对脸部穴位的定位影响，从而获得有遮挡环境下的穴位位置，提高在有遮挡环境下的寻穴精准度。

步骤二、通过摄像头获取用户脸部的实时画面，将检测到的实时画面传输给PC端进行呈现；用户选择需要定位的穴位，PC端根据该穴位的种类，按照步骤一构建的有遮挡环境下的脸部穴位定位追踪算法模型计算得到该穴位的实时位置；然后，移动穴位按摩器，移动过程中，摄像头将获取的穴位按摩器实时画面传输给PC端，PC端采用追踪算法对穴位按摩器的点穴磁头位置进行跟踪并在PC端进行呈现，当穴位按摩器的点穴磁头位置与PC端计算得到的穴位实时位置相匹配时，用户通过穴位按摩器对点穴磁头所在位置的穴位进行按摩。

优选的，所述的边缘检测算法采用Canny边缘检测算法。

优选的，所述的四个关键点为前发际线正中、印堂穴、左眉毛眉间和右眉毛眉间；定义前发际线正中到印堂的距离与两眉毛眉间的距离的比值为寸转换比P：

式中，A为前发际线正中，B为印堂，C为左眉毛眉间，D为右眉毛眉间，L

优选的，在步骤1.4中，采用BlazePose算法构建脸部关键点拓展识别，形成10个脸部关键点拓扑，其是基于维特鲁威人体理论得到人体边界盒的坐标位置信息，选取脸部关键点拓扑得到Ⅰ类模型，基于Ⅰ类模型提取出人体脸部其余468个人脸特征点，形成动态人脸特征点定位，该算法属于姿态估计，并不是脸部穴位定位的基准点，它遵循Face LandmarkModel的3D人脸地标拓扑，提供了人脸特征点在三维世界中的空间坐标，实现高保真追踪轨迹。

优选的，将脸部穴位按照是否在经络循行的相关部位上分为两种，第Ⅰ种为脸部特定穴位，即穴位的位置在经络循行上，可通过动态人脸特征点定位直接获取，第Ⅱ种为脸部其他穴位，即穴位的位置不在经络循行上，脸部其他穴位可以通过脸部特定穴位或者器官的中心定位进行辅助，并结合寸的实时长度进行计算，从而获得无遮挡环境下的脸部穴位位置。

优选的，所述的人脸分类器和边界框回归为MTCNN算法中的算法模型。

优选的，所述的追踪算法采用基于MeanShift的追踪算法。

优选的，PC端计算得到的需要定位的穴位实时位置与现实环境下穴位按摩器的点穴磁头在PC端画面上的三维坐标重合时，匹配成功，PC端或穴位按摩器发出“嘀”的声音。匹配成功后再进行穴位按摩，大大提升了穴位按摩器按摩的精准度。

优选的，所述的穴位按摩器包括偏心轮、连接件、点穴磁头、固定套、滑动套和机壳。所述的偏心轮设于机壳内，并与机壳构成转动副，且由设于机壳内的驱动电机一驱动；所述连接件的一端与偏心轮的偏心位置处铰接，另一端与滑动套的一端铰接；所述的滑动套置于固定套内，并与固定套构成滑动副，且固定套固定于机壳内；所述点穴磁头的一端与滑动套的另一端构成转动副，另一端穿过机壳开设的开口，且点穴磁头由驱动电机二驱动转动。其中，驱动电机一和驱动电机二均由设于机壳上的控制板控制，并均由设于机壳内的电池供电；控制板与PC端通过无线通信；所述的控制板也由电池供电。

与现有技术相比，本发明具有的有益效果：

1、实现寸的实时长度计算：通过用户正坐的静态图片，结合Canny边缘检测算法以及遍历像素点方法可得到寸的转换比，再与动态人脸特征点定位方法相结合得到寸的实时长度。

2、将穴位定位实时化：通过寸的实时长度和动态人脸特征点定位方法可定位出脸部特定穴位以及脸部其它穴位，对所需的穴位进行实时定位，极大地提升了穴位定位的便捷性。

3、提升遮挡情况下的穴位定位精准度：通过MTCNN算法优化了遮挡情况下穴位定位不精准的问题，使得用户在按摩时穴位定位不发生偏移，提升了穴位定位精准度。

4、设计穴位按摩器用于代替双手进行按摩：设计了穴位按摩器，其配有点按和按揉两种按摩手法，用于对穴位进行相应的辅助按摩。

5、追踪匹配：将实时定位到的穴位与穴位按摩器中的点穴磁头进行三维坐标匹配，当两者三维坐标重合时，显示匹配正确，提升穴位按摩器按摩的精准度。

附图说明

图1为本发明的工作原理图。

图2为人体脸部穴位示意图。

图3为本发明计算寸的长度示意图。

图4为本发明的Canny边缘检测处理效果图。

图5为本发明的四个关键点提取示意图。

图6为本发明的动态人脸特征点定位效果图。

图7为本发明的寸的实时长度计算对比图。

图8为本发明的脸部特定穴位定位图。

图9为本发明的脸部其他穴位定位图。

图10为本发明与现有穴位定位算法在有遮挡时的定位效果对比图。

图11为本发明的穴位按摩器示意图。

具体实施方式

以下结合附图对本发明作进一步描述。

本发明旨在提供一种快速、准确、可以实时寻找脸部穴位的穴位定位方法，可以让针灸初学者或者寻常老百姓在家就可进行正确的穴位按摩。

本发明具体如下：

步骤一、在PC端构建有遮挡环境下的脸部穴位定位追踪算法模型，具体如下：中医表明，每个人在寻找穴位时所需要用到的寸的长度是不同的，需要根据不同的个体进行寸的精确计算。因此，首先采集用户在正坐目视前方时的静态图片，得到Ⅰ类样本；针对Ⅰ类样本，采用边缘检测算法进行脸部轮廓提取，得到脸部轮廓图片；针对脸部轮廓图片进行遍历像素点的操作，识别出所需的四个关键点，得到静态环境下的寸转换比；然后，采用计算机视觉算法构建脸部关键点拓展识别，得到动态人脸特征点定位；以中医骨度分寸法为基础，根据定位的动态人脸特征点得到四个关键点的实时三维坐标信息，根据寸转换比的计算得到用户的寸的实时长度；按照穴位是否在经络循行部位上，将脸部穴位分为脸部特定穴位和脸部其他穴位，并结合寸的实时长度获得无遮挡环境下的脸部穴位位置；最后，结合人脸分类器和边界框回归，对人脸识别进行层层候选窗口筛选，将定位的各动态人脸特征点框定在边界框之中，极大地减少部分遮挡对脸部穴位的定位影响，从而获得有遮挡环境下的穴位位置，提高在有遮挡环境下的寻穴精准度。

步骤二、通过摄像头获取用户脸部的实时画面，将检测到的实时画面传输给PC端进行呈现；用户选择需要定位的穴位，PC端根据该穴位的种类，按照步骤一构建的有遮挡环境下的脸部穴位定位追踪算法模型计算得到该穴位的实时位置；然后，移动穴位按摩器，移动过程中，摄像头将获取的穴位按摩器实时画面传输给PC端，PC端采用追踪算法对穴位按摩器的点穴磁头位置进行跟踪并在PC端进行呈现，当穴位按摩器的点穴磁头位置与PC端计算得到的穴位实时位置相匹配时，用户通过穴位按摩器对点穴磁头所在位置的穴位进行按摩。

如图1所示，PC端与穴位按摩器通过无线通讯；如图2所示，脸部具有众多的穴位，将这些穴位分为可通过脸部器官直接进行定位的脸部特定穴位和脸部其他穴位；如图3所示，获取用户正坐的静态图片，根据骨度分寸法定义眉心(印堂)至前发际正中的距离为3寸来进行穴位定位，由于每个人的寸的长度是不同的，并且在摄像头视野中寸的长度会随着摄像头镜片与人脸之间的距离变化而发生变化，但是无论人脸与摄像头的距离如何变化，人的前发际线正中到印堂的距离与两眉毛眉间的距离的比值是保持不变的，因此定义前发际线正中到印堂的距离与两眉毛眉间的距离的比值为寸转换比；采用Canny边缘检测算法从人像静态图片提取的脸部轮廓图片如图4所示；将提取到的脸部轮廓图片经遍历像素点的方式提取出的前发际线正中、印堂、左眉毛眉间、右眉毛眉间四个关键点的位置坐标信息，如图5所示；本发明的计算机视觉算法采用BlazePose算法，构建脸部关键点拓展识别，形成10个脸部关键点拓扑，其是基于维特鲁威人体理论得到人体边界盒的坐标位置信息，选取脸部关键点拓扑得到Ⅰ类模型，基于Ⅰ类模型提取出人体脸部其余468个人脸特征点，形成动态人脸特征点定位，其中部分人脸特征点与脸部器官相重合，如图6所示；如图7所示，本发明将寸转换比与动态人脸特征点定位相结合，得到寸的实时长度，通过图7中对比可以看到寸的距离在实时发生变化；如图8所示，对于脸部特定穴位，可通过动态人脸特征点定位直接得到，选定想要获取的穴位，即可在脸部进行实时显示；如图9所示，对于脸部其他穴位，需要将动态人脸特征点定位与寸的实时长度相结合，计算得到坐标位置后可在脸部进行该穴位的实时显示；如图10所示，在脸部有遮挡的情况下，现有的脸部穴位定位算法在进行实时定位时会发生偏移的现象，本发明将MTCNN算法与动态人脸特征点定位相结合，对图像前期脸部轮廓定位进行优化处理，通过人脸分类器和边界框回归对图像前期脸部轮廓的脸部特征点进行框定限制，减少人脸特征点偏移量，提升其基准点的定位精度，从而提升遮挡情况下的穴位定位精准度。

如图11所示，本发明设计的穴位按摩器，包括偏心轮2、连接件3、点穴磁头5、固定套6、滑动套7和机壳8。偏心轮2设于机壳8内，并与机壳8构成转动副，且由设于机壳8内的驱动电机一1

驱动；连接件3的一端与偏心轮2的偏心位置处铰接，另一端与滑动套7的一端铰接；滑动套7置于固定套6内，并与固定套6构成滑动副，且固定套6固定于机壳8内；点穴磁头5的一端与滑动套7的另一端构成转动副，另一端穿过机壳8开设的开口，且点穴磁头5由驱动电机二4驱动转动。其中，驱动电机一1和驱动电机二4均由设于机壳8上的控制板10控制，并均由设于机壳8内的电池9供电，且控制板10与PC端通过无线通信；控制板10也由电池9供电。

穴位按摩器可通过点按和按揉两种按摩方式来对穴位进行辅助按摩，解放人的双手。点按按摩时，首先将点穴磁头5对准目标穴位，然后控制板10控制驱动电机一1驱动偏心轮2转动，偏心轮2通过连接件3带动滑动套7往复移动，进而带动点穴磁头5往复移动，使得点穴磁头5对目标穴位重复进行点按，进而实现了模拟点按按摩手法的功能，直至完成点按按摩。其中，设置驱动电机一1的转速可设为0.2r/s，使得模拟的点按按摩手法均匀、柔和。按揉按摩时，首先将点穴磁头5对准目标穴位，然后控制板10控制驱动电机二4驱动点穴磁头5转动，同时控制板10控制驱动电机一1驱动偏心轮2间歇式转动，偏心轮2通过连接件3和滑动套7带动旋转的点穴磁头5间歇式往复移动，使得偏心轮2暂停转动时旋转的点穴磁头5按在目标穴位上，并对目标穴位进行揉动，进而使得点穴磁头5对目标穴位重复进行按揉，从而实现了模拟按揉按摩手法的功能，直至完成按摩。其中，设置驱动电机二4的转速可设为0.5r/s，并可设置驱动电机一1的转速为0.2r/s，且设置驱动电机一1每工作2.5s后暂停2s，使得点穴磁头5能够暂停在目标穴位位置对目标穴位进行充分按揉。