毛囊移植控制方法、装置、计算机设备和存储介质

技术领域

本申请涉及植发机器人技术领域，特别是涉及一种毛囊移植控制方法、装置、计算机设备和存储介质。

背景技术

毛发移植术是一种应用于显微外科手术的技术，通过取出部分健康的毛囊组织，经仔细加工培养后按照自然的头发生长方向移植于目标对象秃顶、脱发的部位。

目前，在进行毛发移植时，操作对象通过皮肤镜检测目标对象的头皮健康状况，了解皮表毛发的质量、直径、密度及其分布状况等，选择合适的供区位置、毛囊提取的数目、受区毛囊移植的数目及相应的手术器械等；然后，操作对象通过肉眼观察和经验判断并结合操作前规划，确定供区毛囊的方向和深度然后提取毛囊，确定受区毛囊的移植密度、角度和分布然后移植毛囊。上述毛囊检测、毛囊提取和毛囊移植所需的毛囊信息均在头皮表层获取，从皮表毛囊无法观察到皮下毛囊的深度信息和角度信息，在移植毛囊的时候，移植的深度、角度及位置由操作对象主观和经验判断，因此，在提取毛囊的时候容易损坏毛囊，从而造成毛囊提取的成功率较低，在移植毛囊时容易破坏内部未完全坏死的毛囊，移植毛囊的成功率因人而异。

发明内容

基于此，有必要针对上述技术问题，提供一种能够基于毛囊皮下特征，确定提取/移植的深度和角度，提高毛囊提取和移植的成功率的毛囊移植控制方法、装置、计算机设备和存储介质。

第一方面，本申请还提供了一种毛囊移植控制装置。所述装置包括：

超声影像获取模块，用于基于目标对象的头部双目图像中的移植区域，获取移植区域的超声影像；

皮表特征计算模块，用于确定移植区域中毛囊的皮表特征；皮表特征用于反映毛囊在皮肤表层的生长状态；

皮下特征计算模块，用于确定超声影像中毛囊的皮下特征；皮下特征用于反映毛囊在皮下组织的生长状态；

规划模块，用于根据皮表特征和皮下特征，确定移植区域中的待移植毛囊；

位姿计算模块，用于根据待移植毛囊的皮下特征以及目标皮表坐标，确定机械臂的末端执行器处理待移植毛囊所需的目标位姿，目标位姿用于指示末端执行器调整至目标位姿，并处理待移植毛囊。

在其中一个实施例中，超声影像获取模块还用于：根据移植区域的区域面积，以及机械臂的末端超声探头的扫描面积，确定末端超声探头在目标对象的头皮平面上的扫描路径；扫描路径包括多个扫描点；

根据平滑处理后的移植区域的三维点云数据，获取各扫描点在移植区域中对应位置的映射三维点云数据；

基于各扫描点对应的映射三维点云数据，确定末端超声探头扫描各扫描点对应的扫描位姿；

控制机械臂按照各扫描点对应的扫描位姿和头部扫描路径，获得移植区域的超声影像。

在其中一个实施例中，超声影像获取模块还用于：

基于当前扫描点对应的当前映射三维点云数据，以及移植区域中与当前映射三维点云数据相邻的三维点云数据，构建包含当前扫描点的平面；

根据平面的法向量，确定末端超声探头扫描当前扫描点时所需的目标扫描方向；

根据当前扫描点在目标对象的头皮平面的位置，以及目标扫描方向，确定末端超声探头扫描当前扫描点对应的扫描位姿。

在其中一个实施例中，皮表特征包括皮表毛囊宽度、皮表毛囊长度、皮表毛囊角度和皮表毛囊密度；皮表特征计算模块还用于：

检测头部双目图像中移植区域的皮表毛囊，得到移植区域中皮表毛囊的皮表坐标；皮表坐标包括皮表毛囊根部坐标和皮表毛囊顶部坐标；

基于当前皮表毛囊的皮表毛囊根部坐标和皮表毛囊顶部坐标，确定当前皮表毛囊的皮表毛囊宽度和皮表毛囊长度；

基于当前皮表毛囊的皮表毛囊根部坐标和皮表毛囊顶部坐标，确定当前皮表毛囊的皮表毛囊根部至皮表毛囊顶部的单位向量，以及当前皮表毛囊的皮表毛囊根部所在平面的单位法向量，基于单位向量和单位法向量之间的夹角，确定当前皮表毛囊的皮表毛囊角度；

基于移植区域的皮表毛囊总数以及移植区域的面积，确定皮表毛囊的皮表毛囊密度。

在其中一个实施例中，皮下特征计算模块还用于：

将移植区域划分为多个子区域，确定各子区域对应的超声影像中的参考毛囊、以及参考毛囊相应的皮下坐标和皮下特征；

将各子区域中参考毛囊对应的皮下特征，作为参考毛囊所在的子区域中各毛囊的皮下特征。

在其中一个实施例中，皮下特征包括皮下毛囊宽度、皮下毛囊长度、皮下毛囊角度、皮下毛囊密度和皮下软组织宽度，超声影像包括高频超声影像和低频超声影像；皮下特征计算模块还用于：

通过目标检测模型在各子区域对应的高频超声影像中检测各子区域的皮下毛囊，将各子区域中置信度最高的皮下毛囊作为各子区域的参考毛囊，并获取各子区域中参考毛囊的皮下坐标；皮下坐标包括皮下毛囊根部坐标和皮下毛囊顶部坐标；

基于当前子区域中当前参考毛囊的皮下毛囊根部坐标、皮下毛囊顶部坐标和高频超声影像的像素点在超声坐标系的尺度因子，确定当前参考毛囊的皮下毛囊宽度和皮下毛囊长度；

基于当前参考毛囊的皮下毛囊根部坐标和皮下毛囊顶部坐标，确定当前参考毛囊的皮下毛囊根部至皮下毛囊顶部之间的连线与目标对象的表皮层之间的夹角，并作为当前参考毛囊的皮下毛囊角度；

基于当前子区域对应的高频超声影像的超声切面中皮表毛囊总数以及超声切面的面积，确定当前子区域的皮下毛囊密度；

对当前子区域对应的低频超声影像进行皮肤层次的分割处理，获得不同位置下真皮层的掩膜区域，基于多个掩膜区域的宽度，确定当前参考毛囊的皮下软组织宽度。

在其中一个实施例中，皮下特征计算模块还用于：

基于待移植毛囊的皮下软组织宽度，确定待移植毛囊的目标移植深度；

基于待移植毛囊的皮下毛囊角度以及皮下坐标，确定待移植毛囊的目标生长方向向量；目标生长方向向量的方向为待移植毛囊的皮下毛囊根部指向皮下毛囊顶部；

根据末端执行器在目标对象的头皮平面上的第一运动向量和第二运动向量，确定目标生长方向向量在机械臂末端坐标系的映射向量；第一运动向量表征末端执行器沿垂直于目标对象的头皮平面的方向移动；第二运动向量表征末端执行器沿平行于目标对象的头皮平面的方向移动；

根据映射向量、目标移植深度和待移植毛囊的目标皮表坐标，确定末端执行器处理待移植毛囊所需的目标位姿。

第二方面，本申请提供了一种毛囊移植控制方法，所述方法包括：

基于目标对象的头部双目图像中的移植区域，获取移植区域的超声影像；

确定移植区域中毛囊的皮表特征；皮表特征用于反映毛囊在皮肤表层的生长状态；

确定超声影像中毛囊的皮下特征；皮下特征用于反映毛囊在皮下组织的生长状态；

根据皮表特征和皮下特征，确定移植区域中的待移植毛囊；

根据待移植毛囊的皮下特征以及目标皮表坐标，确定机械臂的末端执行器处理待移植毛囊所需的目标位姿，目标位姿用于指示末端执行器调整至目标位姿，并处理待移植毛囊。

在其中一个实施例中，基于目标对象的头部双目图像中的移植区域，获取移植区域的超声影像，包括：

根据移植区域的区域面积，以及机械臂的末端超声探头的扫描面积，确定末端超声探头在目标对象的头皮平面上的扫描路径；扫描路径包括多个扫描点；

根据平滑处理后的移植区域的三维点云数据，获取各扫描点在移植区域中对应位置的映射三维点云数据；

基于各扫描点对应的映射三维点云数据，确定末端超声探头扫描各扫描点对应的扫描位姿；

控制机械臂按照各扫描点对应的扫描位姿和头部扫描路径，获得移植区域的超声影像。

在其中一个实施例中，基于各扫描点对应的映射三维点云数据，确定末端超声探头扫描各扫描点对应的扫描位姿，包括：

基于当前扫描点对应的当前映射三维点云数据，以及移植区域中与当前映射三维点云数据相邻的三维点云数据，构建包含当前扫描点的平面；

根据平面的法向量，确定末端超声探头扫描当前扫描点时所需的目标扫描方向；

根据当前扫描点在目标对象的头皮平面的位置，以及目标扫描方向，确定末端超声探头扫描当前扫描点对应的扫描位姿。

在其中一个实施例中，皮表特征包括皮表毛囊宽度、皮表毛囊长度、皮表毛囊角度和皮表毛囊密度；确定移植区域中毛囊的皮表特征，包括：

检测头部双目图像中移植区域的皮表毛囊，得到移植区域中皮表毛囊的皮表坐标；皮表坐标包括皮表毛囊根部坐标和皮表毛囊顶部坐标；

基于当前皮表毛囊的皮表毛囊根部坐标和皮表毛囊顶部坐标，确定当前皮表毛囊的皮表毛囊宽度和皮表毛囊长度；

基于当前皮表毛囊的皮表毛囊根部坐标和皮表毛囊顶部坐标，确定当前皮表毛囊的皮表毛囊根部至皮表毛囊顶部的单位向量，以及当前皮表毛囊的皮表毛囊根部所在平面的单位法向量，基于单位向量和单位法向量之间的夹角，确定当前皮表毛囊的皮表毛囊角度；

基于移植区域的皮表毛囊总数以及移植区域的面积，确定皮表毛囊的皮表毛囊密度。

在其中一个实施例中，确定超声影像中毛囊的皮下特征，包括：

将移植区域划分为多个子区域，确定各子区域对应的超声影像中的参考毛囊、以及参考毛囊相应的皮下坐标和皮下特征；

将各子区域中参考毛囊对应的皮下特征，作为参考毛囊所在的子区域中各毛囊的皮下特征。

在其中一个实施例中，皮下特征包括皮下毛囊宽度、皮下毛囊长度、皮下毛囊角度、皮下毛囊密度和皮下软组织宽度，超声影像包括高频超声影像和低频超声影像；确定各子区域对应的超声影像中的参考毛囊、以及参考毛囊相应的皮下坐标和皮下特征，包括：

通过目标检测模型在各子区域对应的高频超声影像中检测各子区域的皮下毛囊，将各子区域中置信度最高的皮下毛囊作为各子区域的参考毛囊，并获取各子区域中参考毛囊的皮下坐标；皮下坐标包括皮下毛囊根部坐标和皮下毛囊顶部坐标；

基于当前子区域中当前参考毛囊的皮下毛囊根部坐标、皮下毛囊顶部坐标和高频超声影像的像素点在超声坐标系的尺度因子，确定当前参考毛囊的皮下毛囊宽度和皮下毛囊长度；

基于当前参考毛囊的皮下毛囊根部坐标和皮下毛囊顶部坐标，确定当前参考毛囊的皮下毛囊根部至皮下毛囊顶部之间的连线与目标对象的表皮层之间的夹角，并作为当前参考毛囊的皮下毛囊角度；

基于当前子区域对应的高频超声影像的超声切面中皮表毛囊总数以及超声切面的面积，确定当前子区域的皮下毛囊密度；

对当前子区域对应的低频超声影像进行皮肤层次的分割处理，获得不同位置下真皮层的掩膜区域，基于多个掩膜区域的宽度，确定当前参考毛囊的皮下软组织宽度。

在其中一个实施例中，根据待移植毛囊的皮下特征以及目标皮表坐标，确定机械臂的末端执行器处理待移植毛囊所需的目标位姿，包括：

基于待移植毛囊的皮下软组织宽度，确定待移植毛囊的目标移植深度；

基于待移植毛囊的皮下毛囊角度以及皮下坐标，确定待移植毛囊的目标生长方向向量；目标生长方向向量的方向为待移植毛囊的皮下毛囊根部指向皮下毛囊顶部；

根据末端执行器在目标对象的头皮平面上的第一运动向量和第二运动向量，确定目标生长方向向量在机械臂末端坐标系的映射向量；第一运动向量表征末端执行器沿垂直于目标对象的头皮平面的方向移动；第二运动向量表征末端执行器沿平行于目标对象的头皮平面的方向移动；

根据映射向量、目标移植深度和待移植毛囊的目标皮表坐标，确定末端执行器处理待移植毛囊所需的目标位姿。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：

确定移植区域中毛囊的皮表特征；皮表特征用于反映毛囊在皮肤表层的生长状态；

确定超声影像中毛囊的皮下特征；皮下特征用于反映毛囊在皮下组织的生长状态；

根据皮表特征和皮下特征，确定移植区域中的待移植毛囊；

根据待移植毛囊的皮下特征以及目标皮表坐标，确定机械臂的末端执行器处理待移植毛囊所需的目标位姿，目标位姿用于指示末端执行器调整至目标位姿，并处理待移植毛囊。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

确定移植区域中毛囊的皮表特征；皮表特征用于反映毛囊在皮肤表层的生长状态；

确定超声影像中毛囊的皮下特征；皮下特征用于反映毛囊在皮下组织的生长状态；

根据皮表特征和皮下特征，确定移植区域中的待移植毛囊；

根据待移植毛囊的皮下特征以及目标皮表坐标，确定机械臂的末端执行器处理待移植毛囊所需的目标位姿，目标位姿用于指示末端执行器调整至目标位姿，并处理待移植毛囊。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

确定移植区域中毛囊的皮表特征；皮表特征用于反映毛囊在皮肤表层的生长状态；

确定超声影像中毛囊的皮下特征；皮下特征用于反映毛囊在皮下组织的生长状态；

根据皮表特征和皮下特征，确定移植区域中的待移植毛囊；

根据待移植毛囊的皮下特征以及目标皮表坐标，确定机械臂的末端执行器处理待移植毛囊所需的目标位姿，目标位姿用于指示末端执行器调整至目标位姿，并处理待移植毛囊。

上述毛囊移植控制方法、装置、计算机设备和存储介质，基于超声影像获取毛囊的皮下特征，基于毛囊的皮上特征和皮下特征，确定移植区域中的待移植毛囊；根据待移植毛囊的皮下特征，确定皮下毛囊生长方向，根据皮下毛囊生长方向和待移植毛囊目标皮表坐标，确定机械臂的末端执行器处理待移植毛囊所需的目标位姿。可根据待移植毛囊的皮下特征、目标皮表坐标以及皮下毛囊生长方向，计算机器人提取和种植毛囊的目标位姿，可有效提高毛囊提取的成功率，保证毛囊的质量，实现精准定位；有效提高毛囊的种植成功率，并减少对目标对象已有毛囊的破坏。

附图说明

图1为一个实施例中毛囊移植控制装置的应用环境图；

图2为一个实施例中毛囊移植控制装置的结构框图；

图3为一个实施例中植发供区的示意图；

图4为一个实施例中植发受区的示意图；

图5为一个实施例中深度学习图像分割网络结构示意图；

图6为一个实施例中分割模型的训练和测试流程示意图；

图7为一个实施例中分割模型的分割推理流程示意图；

图8为一个实施例中植发供区和植发受区图像在目标对象的头皮平面的示意图；

图9为一个实施例中分割掩膜图像示意图；

图10为一个实施例中毛囊的皮表姿态和皮下姿态对比示意图；

图11为一个实施例中获取移植区域的超声影像的流程图；

图12为一个实施例中超声扫描路径示意图；

图13为一个实施例中机械臂自动采集超声影像的流程示意图；

图14为一个实施例中双目立体匹配及三维坐标计算流程图

图15为一个实施例中视差计算示意图；

图16为一个实施例中超声探头在移植区域中当前扫描点的目标扫描姿态示意图；

图17为一个实施例中确定移植区域中毛囊的皮表特征的流程图；

图18为一个实施例中为皮表毛囊检测流程图；

图19为一个实施例中皮表毛囊示意图；

图20为一个实施例中确定超声影像中毛囊的皮下特征的流程图；

图21为一个实施例中移植区域划分示意图；

图22为一个实施例中皮下毛囊示意图；

图23为一个实施例中超声影像皮肤层次及真皮层宽度计算示意图；

图24为一个实施例中确定机械臂的末端执行器处理待移植毛囊所需的目标位姿的流程图；

图25为一个实施例中皮下毛囊机械臂末端姿态示意图；

图26为一个实施例中机器人自动提取和种植毛囊的实现流程图；

图27为一个实施例中毛囊提取操作规划流程图；

图28为一个实施例中毛囊种植操作规划流程图；

图29为一个实施例中机械臂提取(种植)毛囊流程图；

图30为一个实施例中毛囊移植控制方法的流程示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的一种毛囊移植控制装置，可以应用于如图1所示的应用环境中。其中，植发机器人包括机器人底座101，工控机102(工控机封装在机器人底座内部，图中未示出)、机械臂103、显示屏104，超声设备105，机械臂103的末端执行器106和双目相机107等；其中末端执行器106包括：超声探头108、植发装置109、取发装置110。工控机102通过双目相机107获取目标对象的头部双目图像，头部双目图像包括移植区域，基于头部双目图像中的移植区域，规划超声探头108扫描植发受区的扫描路径和扫描姿态，并通过超声设备105对扫描数据进行处理，获得移植区域的超声影像，将超声影像传输至工控机102；工控机102确定移植区域中毛囊的皮表特征；皮表特征用于反映毛囊在皮肤表层的生长状态；确定超声影像中毛囊的皮下特征；皮下特征用于反映毛囊在皮下组织的生长状态；根据皮表特征和皮下特征，确定移植区域中的待移植毛囊；根据待移植毛囊的皮下特征以及目标皮表坐标，确定机械臂103的末端执行器106处理待移植毛囊所需的目标位姿，目标位姿用于指示末端执行器106调整至目标位姿，并处理待移植毛囊。其中，显示屏104对植发过程所需的数据和图像进行显示。

在一个实施例中，如图2所示，提供了一种毛囊移植控制装置。以该装置应用于图1中的植发机器人为例进行说明，包括：超声影像获取模块100、皮表特征计算模块200、皮下特征计算模块300、规划模块400和位姿计算模块500。

超声影像获取模块100，用于基于目标对象的头部双目图像中的移植区域，获取移植区域的超声影像。

其中，头部双目图像通过双目相机拍摄得到，通过分割模型或者图像特征提取，从头部双目图像中获取移植区域。移植区域包括植发供区和植发受区，植发供区的示意图如图3所示，植发供区提供待提取毛囊；植发受区的示意图如图4所示，植发受区提供毛囊种植位置。植发过程是在植发供区中确定待提取毛囊，并通过取发装置109提取待提取毛囊，通过植发装置110将提取成功的毛囊种植到植发受区中。

在一些实施例中，通过分割模型从头部双目图像中分割出移植区域。如图5所示，为医学图像常用的深度学习图像分割网络结构，形状近似于U型，左侧为编码器，底部为高阶特征，右侧为解码器。各层之间依靠跳跃连接进行联系，将灰度、边缘等低阶特征于高阶的语义信息融合起来进行学习。本实施例中，采用UNet网络结构应用在植发供区和植发受区的分割。

如图6所示，为植发供区和植发受区的分割模型的训练和测试流程，具体包括：收集数据，标注收集的数据，对收集的数据进行数据预处理，将预处理后的数据分为训练集和测试集，将训练集输入至训练模型(可以是UNet网络结构)，通过损失函数更新训练模型的参数，获得训练好的分割模型；使用测试集测试分割模型的性能，输出最终测试结果。

如图7所示，为植发供区和植发受区的分割推理流程，具体地，使用双目相机围绕目标对象的头部采集头部双目图像，将单张头部双目图像作为模型输入，对单张头部双目图像进行图像预处理，将预处理后的头部双目图像输入分割模型中，通过推理得到分割结果，获得完整的植发供区和植发受区图像和分割掩膜图像。其中，植发供区和植发受区图像在目标对象的头皮平面的示意图如图8所示，分割掩膜图像如图9所示，当植发供区和植发受区距离较近时，两个区域的分割掩膜图像可能位于同一张图像当中。

超声影像是通过机械臂末端装载的超声探头扫描获得，但是为获得毛囊比较清晰的影像，本实施例基于头部双目图像中的移植区域，规划超声探头扫描植发受区的扫描路径和扫描姿态。

可选地，超声影像获取模块100通过双目相机获取目标对象的头部双目图像，头部双目图像包括移植区域，通过分割模型从头部双目图像中分割出移植区域，基于移植区域，规划超声探头扫描植发受区的扫描路径和扫描姿态，并通过超声设备对扫描数据进行处理，获得移植区域的超声影像，将超声影像传输至工控机。

皮表特征计算模块200，用于确定移植区域中毛囊的皮表特征。

其中，皮表特征指的是毛囊在目标对象的头皮表层上的特征，用于反映毛囊在皮肤表层的生长状态，可以是皮表毛囊宽度、皮表毛囊长度、皮表毛囊角度和皮表毛囊密度等参数。

可选地，皮表特征计算模块200通过目标检测模型检测植发受区中毛囊在植发受区的皮表坐标，实现毛囊的精准定位，并通过皮表坐标、植发受区中毛囊总数与面积之间的关系等参数，确定移植区域中毛囊的皮表特征。

皮下特征计算模块300，用于确定超声影像中毛囊的皮下特征。

其中，双目视觉技术是无法获取毛囊的皮下特征，因此，本实施例通过超声影像获取毛囊的皮下特征。皮下特征指的是毛囊在目标对象的皮下组织中的特征，用于反映毛囊在皮下组织的生长状态，可以是皮下毛囊宽度、皮下毛囊长度、皮下毛囊角度、皮下毛囊密度和皮下软组织宽度等参数。

可选地，皮下特征计算模块300将头部双目图像与超声影像进行融合，得到头部双目图像中毛囊与超声影像中毛囊之间的匹配关系，并通过目标检测模型检测超声影像中毛囊在植发受区的皮下坐标，实现毛囊的精准定位，并通过皮下坐标、植发受区中毛囊总数与面积之间的关系等参数，确定移植区域中毛囊的皮表特征。

规划模块400，用于根据皮表特征和皮下特征，确定移植区域中的待移植毛囊。

其中，待移植毛囊是满足预设要求的皮表特征和皮下特征，以及提取或种植工艺要求的健康毛囊。待移植毛囊的选取可以通过将各毛囊的皮表特征和皮下特征输入至预先训练好的预测模型，根据预测模型对各毛囊进行分类，并确定符合要求的毛囊作为待移植毛囊。

可选地，规划模块400基于皮表特征和皮下特征设置分类要求，对各毛囊进行评选，将符合要求的毛囊作为待移植毛囊。

位姿计算模块500，用于根据待移植毛囊的皮下特征以及目标皮表坐标，确定机械臂的末端执行器处理待移植毛囊所需的目标位姿，目标位姿用于指示末端执行器调整至目标位姿，并处理待移植毛囊。

其中，如图10所述，为毛囊的皮表姿态和皮下姿态对比示意图，包括皮表毛囊生长方向及皮下毛囊生长方向，如果按照皮表毛囊的生长方向提取毛囊，容易截断皮下毛囊，导致毛囊提取失败，从而造成毛囊提取的成功率较低，因此，本实施例中，基于待移植毛囊的皮下特征确定皮下毛囊生长方向，根据皮下毛囊生长方向和待移植毛囊目标皮表坐标，确定机械臂的末端执行器处理待移植毛囊所需的目标位姿。

上述毛囊移植控制装置中，皮下特征计算模块300基于超声影像获取毛囊的皮下特征，规划模块400基于毛囊的皮上特征和皮下特征，确定移植区域中的待移植毛囊；位姿计算模块500根据待移植毛囊的皮下特征，确定皮下毛囊生长方向，根据皮下毛囊生长方向和待移植毛囊目标皮表坐标，确定机械臂的末端执行器处理待移植毛囊所需的目标位姿。可根据待移植毛囊的皮下特征、目标皮表坐标以及皮下毛囊生长方向，计算机器人提取和种植毛囊的目标位姿，可有效提高毛囊提取的成功率，保证毛囊的质量，实现精准定位；有效提高毛囊的种植成功率，并减少对目标对象已有毛囊的破坏。

在一个实施例中，如图11所示，超声影像获取模块100在基于目标对象的头部双目图像中的移植区域，获取移植区域的超声影像的过程，具体包括以下步骤：

步骤1102，根据移植区域的区域面积，以及机械臂的末端超声探头的扫描面积，确定末端超声探头在目标对象的头皮平面上的扫描路径。

其中，根据超声探头宽度和长度及移植区域的宽度和长度计算扫描条数并规划探头中心经过的扫描点，根据扫描点，确定扫描路径。如图12所示，为根据超声探头宽度和长度及移植区域的宽度和长度规划超声扫描路径示意图，机械臂控制超声探头在不同的扫描点获取超声影像。

可选地，如图13所示，超声影像获取模块100确定移植区域，包括通过深度学习分割算法获取植发供区和植发受区；计算移植区域的宽度和长度，根据超声探头宽度和长度及移植区域的宽度和长度计算扫描条数并规划探头中心经过的扫描点。

步骤1104，根据平滑处理后的移植区域的三维点云数据，获取各扫描点在移植区域中对应位置的映射三维点云数据。

其中，移植区域的三维点云数据通过双目立体匹配以及三维坐标计算得到，具体包括三维点云的三维坐标。如图14所示，为双目立体匹配及三维坐标计算流程图，主要包括：获取植发前准备中已完成相机标定得到相机内参外参；通过双目相机采集图像，获取左右视图；对左右视图进行立体矫正，具体为：对左右视图分别进行一次平面投影变换，使其对应极线在同一条水平向上，从而只存在水平方向上的视差，可以提高匹配的速度；对左右视图进行立体匹配，具体为：已知左视图上的一点，找到右视图对应的点，基于图15所示的视差计算示意图，计算两点X坐标的视差；计算三维点云坐标，根据相机内参和视差计算图像点对应的三维点云坐标，具体流程如下：

根据相机参数，得到以下投影矩阵Q：

其中，(C

则点P在以左相机的相机坐标系作为世界坐标系的三维点云坐标为(X

可选地，如图13所示，超声影像获取模块100采用上述计算三维点云数据的方法，获取扫描区域的三维点云数据；对获得的点云数据做平滑处理，去除噪点，获得与表面匹配的曲面，确定曲面中与各扫描点在移植区域中对应位置的映射三维点云数据。

步骤1106，基于各扫描点对应的映射三维点云数据，确定末端超声探头扫描各扫描点对应的扫描位姿。

其中，步骤1106具体包括以下步骤：

步骤1，基于当前扫描点对应的当前映射三维点云数据，以及移植区域中与当前映射三维点云数据相邻的三维点云数据，构建包含当前扫描点的平面。

步骤2，根据平面的法向量，确定末端超声探头扫描当前扫描点时所需的目标扫描方向。

其中，以当前扫描点附近两点确定当前扫描点所在头皮平面，超声探头的扫描方向与该平面的法向量的方向一致。如图16所示，为超声探头在移植区域中当前扫描点的目标扫描姿态示意图。

步骤3，根据当前扫描点在目标对象的头皮平面的位置，以及目标扫描方向，确定末端超声探头扫描当前扫描点对应的扫描位姿。

其中，由于超声探头在机械臂末端，且位置是固定的，所以可以通过计算机械臂末端的位姿可以实现对机器人的定位和扫描轨迹的导航引导，术前完成了手眼标定和探头标定工作，可以得到双目相机三维重建坐标系C与机械臂末端坐标系G的转换关系及机械臂末端坐标系G相对于机械臂基坐标系R的旋转矩阵

R

其中，

已知机械臂末端超声探头初始位置向量

首先计算出两个位姿之间的旋转轴

初始位姿

其中，四元数的通用表达为：q＝s+xi+yi+zk,s,x,y,z∈R；

通过四元数可以计算出欧拉角：

由q

通过以上计算方式，在已知机械臂末端超声探头初始点的位姿和扫描点的位姿的情况下，可以得到机械臂到扫描点的旋转变换矩阵和位移向量，实现该扫描点超声影像的获取。

步骤1108，控制机械臂按照各扫描点对应的扫描位姿和头部扫描路径，获得移植区域的超声影像。

可选地，如图13所示，植发机器人根据超声影像获取模块100计算得到的各扫描点对应的扫描位姿和头部扫描路径，控制机械臂按照规划好的扫描路径获取超声影像；对扫描得到的超声影像进行质量监测，防止耦合剂涂抹不均匀或异物干扰导致图像异常；保存超声影像。

本实施例中，超声影像获取模块100用于自动扫描采集毛囊的超声影像数据，减少人手抖动的干扰，保证超声图像的质量；采集超声数据时，实时监测图像质量并判断异常提出警示，防止耦合剂涂抹不均匀等造成图像质量问题。

在一个实施例中，皮表特征包括皮表毛囊宽度、皮表毛囊长度、皮表毛囊角度和皮表毛囊密度。如图17所示，皮表特征计算模块200在确定移植区域中毛囊的皮表特征的过程中，具体包括以下步骤：

步骤1702，检测头部双目图像中移植区域的皮表毛囊，得到移植区域中皮表毛囊的皮表坐标；皮表坐标包括皮表毛囊根部坐标和皮表毛囊顶部坐标。

其中，本实施例通过目标检测模型检测头部双目图像中移植区域的皮表毛囊。目标检测模型为深度学习目标检测常用的网络结构，作为一个经典的单阶段目标检测网络结构，具有极快的推理速度、不错的精度使得它在很多工程中成了目标检测算法的首选，本实施例中，YOLOV5网络结构应用在光学影像中皮表毛囊的检测和超声影像中皮下毛囊的检测。

如图18所示，为皮表毛囊检测流程，分别在采集的双目图像的左视图训练目标检测模型进行毛囊有无的检测，主要流程包括采集数据、数据标注、图像预处理、训练模型、测试模型，获得检测模型后，在术中通过推理在光学影像上训练的模型获取图像所有的皮表毛囊的检测框和置信度，方便后续计算皮表毛囊的特征和皮下毛囊的特征，包括毛囊宽度、长度、密度等特征信息并用于毛囊提取和种植的规划。

如19所示，为毛囊的皮表特征示意图，根据毛囊检测及三维点云计算可以得到毛囊根部和顶部的空间坐标，设毛囊根部坐标为P

可选地，皮表特征计算模块200通过目标检测模型对头部双目图像中移植区域的皮表毛囊进行有无检测，并得到移植区域中皮表毛囊的皮表毛囊根部坐标和皮表毛囊顶部坐标。

步骤1704，基于当前皮表毛囊的皮表毛囊根部坐标和皮表毛囊顶部坐标，确定当前皮表毛囊的皮表毛囊宽度和皮表毛囊长度。

其中，皮表毛囊宽度f

皮表毛囊长度f

步骤1706，基于当前皮表毛囊的皮表毛囊根部坐标和皮表毛囊顶部坐标，确定当前皮表毛囊的皮表毛囊根部至皮表毛囊顶部的单位向量，以及当前皮表毛囊的皮表毛囊根部所在平面的单位法向量，基于单位向量和单位法向量之间的夹角，确定当前皮表毛囊的皮表毛囊角度。

其中，皮表毛囊角度f

其中，如图19所示，

步骤1708，基于移植区域的皮表毛囊总数以及移植区域的面积，确定皮表毛囊的皮表毛囊密度。

其中，皮表毛囊密度f

本实施例中，皮表特征计算模块200通过目标检测模型对头部双目图像中移植区域的皮表毛囊进行有无检测，可有效筛选低活性毛囊，降低人为失误的风险。

在一个实施例中，由于获取每个毛囊的超声影像及逐个计算毛囊的特征耗时较长，很难做到实时性，从而有效的应用在植发规划中，因此，为解决上述问题，本实施例，划区域提取毛囊的皮下特征，以区域内超声影像中参考毛囊及其特征作为该区域内所有毛囊的皮下特征，保证植发过程中实时性的需求。具体的，如图20所示，皮下特征计算模块300在确定超声影像中毛囊的皮下特征的过程中，具体包括以下步骤：

步骤2002，将移植区域划分为多个子区域，确定各子区域对应的超声影像中的参考毛囊、以及参考毛囊相应的皮下坐标和皮下特征。

其中，移植区域划分示意图如图21所示，首先对分割的移植区域计算其外接直矩形框左上角坐标(x

/>

在一些实施例中，皮下特征包括皮下毛囊宽度、皮下毛囊长度、皮下毛囊角度、皮下毛囊密度和皮下软组织宽度，超声影像包括高频超声影像和低频超声影像；确定各子区域对应的超声影像中的参考毛囊、以及参考毛囊相应的皮下坐标和皮下特征，包括以下步骤：

步骤1，通过目标检测模型在各子区域对应的高频超声影像中检测各子区域的皮下毛囊，将各子区域中置信度最高的皮下毛囊作为各子区域的参考毛囊，并获取各子区域中参考毛囊的皮下坐标；皮下坐标包括皮下毛囊根部坐标和皮下毛囊顶部坐标。

其中，高频超声影像用于检测皮下毛囊，低频超声影像用于分割皮肤，获得皮下软组织宽度。本实施例通过目标检测模型检测高频超声影像中移植区域的皮下毛囊。目标检测模型可以采用YOLOV5网络结构应用在高频超声影像中皮下毛囊的检测。皮下毛囊检测流程如图18所示，分别在采集的高频超声影像上训练目标检测模型进行毛囊有无的检测，主要流程包括采集数据、数据标注、图像预处理、训练模型、测试模型，获得检测模型后，在术中通过推理在超声影像上训练的模型获取图像中所有皮下毛囊的检测框和置信度，方便后续计算皮表毛囊的特征和皮下毛囊的特征，包括毛囊宽度、长度、密度等特征信息并用于毛囊提取和种植的规划。

如图22所示，根据超声影像中毛囊的检测已知二维超声图像中皮下毛囊根部坐标

需要注意的是：二维超声图像是超声探头在当前扫描点所在的超声切面，其中，超声切面指的是超声探头垂直于目标对象的头皮表层扫描的平面，图22即为皮下毛囊在超声切面上的示意图。

步骤2，基于当前子区域中当前参考毛囊的皮下毛囊根部坐标、皮下毛囊顶部坐标和高频超声影像的像素点在超声坐标系的尺度因子，确定当前参考毛囊的皮下毛囊宽度和皮下毛囊长度。

其中，尺度因子是用于表针像素点在超声坐标系X轴和Y轴上的偏移。

皮下毛囊宽度F

皮下毛囊长度F

步骤3，基于当前参考毛囊的皮下毛囊根部坐标和皮下毛囊顶部坐标，确定当前参考毛囊的皮下毛囊根部至皮下毛囊顶部之间的连线与目标对象的表皮层之间的夹角，并作为当前参考毛囊的皮下毛囊角度。

其中，皮下毛囊角度指皮下毛囊和表皮层之间的夹角F

步骤4，基于当前子区域对应的高频超声影像的超声切面中皮表毛囊总数以及超声切面的面积，确定当前子区域的皮下毛囊密度。

其中，皮下毛囊密度为：

步骤5，对当前子区域对应的低频超声影像进行皮肤层次的分割处理，获得不同位置下真皮层的掩膜区域，基于多个掩膜区域的宽度，确定当前参考毛囊的皮下软组织宽度。

其中，可以通过分割模型对当前子区域对应的低频超声影像进行皮肤层次的分割处理，其中，分割模型的结构、训练流程、测试流程和推理流程与分割植发受区的步骤相同，在此不再累述。

如图23所示，为超声影像皮肤层次及真皮层宽度计算示意图，通过分割模型对采集的低频超声图像进行皮肤层次的分割，获取真皮层的掩膜区域。本实施例通过多点测量求平均值的方式计算皮下软组织宽度(图23中w

具体的，软组织宽度为：

步骤2004，将各子区域中参考毛囊对应的皮下特征，作为参考毛囊所在的子区域中各毛囊的皮下特征。

本实施例中，皮下特征计算模块300将移植区域划分为多个子区域，将各子区域内超声影像中参考毛囊及其特征作为各子区域内所有毛囊的皮下特征，保证植发过程中实时性的需求。

在一个实施例中，如图24所示，位姿计算模块500在根据待移植毛囊的皮下特征以及目标皮表坐标，确定机械臂的末端执行器处理待移植毛囊所需的目标位姿的过程中，具体包括以下步骤：

步骤2402，基于待移植毛囊的皮下软组织宽度，确定待移植毛囊的目标移植深度。

其中，目标移植深度指是提取或种植待移植毛囊时，机械臂的末端执行器的进针深度。目标移植深度与待移植毛囊的皮下软组织宽度之间存在映射关系，该映射关系可以通过实验测量或者数据仿真的方式获得。

步骤2404，基于待移植毛囊的皮下毛囊角度以及皮下坐标，确定待移植毛囊的目标生长方向向量；目标生长方向向量的方向为待移植毛囊的皮下毛囊根部指向皮下毛囊顶部。

其中，毛囊的皮下生长方向如图10所示。

可选地，工控机根据图22中所示的皮下毛囊角度以及皮下坐标，进行数学计算，确定待移植毛囊的皮下毛囊根部至皮下毛囊顶部的向量，并作为待移植毛囊的目标生长方向向量。

步骤2406，根据末端执行器在目标对象的头皮平面上的第一运动向量和第二运动向量，确定目标生长方向向量在机械臂末端坐标系的映射向量；第一运动向量表征末端执行器沿垂直于目标对象的头皮平面的方向移动；第二运动向量表征末端执行器沿平行于目标对象的头皮平面的方向移动。

其中，提取毛囊装置、种植毛囊装置、超声探头装置都属于机械臂末端执行装置，末端位姿转换关系的计算公式是相同的，因此，本实施例将超声探头在目标对象的头皮平面沿垂直于头皮平面的方向扫描时对应的姿态向量作为第一运动向量，将超声探头在目标对象的头皮平面沿平行于头皮平面的方向扫描时对应的姿态向量作为第二运动向量。

已知当前子区域超声图像中最清晰的毛囊根部坐标

联立以上两个表达式，可以计算出目标生长方向向量在机械臂末端坐标系G的映射向量

步骤2408，根据映射向量、目标移植深度和待移植毛囊的目标皮表坐标，确定末端执行器处理待移植毛囊所需的目标位姿。

其中，机械臂末端坐标系下的映射向量表征机械臂的末端执行器移植待移植毛囊时，末端执行器的目标姿态。在已知机械臂的末端执行器的目标姿态、目标进针深度以及待移植毛囊的目标皮表坐标后，根据运动学进行求解，可以得到末端执行器处理待移植毛囊所需的目标位姿以及末端执行器的进针深度，根据末端执行器的目标位姿和进针深度，控制机械臂的各关机运动，指示末端执行器调整至目标位姿，并按照进针深度处理待移植毛囊。

在一些实施例中，机器人自动提取和种植毛囊的实现流程图如图26所示，主要包括以下步骤：

操作前准备，主要包括：标记植发供区和植发受区，根据目标对象的实际情况规划提取毛囊数目、种植毛囊数目，相机标定、手眼标定、探头(针头)标定等准备。

采集双目影像，机械臂控制双目相机以固定路径环绕目标对象头部采集图像；

双目影像评估，包括双目立体匹配并计算三维坐标、分割植发供区和植发受区、利用深度学习目标检测算法检测毛囊及计算皮表毛囊特征、对植发供区和受区按照面积进行多个子区域划分；

采集超声影像，根据双目立体匹配得到的三维点云规划超声探头的扫描路径，机械臂按照规划采集超声影像，获取植发供区和植发受区的高频超声影像和低频超声影像；

超声影像评估，包括对植发供区和植发受区的高频超声影像数据进行毛囊有无检测、对低频超声影像进行皮肤层次的分割、计算皮下毛囊特征；

毛囊提取和种植规划，根据操作前规划、皮下毛囊特征及皮表毛囊的特征进行毛囊提取和种植的操作规划；

毛囊提取和种植，机械臂按照提取和种植规划执行毛囊提取和种植的操作；至此完成机器人自动提取和种植毛囊的整个实施流程。

在一些实施例中，毛囊提取操作规划流程如图27所示，首先操作对象会根据目标对象的需求设置相应的操作前规划，然后在提取毛囊前根据操作对象设定的操作前规划和已获得的植发供区皮表毛囊和皮下毛囊的相关特征信息，依次对植发供区的每个子区域根据区域面积规划当前子区域待提取毛囊的数目，并计算每个毛囊的坐标位置，同时计算当前区域置信度最高的皮下毛囊的生长方向，将其作为当前区域所有毛囊的机械臂末端提取姿态。

在一些实施例中，毛囊种植操作规划流程如图28所示，在种植毛囊前需要植发供区皮表毛囊的特征信息和植发受区面积规划毛囊种植的间隔，再依次对植发受区的每个子区域根据区域面积规划待种植毛囊的坐标位置，并以当前子区域的超声图像中检测到的未萎缩的毛囊的生长方向作为当前子区域所有毛囊的机械臂末端种植姿态。

在一些实施例中，机械臂提取(种植)毛囊流程图如图29所示，首先操作对象更换末端装置为取发(种发)装置，机械臂按规划移动到固定位置，获取待提取(种植)的毛囊位姿后会判断坐标是否合理，不合理放弃当前毛囊规划位置，合理然后计算机械臂从固定位置到待提取(种植)坐标的转换关系，也就是每个电机分别需要旋转的角度，控制机械臂执行提取(种植)毛囊操作，最后机械臂回归到固定位置，准备执行下一个毛囊的提取(种植)，直至规划好的所有毛囊都提取(种植)完成，机械臂归零。

本实施例中，根据毛囊的皮表特征、皮表坐标、皮下深度和走向，计算机器人提取毛囊的位姿和种植毛囊的位姿，实现毛囊的自动提取和自动种植，可以大幅度缩短手术的时间，减少操作对象疲劳。

在一个实施例中，提供一种毛囊移植控制装置在进行毛囊移植控制的过程中，具体包括以下步骤：

步骤1，根据移植区域的区域面积，以及机械臂的末端超声探头的扫描面积，确定末端超声探头在目标对象的头皮平面上的扫描路径；扫描路径包括多个扫描点；

步骤2，根据平滑处理后的移植区域的三维点云数据，获取各扫描点在移植区域中对应位置的映射三维点云数据；

步骤3，基于当前扫描点对应的当前映射三维点云数据，以及移植区域中与当前映射三维点云数据相邻的三维点云数据，构建包含当前扫描点的平面；

步骤4，根据平面的法向量，确定末端超声探头扫描当前扫描点时所需的目标扫描方向；

步骤5，根据当前扫描点在目标对象的头皮平面的位置，以及目标扫描方向，确定末端超声探头扫描当前扫描点对应的扫描位姿。

步骤6，控制机械臂按照各扫描点对应的扫描位姿和头部扫描路径，获得移植区域的超声影像。

步骤7，确定移植区域中毛囊的皮表特征；皮表特征用于反映毛囊在皮肤表层的生长状态；

步骤8，将移植区域划分为多个子区域，确定各子区域对应的超声影像中的参考毛囊、以及参考毛囊相应的皮下坐标和皮下特征；皮下特征用于反映毛囊在皮下组织的生长状态；

步骤9，将各子区域中参考毛囊对应的皮下特征，作为参考毛囊所在的子区域中各毛囊的皮下特征；

步骤10，根据皮表特征和皮下特征，确定移植区域中的待移植毛囊；

步骤11，基于待移植毛囊的皮下软组织宽度，确定待移植毛囊的目标移植深度；

步骤12，基于待移植毛囊的皮下毛囊角度以及皮下坐标，确定待移植毛囊的目标生长方向向量；目标生长方向向量的方向为待移植毛囊的皮下毛囊根部指向皮下毛囊顶部；

步骤13，根据末端执行器在目标对象的头皮平面上的第一运动向量和第二运动向量，确定目标生长方向向量在机械臂末端坐标系的映射向量；第一运动向量表征末端执行器沿垂直于目标对象的头皮平面的方向移动；第二运动向量表征末端执行器沿平行于目标对象的头皮平面的方向移动；

步骤14，根据映射向量、目标移植深度和待移植毛囊的目标皮表坐标，确定末端执行器处理待移植毛囊所需的目标位姿。

本实施例中，机器人自动扫描采集毛囊的超声影像数据，减少人手抖动的干扰，保证超声图像的质量；通过对目标对象头皮软组织测量，提供有效的毛囊提取和种植深度，提高毛囊提取和种植的成功率；解决了术中提取毛囊的定位问题，可有效提高毛囊提取的成功率，保证毛囊的质量，实现精准定位；解决了术中种植毛囊的定位问题，可有效提高毛囊的种植成功率，并减少对目标对象已有毛囊的破坏；全自动化智能植发机器人，可有效缩短植发的手术时间，减少操作对象疲劳。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

上述毛囊移植控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

基于同样的发明构思，本申请实施例还提供了一种应用于上述所涉及的毛囊移植控制装置的毛囊移植控制方法。该方法所提供的解决问题的实现方案与上述装置中所记载的实现方案相似，故下面所提供的一个或多个毛囊移植控制方法实施例中的具体限定可以参见上文中对于毛囊移植控制装置的限定，在此不再赘述。

本申请实施例提供的一种毛囊移植控制方法，可以应用于如图1所示的应用环境中。其中，植发机器人包括机器人底座101，工控机102(工控机封装在机器人底座内部，图中未示出)、机械臂103、显示屏104，超声设备105，机械臂103的末端执行器106和双目相机107等；其中末端执行器106包括：超声探头108、植发装置109、取发装置110。工控机102通过双目相机107获取目标对象的头部双目图像，头部双目图像包括移植区域，基于头部双目图像中的移植区域，规划超声探头108扫描植发受区的扫描路径和扫描姿态，并通过超声设备105对扫描数据进行处理，获得移植区域的超声影像，将超声影像传输至工控机102；工控机102确定移植区域中毛囊的皮表特征；皮表特征用于反映毛囊在皮肤表层的生长状态；确定超声影像中毛囊的皮下特征；皮下特征用于反映毛囊在皮下组织的生长状态；根据皮表特征和皮下特征，确定移植区域中的待移植毛囊；根据待移植毛囊的皮下特征以及目标皮表坐标，确定机械臂103的末端执行器106处理待移植毛囊所需的目标位姿，目标位姿用于指示末端执行器106调整至目标位姿，并处理待移植毛囊。其中，显示屏104对植发过程所需的数据和图像进行显示。

如图30所示，本申请还提供了一种毛囊移植控制方法，以该方法应用于图1中的工控机为例进行说明，包括以下步骤：

步骤3002，基于目标对象的头部双目图像中的移植区域，获取移植区域的超声影像。

其中，头部双目图像通过双目相机拍摄得到，通过分割模型或者图像特征提取，从头部双目图像中获取移植区域。移植区域包括植发供区和植发受区，植发供区的示意图如图3所示，植发供区提供待提取毛囊；植发受区的示意图如图4所示，植发受区提供毛囊种植位置。植发过程是在植发供区中确定待提取毛囊，并通过取发装置109提取待提取毛囊，通过植发装置110将提取成功的毛囊种植到植发受区中。

在一些实施例中，通过分割模型从头部双目图像中分割出移植区域。如图5所示，为医学图像常用的深度学习图像分割网络结构，形状近似于U型，左侧为编码器，底部为高阶特征，右侧为解码器。各层之间依靠跳跃连接进行联系，将灰度、边缘等低阶特征于高阶的语义信息融合起来进行学习。本实施例中，采用UNet网络结构应用在植发供区和植发受区的分割。

如图6所示，为植发供区和植发受区的分割模型的训练和测试流程，具体包括：收集数据，标注收集的数据，对收集的数据进行数据预处理，将预处理后的数据分为训练集和测试集，将训练集输入至训练模型(可以是UNet网络结构)，通过损失函数更新训练模型的参数，获得训练好的分割模型；使用测试集测试分割模型的性能，输出最终测试结果。

如图7所示，为植发供区和植发受区的分割推理流程，具体地，使用双目相机围绕目标对象的头部采集头部双目图像，将单张头部双目图像作为模型输入，对单张头部双目图像进行图像预处理，将预处理后的头部双目图像输入分割模型中，通过推理得到分割结果，获得完整的植发供区和植发受区图像和分割掩膜图像。其中，植发供区和植发受区图像在目标对象的头皮平面的示意图如图8所示，分割掩膜图像如图9所示，当植发供区和植发受区距离较近时，两个区域的分割掩膜图像可能位于同一张图像当中。

超声影像是通过机械臂末端装载的超声探头扫描获得，但是为获得毛囊比较清晰的影像，本实施例基于头部双目图像中的移植区域，规划超声探头扫描植发受区的扫描路径和扫描姿态。

可选地，工控机通过双目相机获取目标对象的头部双目图像，头部双目图像包括移植区域，通过分割模型从头部双目图像中分割出移植区域，基于移植区域，规划超声探头扫描植发受区的扫描路径和扫描姿态，并通过超声设备对扫描数据进行处理，获得移植区域的超声影像，将超声影像传输至工控机。

步骤3004，确定移植区域中毛囊的皮表特征。

其中，皮表特征指的是毛囊在目标对象的头皮表层上的特征，用于反映毛囊在皮肤表层的生长状态，可以是皮表毛囊宽度、皮表毛囊长度、皮表毛囊角度和皮表毛囊密度等参数。

可选地，工控机通过目标检测模型检测植发受区中毛囊在植发受区的皮表坐标，实现毛囊的精准定位，并通过皮表坐标、植发受区中毛囊总数与面积之间的关系等参数，确定移植区域中毛囊的皮表特征。

步骤206，确定超声影像中毛囊的皮下特征。

其中，双目视觉技术是无法获取毛囊的皮下特征，因此，本实施例通过超声影像获取毛囊的皮下特征。皮下特征指的是毛囊在目标对象的皮下组织中的特征，用于反映毛囊在皮下组织的生长状态，可以是皮下毛囊宽度、皮下毛囊长度、皮下毛囊角度、皮下毛囊密度和皮下软组织宽度等参数。

可选地，工控机将头部双目图像与超声影像进行融合，得到头部双目图像中毛囊与超声影像中毛囊之间的匹配关系，并通过目标检测模型检测超声影像中毛囊在植发受区的皮下坐标，实现毛囊的精准定位，并通过皮下坐标、植发受区中毛囊总数与面积之间的关系等参数，确定移植区域中毛囊的皮表特征。

步骤208，根据皮表特征和皮下特征，确定移植区域中的待移植毛囊。

其中，待移植毛囊是满足预设要求的皮表特征和皮下特征，以及提取或种植工艺要求的健康毛囊。待移植毛囊的选取可以通过将各毛囊的皮表特征和皮下特征输入至预先训练好的预测模型，根据预测模型对各毛囊进行分类，并确定符合要求的毛囊作为待移植毛囊。

可选地，工控机基于皮表特征和皮下特征设置分类要求，对各毛囊进行评选，将符合要求的毛囊作为待移植毛囊。

步骤3010，根据待移植毛囊的皮下特征以及目标皮表坐标，确定机械臂的末端执行器处理待移植毛囊所需的目标位姿，目标位姿用于指示末端执行器调整至目标位姿，并处理待移植毛囊。

其中，如图10所述，为毛囊的皮表姿态和皮下姿态对比示意图，包括皮表毛囊生长方向及皮下毛囊生长方向，如果按照皮表毛囊的生长方向提取毛囊，容易截断皮下毛囊，导致毛囊提取失败，从而造成毛囊提取的成功率较低，因此，本实施例中，基于待移植毛囊的皮下特征确定皮下毛囊生长方向，根据皮下毛囊生长方向和待移植毛囊目标皮表坐标，确定机械臂的末端执行器处理待移植毛囊所需的目标位姿。

上述毛囊移植控制方法中，基于超声影像获取毛囊的皮下特征，基于毛囊的皮上特征和皮下特征，确定移植区域中的待移植毛囊；根据待移植毛囊的皮下特征，确定皮下毛囊生长方向，根据皮下毛囊生长方向和待移植毛囊目标皮表坐标，确定机械臂的末端执行器处理待移植毛囊所需的目标位姿。可根据待移植毛囊的皮下特征、目标皮表坐标以及皮下毛囊生长方向，计算机器人提取和种植毛囊的目标位姿，可有效提高毛囊提取的成功率，保证毛囊的质量，实现精准定位；有效提高毛囊的种植成功率，并减少对目标对象已有毛囊的破坏。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive RandomAccess Memory，MRAM)、铁电存储器(Ferroelectric RandomAccess Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(RandomAccess Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static RandomAccess Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccessMemory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。