一种配准方法及系统

技术领域

本公开涉及医疗器械领域，具体涉及一种配准方法及系统。

背景技术

现有技术中，使用骨钉配准，精度较好，但是骨钉的植入给患者带来了额外的创伤，尤其是婴幼儿的颅骨发育不全，普通的骨钉配准技术无法正常进行；使用表面特征点配准，虽然减少了创伤，但是因为特征点是皮肤表面的特征点，容易受到表面皮肤变形的影响，精度较差；使用现有的激光点云注册配准，提高了特征点采集的数量，但激光点采集的时间稍长，并且会受到皮肤表面变形的影响，值得一提的是，现有的激光点云注册配准，主要采集面部的特征点，例如额头，眼角，鼻尖及其附近的点云，不采集没有特征点的部位，例如后脑，头顶部等，因而在这些位置的配准会出现加大误差、精度下降等问题。因此，现有技术中亟需一种对头部多角度全方位采集数据、配准速度快、精度高的配准方法。

发明内容

针对现有技术中的上述技术问题，本公开实施例提出了一种配准方法及系统，能够解决现有技术中存在的无法多角度采集数据、配准速度慢和精度差等问题。

本公开实施例的第一方面提供了一种配准方法，包括：

根据医学影像数据建立头部的三维模型，并基于所述三维模型获得影像点云；

通过获取三维面部特征点确定参考匹配关系；

确定点云采集位并采集头部点云，将采集到的所述头部点云拼接得到拼接头部点云；

基于所述参考匹配关系实现所述拼接头部点云与所述影像点云的配准。

在一些实施例中，所述通过获取三维面部特征点确定参考匹配关系具体包括：

通过将获取到的第一三维面部特征点和第二三维面部特征点匹配，确定所述参考匹配关系。

在一些实施例中，获取第一三维面部特征点具体包括：

使用与机械臂连接的HoloShot模块对面部拍照，获得二维面部照片；

使用预训练过的第一深度学习模型识别所述二维面部照片，提取二维面部结构特征点；

使用所述HoloShot模块扫描面部，并根据所述二维面部结构特征点确定所述第一三维面部特征点。

在一些实施例中，获取第一三维面部特征点具体包括：

通过预训练过的第二深度学习模型识别所述三维模型，获取结构特征图；

使用与机械臂连接的HoloShot模块投射所述结构特征图，并通过拖拽所述机械臂，使得所述特征简化图与实际面部相匹配；

使用所述HoloShot模块扫描面部，并根据所述结构特征图确定所述第一三维面部特征点。

在一些实施例中，使用所述HoloShot模块扫描面部具体包括：使用所述HoloShot模块在预设工作距离内扫描面部。

在一些实施例中，获取第二三维面部特征点具体包括：所述从所述三维模型上获取所述第二三维面部特征点。

在一些实施例中，所述点云采集位覆盖整个头部；所述拼接头部点云涵盖所有点云采集位采集的头部点云。

在一些实施例中，基于所述三维模型获得影像点云具体包括：建立所述三维模型的外接球，在所述外接球的球面均匀采样得到球面点，计算得到所述球面点和球心点的连线与所述三维模型相交的第一个表面点，所述第一个表面点即为所述影像点云。

在一些实施例中，所述确定点云采集位具体包括：获取HoloShot模块的球面成像角度，将360°与所述成像角度做商运算，将得到的结果向上取整数，所述整数为所述点云采集位的个数；根据所述点云采集位的个数确定所述HoloShot模块每次采集头部点云的运动角度间隔；根据所述运动角度间隔确定所述点云采集位。

本公开实施例的第二方面提供了一种配准系统，包括：

至少有三个运动维度的机械臂、HoloShot模块和主机；

其中所述主机包括：

影像点云获取模块，用于根据医学影像数据建立头部的三维模型，并基于所述三维模型获得影像点云；

参考匹配关系确定模块，用于通过获取三维面部特征点确定参考匹配关系；

头部点云获取模块，用于确定点云采集位并采集头部点云，将采集到的所述头部点云拼接得到拼接头部点云；

配准模块，用于基于所述参考匹配关系实现所述拼接头部点云与所述影像点云的配准。

本公开实施例的第三方面提供了一种电子设备，包括：

存储器以及一个或多个处理器；

其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前述各实施例所述的方法。

本公开实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前述各实施例所述的方法。

本公开实施例的第五方面提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，可用来实现如前述各实施例所述的方法。

本公开实施例的有益效果是：通过本公开提出的配准方法及系统，通过获取三维面部特征点确定参考匹配关系，并基于此关系实现通过点云采集位获取的拼接头部点云与影像点云的配准，实现对于头部数据的多角度、全方位的采集，而且配准速度快、精准度高，在数据精度和压缩手术时间方面有大幅度提高。

附图说明

通过参考附图会更加清楚的理解本公开的特征和优点，附图是示意性的而不应理解为对本公开进行任何限制，在附图中：

图1是根据本公开的一些实施例所示的一种配准方法的流程图；

图2是根据本公开的一些实施例所示的一种配准系统结构框图；

图3是根据本公开的一些实施例所示的配准系统中主机的结构框图；

图4是根据本公开的一些实施例所示的一种电子设备的结构示意图。

具体实施方式

在下面的详细描述中，通过示例阐述了本公开的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本公开显而易见的可以在没有这些细节的情况下实施。应当理解的是，本公开中使用“系统”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。

应当理解的是，当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本公开所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。

本公开所用术语仅为了描述特定实施例，而非限制本公开范围。如本公开说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。

参看下面的说明以及附图，本公开的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本公开的保护范围。可以理解的是，附图并非按比例绘制。

本公开中使用了多种结构图用来说明根据本公开的实施例的各种变形。应当理解的是，前面或下面的结构并不是用来限定本公开。本公开的保护范围以权利要求为准。

现有技术中，使用骨钉配准，精度较好，但是骨钉的植入给患者带来了额外的创伤，尤其是婴幼儿的颅骨发育不全，普通的骨钉配准技术无法正常进行；使用表面特征点配准，虽然减少了创伤，但是因为特征点是皮肤表面的特征点，容易受到表面皮肤变形的影响，精度较差；使用现有的激光点云注册配准，提高了特征点采集的数量，但激光点采集的时间稍长，并且会受到皮肤表面变形的影响，值得一提的是，现有的激光点云注册配准，主要采集面部的特征点，例如额头，眼角，鼻尖及其附近的点云，不采集没有特征点的部位，例如后脑，头顶部等，因而在这些位置的配准会出现加大误差、精度下降等问题。因此，现有技术中亟需一种对头部多角度全方位采集数据、配准速度快、精度高的配准方法。如图1所示，本公开实施例公开了一种配准方法，具体包括：

S101、根据医学影像数据建立头部的三维模型，并基于所述三维模型获得影像点云；

S102、通过获取三维面部特征点确定参考匹配关系；

S103、确定点云采集位并采集头部点云，将采集到的所述头部点云拼接得到拼接头部点云；

S104、基于所述参考匹配关系实现所述拼接头部点云与所述影像点云的配准。

在一些实施例中，所述通过获取三维面部特征点确定参考匹配关系具体包括：

通过将获取到的第一三维面部特征点和从所述三维模型上获取到的第二三维面部特征点匹配，确定所述参考匹配关系。

在本公开实施例中，可通过多种方法获取第一三维面部特征点。

在一些实施例中，获取第一三维面部特征点的方法具体包括：

使用与机械臂连接的HoloShot模块对面部拍照，获得二维面部照片；

使用预训练过的第一深度学习模型识别所述二维面部照片，提取二维面部结构特征点；

使用所述HoloShot模块三维扫描面部，并根据所述二维面部结构特征点确定所述第一三维面部特征点。

进一步地，使用与机械臂连接的HoloShot模块对面部拍照之前还包括：

使用与机械臂连接的HoloShot模块投射圆形光斑团至面部；

拖拽所述机械臂到达所述圆形光斑团覆盖的面部位置；

相应地，使用与机械臂连接的HoloShot模块对面部拍照具体包括：

HoloShot模块对圆形光斑团覆盖的面部拍照。

进一步地，与机械臂连接的HoloShot模块，具有最佳的使用距离和范围，投射圆形光斑团的目的是为了找到合适的距离以及面部的大致朝向。

在另一些实施例中，获取第一三维面部特征点的方法具体包括：

通过预训练过的第二深度学习模型识别所述三维模型，获取结构特征图；

使用与机械臂连接的HoloShot模块投射所述结构特征图，并通过拖拽所述机械臂，使得所述特征简化图与实际面部相匹配；

使用所述HoloShot模块三维扫描面部，并根据所述结构特征图确定所述第一三维面部特征点。

其中，所述结构特征图可以是结构特征简化图，即只包括眼睛、鼻子、嘴巴或者耳朵中的一个面部特征点；还可以是结构特征细化图，即包括眼睛、鼻子、嘴巴和耳朵在内的所有面部特征点。

进一步地，所述结构特征图可以通过第二深度学习模型直接获取，还可一通过第二深度学习模型获取面部结构特征点，根据面部结构特征点勾勒出结构特征简化图。

进一步地，使用所述HoloShot模块三维扫描面部，所述HoloShot模块在预设工作距离内扫描面部，得到三维面部图像。

在一些实施例中，在获取第一三维面部特征点的同时，还会获取所述HoloShot模块在不同位置所围绕的中心位置。因为HoloShot模块获取点云的范围是有限的，如果只得到一个轴线，有可能会偏移到脖子等不适合位置，导致无法拍到整个头部，所以需要这个中心位置大致与提取影像点云的中心一致或者相接近。

在本公开实施例中，确定参考匹配关系后，能够获得比较精准的人脸面部朝向，继而确定点云采集位并采集头部点云。

进一步地，在本公开实施例中，通过获取拼接头部点云和影像点云之间以及面部朝向，基于参考匹配关系可以完成匹配，相较于现有技术可以显著减少配准的计算量。

在一些实施例中，所述点云采集位覆盖整个头部或者只覆盖部分头部；所述拼接头部点云涵盖所有点云采集位采集的头部点云。优选地，点云采集位覆盖整个头部。

在一些实施例中，参考匹配关系通常包括旋转部分和平移部分；其中，三维坐标系之间的转换可以有矩阵，四元数，轴角，欧拉角等表达方式。

在一些实施例中，基于所述三维模型获得影像点云具体包括：通过图像分割技术提取所述三维模型上的皮肤部分，然后将所述皮肤部分转换成所述影像点云。

在另一些实施例中，基于所述三维模型获得影像点云具体包括：建立所述三维模型的外接球，在所述外接球的球面均匀采样得到球面点，计算得到所述球面点和球心点的连线与所述三维模型相交的第一个表面点，所述第一个表面点即为所述影像点云。

在一些实施例中，获取HoloShot模块的球面成像角度，将360°与所述成像角度做商运算，将得到的结果向上取整数，所述整数为所述点云采集位的个数；根据所述点云采集位的个数确定所述HoloShot模块每次采集头部点云的运动角度间隔；根据所述运动角度间隔确定所述点云采集位。

一般地，点云采集位的确定会受到机械臂运动空间限制的影响。

优选地，所述点云采集位的个数至少为5个。

在一些实施例中，在所述点云采集位上采集点云，并将采集到的所有点云拼接，获得完整的头部点云具体包括：依次在所述点云采集位拍摄，获得不同角度的点云，并以机械臂所在的坐标系统一叠加，获得整个头部的头部点云。

例如，假设HoloShot模块的球面成像角度为80°，点云采集位的个数n＝360°/80°＝4.5，选择n＝5，则HoloShot模块每次的运动间隔为72°角，从起始位置出发，对头部进行五次拍摄，获得不同角度的头部点云，以机械臂所在的坐标系进行统一叠加，获得整个头部的头部点云。

在一些实施例中，所述方法还包括：获取所述HoloShot模块在不同位置所围绕的中心位置；由于HoloShot模块获取点云的范围是有限的，如果只有一个轴线，有可能会偏离原定点云采集位而拍摄脖子或者拍不到整个头部，所以需要多个中心位置和提取影像点云的中心一致或者相接近。

在一些实施例中，所述医学影像数据包括但不限于磁共振成像、CT、X光、PET中的一种或多种；

具体地，使用磁共振和CT采集到的医学影像数据建立混合的三维模型；进一步地，根据影像点云使用预训练过的深度学习模型对三维模型分析，得到面部结构特征点，勾勒出特征简化图(主要包括鼻子、眼睛和嘴巴)；使用HoloShot模块将特征简化图的线条投影出来，拖拽机械臂末端使得投影的特征简化图与面部重叠，获得面部朝向。

在一些实施例中，还进一步公开了第一深度学习模型训练方法，具体包括：

将二维面部照片及对应的标注信息作为样本数据输入第一深度学习模型；

使所述第一深度学习模型使用所述样本数据进行训练，识别所述二维面部照片的二维面部结构特征点；

根据所述二维面部结构特征点建立所述二维面部照片与所述标注信息的关联模型，得到训练后的第一深度学习模型。

在一些实施例中，还进一步公开了第二深度学习模型训练方法，具体包括：

将三维模型及对应的标注信息作为样本数据输入第二深度学习模型；

使所述第二深度学习模型使用所述样本数据进行训练，识别所述三维模型的面部结构特征点；

根据所述三维模型的面部结构特征点建立所述三维模型与所述标注信息的关联模型，得到训练后的第二深度学习模型。

通过本公开提出的配准方法，不仅能够确定参考匹配关系，还分配了采样位置，实现对于头部数据的多角度、全方位的采集，而且配准速度快、精准度高，在数据精度和压缩手术时间方面有大幅度提高。

在本公开的实施例中，配准方法的实现需要手术机器人配合实现。其中，手术机器人至少包括主机、机械臂和HoloShot模块；HoloShot模块可以是独立的，也可以是可拆卸连接机械臂的，还可以是集成在机械臂中的；若HoloShot模块与机械臂可拆卸连接，则HoloShot模块与机械臂的相对位置确定，位于机械臂的末端。

在一些实施例中，HoloShot模块为点云采集模块；该点云采集模块具体为结构光扫描仪；更具体地，结构光扫描仪包括投影仪和摄像机。

在一些实施例中，拖拽机械臂可以通过人工手动实现，也可以通过向相关的执行装置发送执行指令实现。

基于此，如图2所示，本公开实施例还进一步公开了一种配准系统200，具体包括:

机械臂201，所述机械臂含有多个关节，至少有三个运动维度；

HoloShot模块202，所述HoloShot模块包含结构光投影模块和摄像模块；

主机203，所述主机含有存储器和处理器，所述处理器加载了程序，所述程序能执行前述各个实施例中所述的方法。

其中，所述主机203加载了影像点云获取模块2031，参考匹配关系确定模块2032，头部点云获取模块2033，配准模块2034，具体如图3所示。

影像点云获取模块2031，用于根据医学影像数据建立头部的三维模型，并基于所述三维模型获得影像点云；

参考匹配关系确定模块2032，用于通过获取三维面部特征点确定参考匹配关系；

头部点云获取模块2033，用于确定点云采集位并采集头部点云，将采集到的所述头部点云拼接得到拼接头部点云；

配准模块2034，用于基于所述参考匹配关系实现所述拼接头部点云与所述影像点云的配准。

具体地，术前获取病人的医学影响数据(包括MRI和CT图像)，建立一个或多个三维模型；多个三维模型可以单独使用，也可以融合建立复合三维模型供后续使用。

拖动机械臂运动到一个初步的合适位置(一般是距离头部50公分左右的位置)，系统显示头部均位于显示器的限制范围内即可；选取垂直或接近于面部的位置，通过扫描仪识别面部的眼睛和鼻子等面部特征点，在确定参考匹配关系后获取面部的朝向，然后以面部朝向为基准，规划机械臂的运动路径。

确定在点云采集位后，根据点云采集位规划机械臂运动轨迹，在各个点云采集位上采集头部点云，并将头部点云统一到机械臂坐标系中，得到拼接后的拼接头部点云。

最后将拼接头部点云和影像点云进行配准，并进一步的获取目标空间(头部)与三维模型之间的高精度转换关系。

参考附图4，为本公开一个实施例提供的电子设备示意图。其中，该电子设备300包括：

存储器330以及一个或多个处理器310；

其中，所述存储器330与所述一个或多个处理器310通信连接，所述存储器330中存储有可被所述一个或多个处理器执行的指令332，所述指令332被所述一个或多个处理器310执行，以使所述一个或多个处理器310执行本公开前述实施例中的方法。

具体地，处理器310和存储器330可以通过总线或者其他方式连接，图3中以通过总线340连接为例。处理器310可以为中央处理器(Central Processing Unit，CPU)和/或图形处理器。图形处理器(Graphics Processing Unit，GPU)。处理器310还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器330作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器310通过运行存储在存储器330中的非暂态软件程序、指令以及模块332，从而执行处理器的各种功能应用以及数据处理。

存储器330可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器310所创建的数据等。此外，存储器330可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器330可选包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络(比如通过通信接口320)连接至处理器310。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本公开的一个实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被执行后执行本公开前述实施例中的方法。

前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可移动介质。计算机可读取存储介质具体包括，但不限于，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光(Blue-Ray)或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。

尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的，但本领域技术人员可以认识到，还可结合其他类型的程序模块来执行其他实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解，此处所述的本主题可以使用其他计算机系统配置来实践，包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等，也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备的两者中。

本领域普通技术人员可以意识到，结合本文中所本公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。

综上所述，本公开提出了一种配准方法、系统、电子设备及其计算机可读存储介质。通过本公开提出的配准方法，不仅能够确定参考匹配关系，还分配了采样位置，实现对于头部数据的多角度、全方位的采集，而且配准速度快、精准度高，在数据精度和压缩手术时间方面有大幅度提高。

应当理解的是，本公开的上述具体实施方式仅仅用于示例性说明或解释本公开的原理，而不构成对本公开的限制。因此，在不偏离本公开的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。此外，本公开所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。