模板引导与数据驱动的三维碎骨分割与拼接方法

技术领域

本发明属于数字医疗领域，具体涉及一种模板引导与数据驱动的三维碎骨分割与拼接方法。

背景技术

随着数字医学的快速发展，数字化技术在外科手术中的应用越来越重要。三维碎骨模型提取碎骨并实现拼接修复作为计算机科学与生物医学交叉领域，是数字医学中一个特殊的应用，在计算机辅助三维术前规划中有重要作用。数字化三维术前规划能帮助医生有效克服视觉局限性，提高数据测量精确度，使诊断更加准确和高效。碎骨模型提取碎骨并实现拼接修复在术前规划中有迫切需求，它能帮助医生正确提取医学语义参数，精确规划手术范围，确定骨块截取位置和移动变量，制定碎骨复位方案等。

在骨折复位治疗中，医生为制定合适的手术方案、流程，提高碎骨复位精确度，减少诊断辐射次数与手术复位时长，需要先分割三维碎骨再修复碎骨。这两个问题不易处理，原因如下：

(1)骨折形态随机，碎骨会发生相互接触

(2)断裂边界的曲率有时也不显著

(3)碎骨拼接时，对于细小碎骨往往可以丢弃

(4)骨骼不仅有相对光滑的外表面，还包含形态复杂的松质骨

目前而言，现有的商业化软件自动化程度不高，相关方法不能较好支持这种随机断裂的碎骨分割和拼接。

碎骨修复涉及主要涉及形状分割和拼接两方面内容：碎骨提取外表面和提取碎骨标志点，需要对标记骨骼外表面和外表面上的标志点。碎骨外表面提取后，需要进一步分割相互接触的碎骨。碎骨分割后，需要通过刚体变换对碎骨调整位姿进行自动拼接。相关工作背景介绍如下。

步骤一：形状分割

三维模型分割目标是将模型分割成相互不相交的部分。若需要对各个分割部分进行语义标记，这种分割称之为语义分割。经典分割方法来源于二维图像分割研究，方法类型主要包括：区域增长、分水岭、迭代聚类、层次聚类、边缘分割等。这些方法特点如下：区域增长法是一种交互式算法，效率较高，但存在种子点和增长停止条件不易选择的问题；分水岭算法存在分割边界锯齿形状、过分割问题，往往需要边界光顺和分割区域合并等后处理操作；迭代聚类需要预先指定分割数量，对于三维模型的初始分割比较敏感；层次聚类是一种多分辨率的聚类分割方法；基于边缘方法试图找到分割边缘，但是边缘往往不易封闭。

近年来，相关学者对如何利用深度学习进行三维形状分割做了相关研究。这类方法通常训练深度神经网络进行三维分割和语义标记。也有通过无监督学习方法进行分割。根据多视图、点云、图、网格、体素等三维形状表示方式，对神经网络中的卷积、池化等相关操作进行了相关研究。面向人体组织的语义分割相对复杂，在训练数据有限前提下，通常先利用神经网络作初步分割，再利用传统方法，如利用图割法做修正。

骨骼分割方面，我们提出了一种基于模板分割健康骨骼的方法。该方法在提取少量特征点基础上，先对骨骼网格模型进行语义分割，然后对分割得到的模板，基于拉普拉斯变形进行非刚体配准，从而指导同类骨骼模型实现快速兼容性分割。

目前，面向三维碎骨的分割研究尚未见诸发表。经CT三维重建后，三维骨骼模型内部包含形态复杂的内部组织，碎骨相互接触的边界形态随机复杂，同时，分割过程还需要去除细小碎骨。因此，利用现有方法提取外表面并同时进行精准碎骨分割十分困难。

步骤二：碎片拼接

碎骨复位属于碎片拼接范畴，主要用于文物复原和碎骨复位。下面按照不同分类标准，具体介绍碎片拼接方法。按照碎片数量，碎片拼接可以分为一对一拼接和多对多拼接两类。多对多拼接研究着重于多与两个碎片拼接，碎片全局拼接是一个带约束的非线性组合优化问题。当碎骨数量较多时，搜索空间较大，搜索效率较低。现有全局拼接搜索方法包含贪心法、分支限界法等方法。其中，基于图的贪心搜索方法效果较好，但有时难以找到全局最优解，尤其在缺失碎片数量较多时，贪心搜索方法容易产生错误拼接；一对一拼接研究常用方法包括四点配准法、相关法、前向搜索法、随机一致性采样等，其中四点配准法效率较高。按照断裂边界不同可分为基于断裂线的复位和基于断裂面的复位。现有方法大都依据断裂面曲率变化特性识别断裂面，以断裂面或断裂面的子区域为拼接单元，对拼接单元进行刚体配准。按照是否利用模板，碎片拼接可分为有模板拼接与无模板拼接。文物碎片拼接主要基于文物碎片的几何特征。在碎骨复位研究中，部分工作基于重建模板进行碎骨复位，模板通常采用对侧骨模板。我们设计一种对位对线的粗隆间骨折碎骨复位方法。该方法较好解决了包含骨骼轴线成角约束的骨骼拼接问题，是一种无模板的碎骨拼接方法。

利用健康对侧骨外表面作为拼接模板，通过碎骨外表面与模板匹配，实现碎骨有效拼接。其中，关键问题在于构建碎骨外表面与模板的对应关系，尤其当碎骨面积较小或者碎骨外表面特征不显著时，对应关系计算十分不易。

发明内容

本发明的目的是针对现有技术存在的问题，提出一种模板引导与数据驱动的三维碎骨分割与拼接方法，充分利用特征将碎骨与对侧健康骨骼模板对齐匹配，通过“分割-拼接”循环迭代，由粗到精实现碎骨提取与碎骨拼接。

为实现上述技术目的，本发明采用的技术方案是：

一种模板引导与数据驱动的三维碎分割与拼接方法，包括以下步骤：

步骤1：利用Mimics与3-matic软件实现碎骨与对侧骨模板的三维重建与预处理,构建碎骨与模板的三维网格模型；

步骤2：将步骤1中得到的三维碎骨网格模型转换为点云模型，输入到PointNet++分割神经网络中，输出碎骨顶点内外表面概率；

步骤3：从步骤2中提取外表面概率范围在[0.9,1.0]的点，作为初步提取的碎骨外表面点云模型M；

步骤4：将步骤3中初步提取的碎骨外表面点云模型M转换为三角网格模型，通过连通性将完整的碎骨外表面模型进行初步碎骨分割，得到互不相连的碎骨碎片

步骤5：将对侧骨网格模型转换为点云模型,将步骤3中初步提取的碎骨外表面点云模型与对侧骨模板点云模型输入到PointNet++回归网络中计算得到模板特征f(N)和碎骨特征

步骤6：根据步骤5中得到的模板特征f(N)和碎骨特征

步骤7：对步骤6中碎骨

步骤8：根据步骤7中的配准结果，利用区域增长法对碎骨

步骤9：在步骤8的分割区域

本发明在步骤2和步骤5中所采用的PointNet++分割神经网络和PointNet++回归神经网络在结构上基本相同，具体阐述如下：

步骤2所述的PointNet++分割神经网络结构分为三个部分：首先特征提取部分由采样层、组合层和特征提取层构成，其次通过分层插值法传播特征，最后通过多层感知机提取特征。PointNet++分割神经网络的损失函数如式(1)所示：

H

式(1)中，y′

步骤5所述的PointNet++回归神经网络与步骤2中PointNet++分割神经网络主要区别在于采用的损失函数不同，PointNet++回归神经网络的损失函数如下述式(2)所示：

式(2)中，n，为网络输入模型采样点数，y′

本发明提出的是一种基于模板分割健康骨骼的方法，其难点在于步骤5中模板训练数据的生成。步骤5所述的PointNet++回归预测网络的模板训练数据生成方法如下：

为降低人工标注成本，本发明利用一种基于可变形模板生成训练数据，该方法通过模板的参数化变形生成大量带特征的训练数据。具体步骤如下：

S5.1先利用主成分分析法，构建参数化的健康骨骼形状统计模板；

S5.2然后取其平均模板(参数皆为零)作拉普拉斯嵌入(Laplacian Embedding)，即计算形状的拉普拉斯矩阵的特征值和特征向量；

S5.3按照特征值由小到大排序，取前30个特征值对应的特征向量，每个特征向量的维数等于模板骨骼的顶点数，从而生成每个顶点上的30维向量特征；

S5.4模板参数变形的模型拓扑一致，平均骨骼顶点上的向量特征映射到变形骨骼的对应顶点，最终形成训练数据。

对于步骤5中,本发明中PointNet++回归预测网络须利用完整骨骼数据进行训练,PointNet++网络对于完整骨骼预测特征较好。因此为提高特征预测准确度，本发明将所有碎骨外表面作为一个整体来预测特征，而不使用单个碎骨作为网络输入数据。

对于步骤8中分割区域

区域增长停止条件必须同时满足式(3)与式(4)。其中，式(3)是碎片边界局部曲率条件，式(4)是碎片边界与模板之间距离条件。

式(3)中，p

式(4)中，p

对于步骤9中循环迭代修复的终止条件给出如下的具体说明：

定义收敛阈值为δ，迭代过程中若达到碎骨分割的收敛条件如式(6)：

则分割充分收敛，退出迭代过程。该方法使得碎骨表面的特征回归精准度更高，同时提高模板匹配的精度，能进一步提高分割和拼接精度。

与现有技术相比，本发明的有益效果是：

1、本发明提高了医生骨折术前规划效率与自动化程度，减少术前规划时间，节约人力。对于对输入的碎骨三角网格模型，能自动提取碎骨外表面，并在骨骼断裂和碎骨块接触边界对碎骨进行分割，然后以每个碎骨外表面为单元进行碎骨拼接，完成骨折高效修复，从而有效提高骨折修复术前规划的自动化程度和效率；

2、本发明更加符合临床医学的要求，以此满足医生进行术前规划时的需求；

3、本发明给手术治疗提供有效的参考、模拟。

附图说明

图1为模板引导与数据驱动的三维碎分割与拼接方法的总体流程图；

图2为模板引导与数据驱动的三维碎分割与拼接方法的训练数据处理流程图；

图3为模板引导与数据驱动的三维碎分割与拼接方法分割流程图。其中，a为建模后的碎骨网格模型，b为的模板网格模型，c为分割后的碎骨外表面,d为碎片匹配结果；

图4为模板引导与数据驱动的三维碎分割与拼接方法的算法流程图；

图5为模板引导与数据驱动的三维碎分割与拼接方法的获取模板训练数据流程图。

具体实施方式

下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。

实施例

一种模板引导与数据驱动的三维碎骨分割与拼接方法，结合图1所示的流程图，包括以下步骤：

步骤1：结合图2所示的训练数据处理流程图，利用Mimics与3-matic软件实现碎骨与对侧骨模板的三维重建与预处理,构建碎骨与模板的三维网格模型(如图3中a所示)；

步骤2：将步骤1中得到的三维碎骨网格模型转换为点云模型，输入到PointNet++分割神经网络中，输出碎骨顶点内外表面概率；

步骤3：从步骤2中提取外表面概率范围在[0.9,1.0]的点，作为初步提取的碎骨外表面点云模型M；(如图3中c所示)；

步骤4：将步骤3中初步提取的碎骨外表面点云模型M转换为三角网格模型，通过连通性将完整的碎骨外表面模型进行初步碎骨分割，得到互不相连的碎骨碎片

步骤5：将对侧骨网格模型转换为点云模型(如图3中b所示),将步骤3中初步提取的碎骨外表面点云模型与对侧骨模板点云模型输入到PointNet++回归网络中计算得到模板特征f(N)和碎骨特征

步骤6：根据步骤5中得到的模板特征f(N)和碎骨特征

其中，基于形状统计模板的训练数据生成的具体步骤如下：

S6.1先利用主成分分析法，构建参数化的健康骨骼形状统计模板；

S6.2然后取其平均模板(参数皆为零)作拉普拉斯嵌入(Laplacian Embedding)，即计算形状的拉普拉斯矩阵的特征值和特征向量；

S6.3按照特征值由小到大排序，取前30个特征值对应的特征向量，每个特征向量的维数等于模板骨骼的顶点数，从而生成每个顶点上的30维向量特征；

S6.4模板参数变形的模型拓扑一致，平均骨骼顶点上的向量特征映射到变形骨骼的对应顶点，最终形成训练数据。

步骤7：对步骤6中碎骨

步骤8：根据步骤7中的配准结果，利用区域增长法对碎骨

其中，对于步骤8中区域增长必须满足如下条件：

区域增长停止条件必须同时满足式(3)与式(4)。其中，式(3)是碎片边界局部曲率条件，式(4)是碎片边界与模板之间距离条件。

式(3)中，p

式(4)中，p

步骤9：在步骤8的分割区域

其中，记收敛阈值为δ，如果迭代过程中达到碎骨分割的收敛条件如式(6)：

则说明分割充分收敛，退出迭代过程。

(如图3中d所示)给出本实施例的实施效果图，可以看出本发明所述的修复方法能够很好的满足医生进行术前规划的需求。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。