一种高稳定性的脊柱超声与X光图像配准方法

技术领域

本申请属于医学图像处理技术领域，具体涉及一种高稳定性的脊柱超声与X光图像配准方法。

背景技术

目前，在脊柱侧弯检测中，临床上带有Cobb角测量的站立X光片是评估脊柱侧弯的黄金标准。曲线进展的监测通常涉及整个儿童和青少年时期的常规X光扫描。然而，重复暴露于X光片的辐射会对身体产生影响。与X光照相术相比，超声具有无辐射、实时和低成本的优势。在筛查大量患者、监测进展和评估治疗效果方面很有前景。然而，由于超声不能穿透骨质结构，它使用表面反射进行成像，不能提供骨质细节。相比之下，X光片可以呈现更多的细节。因此，将实时超声图像与之前的X光片进行配准，可以帮助医生更好地了解患者的脊柱测凸情况，在临床应用上具有重要的意义。

图像配准是为了找到最佳的几何变换，使浮动图像与固定图像最佳地对齐。现有的配准方法分为基于深度学习的配准方法与基于传统的配准算法。深度学习技术中，监督变换估计配准与无监督变换估计配准都得到了广泛的应用。然而基于深度学习的算法往往在大量的数据上才能表现良好，而且可解释性不高。在训练数据量少或者训练数据不平衡的状况下，不能产生较为精确的结果图像。

传统的医学图像配准算法中，基于特征提取与特征匹配的配准方法，因为特征点的质量取决于图像的质量，在医学图像配准任务中并不具有普适性。基于图像灰度的配准方法，以图像信息为基础，不需要对多模态图像进行复杂的预处理，在医学诊断和治疗中被广泛使用。然而在基于灰度的配准方法中，基于Demons的配准因为光流模型会引起拓扑结构的变化，并不适用于大变形图像的配准任务。基于FFD的配准算法，优越的局部形变的建模能力与不受限制的自由度的特点能够描述复杂的几何形体，更好的配准不规则的医学图像，然而配准的稳定性较差。

脊柱具有多节段、多曲度、多形态的总特征，人体脊柱可分为颈、胸、腰、骶四部分，具体包括7节颈椎，12节胸椎，5节腰椎和5节合一的骶椎，构成脊椎的基本解剖结构还包括棘突、横突、关节突、椎板、椎弓根等，且不同节段脊椎的结构存在较大差异，对配准的稳定性的要求比较高，精确的配准脊柱超声和X光图像仍然具有挑战性。现有的传统配准方法不能解决配准中的骨组织异化等问题，也不能很好地显示病灶信息，无法较好的适配脊柱超声与X光图像的配准任务。

发明内容

本申请的目的是提供一种高稳定性的脊柱超声与X光图像配准方法，以克服现有技术无法完成对脊柱超声与X光图像高稳定性的配准问题。本申请基于FFD模型，在配准前预处理配准网格，在配准过程中对每个控制点进行相互优化计算，然后进行相互配准，针对多次迭代配准后生成配准结果图像，选择模糊感知注意力网络(BANeT)对其进行去模糊处理，生成清晰的结果图像，完成高稳定性的配准任务。

为了实现上述目的，本申请技术方案如下：

一种高稳定性的脊柱超声与X光图像配准方法，包括：

设置从低到高的多分辨率配准网格，将脊柱X光图像嵌入到最低分辨率的配准网格，将超声图像嵌入到各个分辨率的配准网格；

采用梯度下降法，以归一化互信息相似性度量函数的倒数为目标函数，按照分辨率从低到高的顺序，分别对不同分辨率配准网格中的控制点进行相互优化计算，得到配准结果X光图像，将前面低分辨率配准网络配准得到的配准结果X光图像作为后续高分辨率配准网络的输入X光图像；

将最高分辨率配准网格生成的配准结果X光图像，用模糊感知注意力网络进行去模糊操作，输出配准后清晰的X光图像。

进一步的，所述高稳定性的脊柱超声与X光图像配准方法，还包括：

基于输入图像的长宽比自适应的调节配准网格的长宽比，最后将输入图像嵌入到配准网格中。

进一步的，所述对配准网格中的控制点进行相互优化计算，得到配准结果X光图像，包括：

进行正向配准：

采用梯度下降法，以归一化互信息相似性度量函数的倒数为目标函数，以超声图像为参考图像计算X光图像对超声图像的控制点最佳结果，同时以X光图像为参考图像计算超声图像对X光图像的控制点最佳结果；

对两种控制点最佳结果进行加权运算，生成控制点加权优化结果；

通过基于Tanh(X)的分段函数，对控制点加权优化结果进行约束，得到控制点最终优化结果集；

采用最终优化结果集对X光图像进行重采样，得到一次配准后正向的配准结果X光图像；

进行反向配准：

采用梯度下降法，以归一化互信息相似性度量函数的倒数为目标函数，以X光图像为参考图像计算超声图像对X光图像的控制点最佳结果，同时以超声图像为参考图像计算X光图像对超声图像的控制点最佳结果；

对两种控制点最佳结果进行加权运算，生成控制点加权优化结果；

通过基于Tanh(X)的分段函数，对控制点加权优化结果进行约束，得到控制点最终优化结果集；

对最终优化结果集做相反数操作，然后采用相反数操作得到的结果集对X光图像进行重采样，得到一次配准后的反向配准结果X光图像。

采用归一化互信息相似性度量评价指标分别对一次配准后的正向的配准结果X光图像与反向配准结果X光图像进行性能评估，选择优秀的一个配准结果X光图像作为下一次迭代的输入X光图像；

依次迭代配准，直到达到迭代终止条件，结束迭代，输出最终配准结果X光图像。

进一步的，所述依次迭代配准，直到达到迭代终止条件，结束迭代，包括：

当达到设定的迭代次数或者连续预设次数相邻两次配准的配准结果X光图像与超声图像相似性度量指标的绝对差值小于预设数值时，结束迭代，输出配准结果X光图像。

本申请提供的一种高稳定性的脊柱超声与X光图像配准方法，改进了FFD配准模型，并结合了模糊感知注意力网络(BANet)，提供了一种高稳定性脊柱超声/X光图像配准方法，在实验中取得了很好的效果。在脊柱图像的配准任务预处理配准网格，引入相互优化、相互配准方法，使得能够提升配准精度的同时，保证了配准的稳定性，解决了因过拟合而导致锥体异化变形的问题。结合模糊感知注意力网络(BANet)对上述结果图像进行去模糊处理，极大的提高了图像的可视性，使得结果图像具有较好的临床价值。

附图说明

图1为本发明高稳定性的脊柱超声与X光图像配准方法流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请提供了一种高稳定性的脊柱超声与X光图像配准方法，该方法主要用来解决传统的配准方法存在的配准精度不高、稳定性不强、结果图像模糊、运行速度过慢的四个潜在问题。所述脊柱超声图像是指通过具有空间定位功能的超声探头扫描获取的人体脊柱骨质超声图像，根据空间位置信息完成重建以生成体积投影。所述具有空间定位功能的超声探头是指带有磁定位标记的二维超声线阵探头或固定于都自由度机械手的二维超声线阵探头；所述不同深度是指距离人体背部体表的深度，不同深度下超声图像所包含图像内容不同，成像最浅表为人体背部皮肤轮廓，成像最深为脊椎骨质信息。

在一个实施例中，如图1所示，一种高稳定性的脊柱超声与X光图像配准方法，包括：

步骤S1、设置从低到高的多分辨率配准网格，将脊柱X光图像嵌入到最低分辨率的配准网格，将超声图像嵌入到各个分辨率的配准网格。

本实施例在脊柱超声与X光图像的非刚性配准过程中，设置从低到高的多分辨率配准网格，即设置从低到高的多层不同分辨率的配准网格。

例如，将从低到高的多分辨率配准网格表示为Grid(H,E)，其中H表示层数目，E表示每一层应设置的网格，控制点即配准网格中网格线的交点。对于具有3层不同分辨率配准网格，每层配准网格的网格数分别为4、16和64的多分辨率配准网格，表示为Grid(3,{4,16,64})。

本申请中，对于分辨率最低的第一层配准网格，输入的是脊柱超声图像和X光图像，两者的尺寸相同；而后面各层配准网络，输入超声图像以及前一层配准结果X光图像。也就是说，超声图像在整个过程中，是不发生变化的，只是对X光图像进行变形，得到各层输出的配准结果X光图像。这样就可以用较少次数的X光图像来与超声图像进行配准，减少拍摄X光图像的次数。

为了适应各种尺寸的输入图像，本申请多分辨率配准网格，还包括：

基于输入图像的长宽比自适应的调节配准网格的长宽比，最后将输入图像嵌入到配准网格中。

也就是说，针对每一层配准网格，基于输入图像的长宽比例自适应的调节配准网格长宽比，使得配准网格与输入图像长宽比一致，每个网格交点(控制点)可以较为科学的辐射到输入图像的每个区域。

本实施例中，不同分辨率配准网格的控制点由少到多变化，后一次配准在前一次配准的效果上进行的，多次的迭代配准，依次得到从低到高的配准结果，防止配准图像过拟合，提高配准的稳定性的同时也大大提高了配准效率。

步骤S2、采用梯度下降法，以归一化互信息相似性度量函数的倒数为目标函数，按照分辨率从低到高的顺序，分别对不同分辨率配准网格中的控制点进行相互优化计算，得到配准结果X光图像，将前面低分辨率配准网络配准得到的配准结果X光图像作为后续高分辨率配准网络的输入X光图像。

本实施例从多层配准网格中分辨率最低的第一层开始，进行迭代配准。在一层配准网格的配准结束后，将输出的配准结果X光图像作为下一层配准网格的输入X光图像，然后进行下一层配准网格的图像配准，直到完成最后一层的图像配准，输出最终的配准结果X光图像。

对于每一层配准网格的图像配准，通常将一个图像作为浮动图像，另外一个图像作为参考图像。例如，采用正向配准表示以X光图像为浮动图像，超声图像为参考图像，X光图像向超声图像配准。采用反向配准表示以超声图像为浮动图像，以X光图像为参考图像，超声图像向X光图像配准。

然而，在一次配准过程中，单纯的研究浮动图像对参考图像配准，会出现配准结果的不稳定与过拟合等问题。本申请对配准网格中的控制点进行相互优化计算，在对每个控制点进行脊柱超声图像对X光图像的优化计算时，加入X光图像对超声图像的优化计算，获得两组结果，对两组结果进行加权运算，并通过基于Tanh(X)的分段函数对上述加权计算结果进行约束，最终结果作为有效参数进行后续步骤的计算，从而克服上述问题。

本申请采用梯度下降法，以归一化互信息相似性度量函数的倒数为目标函数，对配准网格中的控制点进行相互优化计算，得到配准结果X光图像，包括：

进行正向配准：

采用梯度下降法，以归一化互信息相似性度量函数的倒数为目标函数，以超声图像为参考图像计算X光图像对超声图像的控制点最佳结果，同时以X光图像为参考图像计算超声图像对X光图像的控制点最佳结果；

对两种控制点最佳结果进行加权运算，生成控制点加权优化结果；

通过基于Tanh(X)的分段函数，对控制点加权优化结果进行约束，得到控制点最终优化结果集；

采用最终优化结果集对X光图像进行重采样，得到一次配准后正向的配准结果X光图像；

进行反向配准：

采用梯度下降法，以归一化互信息相似性度量函数的倒数为目标函数，以X光图像为参考图像计算超声图像对X光图像的控制点最佳结果，同时以超声图像为参考图像计算X光图像对超声图像的控制点最佳结果；

对两种控制点最佳结果进行加权运算，生成控制点加权优化结果；

通过基于Tanh(X)的分段函数，对控制点加权优化结果进行约束，得到控制点最终优化结果集；

对最终优化结果集做相反数操作，然后采用相反数操作得到的结果集对X光图像进行重采样，得到一次配准后的反向配准结果X光图像。

采用归一化互信息相似性度量评价指标分别对一次配准后的正向的配准结果X光图像与反向配准结果X光图像进行性能评估，选择优秀的一个配准结果X光图像作为下一次迭代的输入X光图像；

依次迭代配准，直到达到迭代终止条件，结束迭代，输出最终配准结果X光图像。

需要说明的是，正向配准和反向配准过程中，各自在计算过程中，都是以自身计算过程中得到的结果进行计算，正向配准和反向配准是两个单独的计算过程，相互不产生影响。

具体的，在对每个控制点进行X光图像对超声图像的优化计算时，加入超声图像对X光图像的优化计算，获得两组结果，对两组结果进行加权运算，并通过基于Tanh(X)的分段函数对上述加权计算结果进行约束。重复上述步骤，最终获得所有控制点的优化结果集φ，基于φ，对脊柱X光图像进行重采样，生成一次配准后的配准结果X光图像，记为D。

假设任意一个控制点K(m,n)，正向、反向计算的控制点最佳结果分别是(α′

α

β

其中t、v分别表示权重参数，在本实施例中，最优权重可以设置为t＝1、v＝0.1。生成K控制点处的加权优化结果为(α

通过基于Tanh(X)的分段函数，对Grad进行函数映射，约束每个控制点的横向、纵向的优化结果，公式如下：

其中：

T＝Min(|Max(Grad)|,|Min(Grad)|)

Grad表示在一次配准过程中，所有控制点的进行优化计算后的结果集合。其中a表示Grad结果集中的最小值，b表示Grad结果集中的最大值,θ为自定义控制参数，在一个实施例中，设置θ＝0.85。

在经过基于Tanh(X)的分段函数处理后，获得所有控制点的最终优化结果集：

Grad(y(α

记为

本实施例进行正向、反向两次配准，对两组结果集进行数据处理后，分别对X光图像进行重采样，分别生成结果图像D

正向配准生成最终优化结果集，记为

采用归一化互信息相似性度量评价指标分别对正向配准结果图像D

容易理解的是，在迭代配准过程中，通常设置迭代终止条件。本申请所述依次迭代配准，直到达到迭代终止条件，结束迭代，包括：

当达到设定的迭代次数或者连续预设次数相邻两次配准的配准结果X光图像与超声图像相似性度量指标的绝对差值小于预设数值时，结束迭代，输出配准结果X光图像。

具体的，当达到设定的迭代次数(例如迭代次数超过300次)，则结束迭代。或者连续3次相邻两次配准的配准结果X光图像与超声图像相似性度量指标绝对差值小于0.0001时，结束迭代，否则继续迭代配准。

例如，用a1表示第1次迭代配准后配准结果X光图像与超声图像相似性度量指标，a2表示第2次迭代配准后配准结果X光图像与超声图像相似性度量指标，a3表示第3次迭代配准后配准结果X光图像与超声图像相似性度量指标，a1表示第4次迭代配准后配准结果X光图像与超声图像相似性度量指标，则当(|a1-a2|<0.0001&&|a2-a3|<0.0001&&|a3-a4|<0.0001)时，认为达到终止条件，结束迭代。

需要说明的是，本申请中采用梯度下降法，以归一化互信息相似性度量函数的倒数为目标函数，计算控制点最佳结果，属于本领域比较成熟的技术，这里不再赘述。对于两张图像A和B，图像A与图像B形状相似，但具有位置偏移：平移、旋转、缩放、局部扭曲形变等。如果以图像A为参考图像，以图像B为浮动图像，对图像B进行配准，使其与图像A位置对齐，那么可以使用FFD(Free Form Deform)自由形变模型作为坐标变换模型，对图像B进行形变，并计算图像A与形变之后的图像B的相似度，通过求解FFD形变的最优控制参数，使得两者相似度达到最大，从而使用最优控制参数对图像B进行形变，实现其配准。将图像A与FFD形变之后图像B的相似度作为目标函数，然后使用优化算法(例如梯度下降法)来求解这个目标函数的最优解。

本实施例在迭代配准过程中，浮动图像对参考图像进行配准，计算的优化参数产生形变场的同时，添加参考图像对浮动图像的配准，计算形变场。提升精确度的同时能够有效的提升配准的稳定性，降低过拟合问题。

步骤S3、将最高分辨率配准网格生成的配准结果X光图像，用模糊感知注意力网络进行去模糊操作，输出配准后清晰的X光图像。

本申请将多分辨率配准网格生成的配准结果X光图像作为最终的配准结果，然后通过模糊感知注意网络(BANeT)对结果图像进行去模糊操作。

为了更好的显示病灶位置，为医生提供更加清晰的结果图像，需要通过去模糊算法提高结果图像的清晰度。传统的去模糊算法通常用图像的先验信息来模拟模糊特征。并不能很好的概括复杂图像的例子。基于深度学习的自循环模块去模糊方法在不同分辨率、不同时间特征、不同视场上逐步恢复清晰图像上取得了极大的成功。但是因为其自循环模型过长的自我推理时间以及不能很好的解决图像中不均匀模糊的图像，并不适用于医学图像解决因线性插值而导致的边缘信息丢失、图像模糊等问题。

本实施例中利用已有的BANeT网络，通过一系列堆叠的模糊感知模块(BAM)，有效地分离不同的模糊模式，以一种可学习的方式衍生出全局和局部的多尺度模糊特征，根据模糊特征去除模糊，最终输出去模糊图像。BANet网络是由一系列堆叠的模糊感知模块(BAM)组成，BAM能够有效地分离不同的模糊模式，并根据模糊特征去除模糊。输入图像通过两个卷积层下采样到一半分辨率，并使用转置卷积层向上采样特征到原始大小。在这之间堆叠了一组BAM来关联具有相似模糊性的区域，并提取多尺度内容特征。一个BAM由模糊感知注意(BA)和级联并行扩张卷积(CPDC)两个部分组成，其中BA提取全局和局部的模糊信息，CPDC捕捉多尺度的模糊特征。结合BA和CPDC，BAM是一个类似残差的架构，以可学习的方式得出全局和局部多尺度模糊特征，并根据模糊特征去除模糊，最终输出清晰的图像。

本申请通过增加自适应多分辨率网格，引入相互优化和相互配准的思想，借用现有的BANeT去模糊网络模型来改进配准模型，以保证图像配准的稳定性，提高配准精度和脊柱图像的清晰度和可读性。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。