一种基于多尺度上下文的内窥镜图像配准方法及设备

技术领域

本申请涉及图像配准领域，尤其涉及一种基于多尺度上下文的内窥镜图像配准方法及设备。

背景技术

图像配准是图像处理领域的一项基本任务，旨在建立一对n维图像中边缘、关键点、目标或表面之间的对应关系。图像配准在临床应用中至关重要，例如肿瘤生长监测、计算机辅助手术中等，都需要进行准确的图像配准。

而传统的配准方法无法满足某些临床应用的实时性要求，例如计算机辅助手术中的内窥镜图像配准就需要极高的实时性。基于深度学习的配准方法已被证明是传统方法的一种有前途的替代方法，这种方法在推理时间的几分之一秒内对齐来自相同分布的任何新图像对。然而，这种方法在很大程度上依赖于真值的质量和数量(例如配准场或关键点)来建立变形映射。受传统迭代优化技术的启发，许多工作采用了级联配准框架来处理VoxelMorph中未考虑的大变形区域。然而级联配准框架不仅笨重，还会使得配准场的可逆性降低，即配准场中会包含更多的折叠像素。折叠像素在实际中是不可能的，因此级联配准框架在临床应用中往往会造成很大的配准误差。

发明内容

本申请实施例提供了一种多尺度上下文的内窥镜图像配准方法及设备，用于解决如下技术问题：传统的级联配准框架会降低可逆性，且配准精度较低。

本申请实施例采用下述技术方案：

一方面，本申请实施例提供了一种基于多尺度上下文的内窥镜图像配准方法，方法包括：将接收到的浮动图像与固定图像进行灰度处理，并将处理后的所述浮动图像与所述固定图像合成一张图像，得到合成图像；通过深层卷积网络对所述合成图像进行编码，生成特征金字塔；在所述特征金字塔的每个卷积块内部，通过层级聚合模块检测所述合成图像的多尺度上下文信息，得到所述合成图像的多尺度特征图；通过自适应特征伸缩模块对所述多尺度特征图进行自适应伸缩，得到目标多尺度特征图；通过所述深层卷积网络对所述目标多尺度特征图进行解码，生成对应的参数化配准场。

本申请实施例在深层卷积网络的卷积块内集成层级聚合模块以及自适应特征伸缩模块。通过层级聚合模块检测每个卷积块中合成图像的多尺度上下文信息，将多尺度上下文信息融合到多尺度特征图中，能够更好地处理配准过程中一对图像之间的位移。然后通过自适应特征伸缩模块对多尺度特征图在全局感受野的角度进行细化，可以克服传统的卷积操作一次只能利用局部区域的信息的缺陷，从而根据图像特征本身的统计量，自适应地、有区别地重新划分多尺度特征图。本方案可以在较少的折叠像素数量下获得更好的配准精度。

在一种可行的实施方式中，所述通过深层卷积网络对所述合成图像进行编码，生成特征金字塔，具体包括：将所述合成图像输入所述深层卷积网络的编码路径中；其中，所述深层卷积网络为U-Net架构；通过步长为m的卷积块对输入所述编码路径的所述合成图像进行特征提取，生成包含n个级别的特征金字塔；其中，每个卷积块内部均包含层级聚合模块以及自适应特征伸缩模块。

本申请实施例通过构造一个U形结构的深层卷积网络，对配准场进行参数化。通过单个卷积网络生成配准场可以避免级联框架带来的配准场可逆性的下降现象。

在一种可行的实施方式中，在所述特征金字塔的每个卷积块内部，通过层级聚合模块检测所述合成图像的多尺度上下文信息，得到所述合成图像的多尺度特征图，具体包括：在所述层级聚合模块中，采用最大池化技术以及卷积运算，将所述合成图像的特征图投影到目标特征图中；其中，所述目标特征图与所述多尺度特征图在空间和通道维度上具有相同的分辨率；基于所述目标特征图以及所述合成图像的特征图，构建融合特征，并对所述融合特征进行特征变换；对每一步特征变换后的所述融合特征进行连接，得到多尺度特征；其中，所述多尺度特征中包含所述多尺度上下文信息；基于所述多尺度特征，生成所述合成图像的多尺度特征图。

在一种可行的实施方式中，所述层级聚合模块包括第一层级聚合模块以及第二层级聚合模块；采用最大池化技术以及卷积运算，将所述合成图像的特征图投影到目标特征图中，具体包括：在解码阶段，通过所述第一层级聚合模块，根据Y＝Conv

在一种可行的实施方式中，基于所述目标特征图以及所述合成图像的特征图，构建融合特征，并对所述融合特征进行特征变换，具体包括：根据O

在一种可行的实施方式中，对每一步特征变换后的所述融合特征进行连接，得到多尺度特征，基于所述多尺度特征，生成所述合成图像的多尺度特征图，具体包括：根据X

本申请实施例通过层级聚合模块，将每个3×3卷积的输出连接在一起，得到图像的多尺度特征，与传统的提取不同尺度特征的操作相比，此方法更具有参数效率，且层级聚合模块允许任意数量的3×3卷积，因此，特征尺度的数量可以根据可用的计算资源进行调整。

在一种可行的实施方式中，通过自适应特征伸缩模块对所述多尺度特征图进行自适应伸缩，得到目标多尺度特征图，具体包括：通过所述自适应特征伸缩模块，生成一个通道描述符；其中，所述通道描述符嵌入了所述多尺度特征图通道特征的全局分布；将所述通道描述符输入到多层感知器MLP中生成通道伸缩图；通过所述通道伸缩图对所述多尺度特征图进行自适应伸缩，得到所述目标多尺度特征图。

在一种可行的实施方式中，通过所述自适应特征伸缩模块，生成一个通道描述符，具体包括：根据z

由于层级聚合模块建立在卷积运算的基础上，用于提取局部感受野内的特征图，这一特性不可避免地削弱了多尺度特征图的表现能力，本申请实施例通过引入自适应特征伸缩机制，基于特征图的通道间关系来细化多尺度特征图，从而解决了上述问题。

在一种可行的实施方式中，在通过所述深层卷积网络对所述目标多尺度特征图进行解码，生成对应的参数化配准场之后，所述方法还包括：通过所述参数化配准场，对所述浮动图像进行重新采样，将所述浮动图像中的每个像素映射在所述固定图像中对应的映射位置；通过变形操作，对映射后的所述浮动图像进行变形，得到对应的变形图像；其中，所述变形图像与所述固定图像的相似度大于预设阈值。

另一方面，本申请实施例还提供了一种基于多尺度上下文的内窥镜图像配准设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，以使所述至少一个处理器能够执行上述任一实施方式所述的一种基于多尺度上下文的内窥镜图像配准方法。

总之，本申请提出了一个有效的层级聚合模块，将多尺度上下文信息融合到特征图中，从而能够更好地处理配准过程中一对图像之间的位移。将层级聚合模块和自适应特征伸缩模块插入到通用U-Net架构中，实现精确灵活的形变配准。详细的实验和分析表明，本申请的方案可以在较少折叠像素的情况下提高配准精度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本申请实施例提供的一种基于多尺度上下文的内窥镜图像配准方法流程图。

图2为本申请实施例提供的一种无监督可变形注册框架示意图；

图3为本申请实施例提供的一种基于多尺度上下文的内窥镜图像配准设备结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

图1为本申请实施例提供的一种基于多尺度上下文的内窥镜图像配准方法流程图，如图1所示，本申请实施例提供的内窥镜图像配准方法具体包括步骤S101-S106：

S101、无监督可变形配准框架将接收到的浮动图像与固定图像处理为灰度图像，并将处理后的浮动图像与固定图像合成一张图像，得到合成图像。

具体地，本申请预先构建一个无监督可变形配准框架，用于进行图像配准。在构建和训练阶段，无监督可变形配准框架主要由一个深层卷积网络和一个变形操作组成，此外，该框架可以与迭代细化技术相结合，进一步提高推断时变形图像的质量。图2为本申请实施例提供的一种无监督可变形注册框架示意图，如图2所示，无监督可变形配准框架200将接收到的浮动图像201以及固定图像202预处理为灰度图像，然后将两张灰度图像合成为一张图像，得到合成图像。

在一种可行的实施方式中，一张分辨率为a*b的灰度图像的图像矩阵为[a,b,1]，该矩阵中前两个维度代表图像的分辨率，第三维度代表通道分量。若两张灰度图像的分辨率都为300*400，那么两张图像的图像矩阵均为[300,400,1]，将两张灰度图像合成的合成方法为：将两张灰度图像的图像矩阵在第三维度相加，得到的合成图像的图像矩阵为[300,400,2]。

在一个实施例中，此方法应用于计算机辅助手术中的内窥镜图像配准时，浮动图像和固定图像可以是内窥镜影像中相邻的两帧图像。

S102、无监督可变形配准框架通过深层卷积网络对合成图像进行编码，生成特征金字塔。

具体地，如图2所示，无监督可变形配准框架200中的深层卷积网络203为U-Net架构，包括编码阶段、解码阶段以及跳跃连接。无监督可变形配准框架200将得到的合成图像输入到深层卷积网络203的编码路径中。

进一步地，深层卷积网络203通过步长为m的卷积块对输入编码路径的合成图像进行特征提取，生成包含n个级别的特征金字塔。

在一个实施例中，深层卷积网络203通过步长为2的卷积块来编码输入的合成图像，从而生成包含4个级别的特征金字塔。编码方式可以采用下采样等现有技术实现。

S103、无监督可变形配准框架在特征金字塔的每个卷积块内部，通过层级聚合模块检测合成图像的多尺度上下文信息，得到多尺度特征图。

具体地，在多尺度下获取特征图的关键是逐步增加感受野。感受野是指特征图中像素到输入图像的映射区域。每当特征图进行卷积运算时，有效的感受野就会扩展。因此，本申请实施例在深层卷积网络中的每个卷积块内部均添加了一个层级聚合模块以及一个自适应特征伸缩模块。通过层次化的方式连接多个3×3卷积，设计了层次聚合变换模块。基于特征图的通道间关系设计了自适应特征伸缩模块。

进一步地，在每个卷积块对合成图像进行特征提取得到特征图之后，层级聚合模块采用最大池化技术以及卷积运算，将合成图像的特征图，投影到与最终输出的多尺度特征图在空间和通道维度上具有相同的分辨率的目标特征图中。

进一步地，层级聚合模块基于得到的目标特征图以及合成图像的特征图，构建二者的融合特征，并对融合特征进行特征变换，以扩大有效感受野。然后对每一步特征变换后的融合特征进行连接，得到合成图像的多尺度特征。通过此方法可以将合成图像的多尺度上下文信息融合到多尺度特征中。最后基于得到的多尺度特征，生成合成图像的多尺度特征图。

作为一种可行的实施方式，层级聚合模块包括层级聚合模块A(即第一层级聚合模块)以及层级聚合模块B(即第二层级聚合模块)。层级聚合模块A中结合了最大池化运算和1×1卷积运算，层级聚合模块B中结合了单个1×1卷积运算。

进一步地，在解码阶段的每个卷积块中，通过第一层级聚合模块，根据Y＝Conv

进一步地，在编码阶段的卷积块中，通过第二层级聚合模块，根据Y＝Conv

进一步地，根据O

进一步地，根据O

在一个实施例中，为了在准确性和效率之间取得平衡，经过实验后得出了S的最佳取值为2，但根据实际应用时的具体需求，S可以灵活设置，并不限于取值为2。

进一步地，采用Concat函数，将每一步中得到的输出特征O

S104、无监督可变形配准框架通过自适应特征伸缩模块对多尺度特征图进行自适应伸缩，得到目标多尺度特征图。

具体地，利用层级聚合模块生成的多尺度特征图已经取得了显著的性能，但是仍然存在一个问题，就是层级聚合模块建立在卷积运算的基础上，用于提取局部感受野内的特征映射，而这一特性不可避免地削弱了多尺度特征图的表达能力。

为解决上述问题，在深层卷积网络的每个卷积块内部构建了自适应特征伸缩模块，该模块基于特征图的通道间关系来细化层级聚合模块生成的多尺度特征图。首先，自适应特征伸缩模块通过全局平均池化运算，来生成一个通道描述符。其中，该通道描述符中嵌入了多尺度特征图通道特征的全局分布。

进一步地，将通道描述符输入到多层感知器(Multilayer Perceptron，MLP)中，生成通道伸缩图。然后通过通道伸缩图对多尺度特征图进行自适应伸缩，得到目标多尺度特征图。

在一种可行的实施方式中，自适应特征伸缩模块通过全局平均池化运算，根据公式z

进一步地，自适应特征伸缩模块将通道描述符z

进一步地，自适应特征伸缩模块根据

S105、无监督可变形配准框架通过深层卷积网络对目标多尺度特征图进行解码，生成对应的参数化配准场。

具体地，深层卷积网络通过长距离跳跃连接，将编码阶段中生成的每个级别的金字塔特征对应传播到解码阶段进行解码。在解码阶段，交替使用上采样(重复特征图的行和列)、连接特征图和卷积块等技术来生成输出的参数化配准场。

S106、无监督可变形配准框架通过参数化配准场，对浮动图像进行映射，并通过变形操作，对映射后的浮动图像进行变形，得到对应的变形图像。

具体地，如图2所示，通过参数化配准场204，对浮动图像201进行重新采样，将浮动图像201中的每个像素映射在固定图像202中对应的映射位置，使浮动图像201与固定图像202对齐。

进一步地，通过变形操作205，对映射后的浮动图像201进行变形处理，从而得到对应的变形图像206。得到的变形图像206即为图像配准的最终结果，变形图像206与固定图像202的相似度可以体现图像配准的准确度，正常情况下，变形图像206与固定图像202的相似度应大于预设阈值。

在一个实施例中，变形操作205可以采用warp变形工具。

图3为本申请实施例提供的一种基于多尺度上下文的内窥镜图像配准设备结构示意图，如图3所示，设备包括：

至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，以使至少一个处理器能够执行：

将接收到的浮动图像与固定图像处理为灰度图像，并将处理后的浮动图像与固定图像合成一张图像，得到合成图像；

通过深层卷积网络对合成图像进行编码，生成特征金字塔；

在特征金字塔的每个卷积块内部，通过层级聚合模块检测合成图像的多尺度上下文信息，得到合成图像的多尺度特征图；

通过自适应特征伸缩模块对多尺度特征图进行自适应伸缩，得到目标多尺度特征图；

通过深层卷积网络对目标多尺度特征图进行解码，生成对应的参数化配准场。

本申请实施例中提供的无监督可变形配准框架，在SCARED和MICCAI InstrumentSegmentation and Tracking Challenge 2015的数据集上进行了验证，实验结果表明，与常用的SyN、NiftyReg和VoxelMorph三种配准方法相比，本申请的框架在更少的折叠像素的情况下获得了更好的配准精度。本申请实施例提出了一种新的基于多尺度上下文的内窥镜图像配准方法，将层级聚合模块和自适应特征伸缩模块引入到该框架中，为在一对图像之间获得理想的配准场提供了一种新的方法。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请的实施例可以有各种更改和变化。凡在本申请实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。