一种基于特征聚合分解的多模态医学图像融合方法

技术领域

本发明属于图像融合技术领域，具体涉及一种基于特征聚合分解的多模态医学图像融合方法。

背景技术

多模态医学图像融合属于图像融合任务的细分。与自然图像不同，医学图像数据集要更少，所以无法用大数据集来对模型进行预训练，即医学图像特征提取手段相对匮乏，故对医学图像特征的提取需要更加细致。然而，现有的方法对医学图像的特征提取仍有很多不足。例如，基于卷积操作的多模态医学图像融合，虽然卷积操作具备优秀的计算性能和局部上下文提取能力，但是这限制了建模图像长距离依赖的能力，即图像的不同区域无法建立联系，而这样的结果就是图像信息的缺失从而导致融合性能不佳。

为解决这种缺点，一些方法基于Transformer来实现对多模态医学图像的融合。Transformer具备强大的全局上下文感知能力，它能很好的建模图像的长距离依赖关系，从而关注图像更重要的特征。但是它同样有一些不足。其一它对某些重要特征过分关注从而忽略了一些局部特征。其二Transformer是个参数量巨大的模型，完全采用Transformer来实现多模态医学图像融合会造成过大的计算负担。

综合卷积和Transformer的优势，基于串行CNN-Transformer的方法能够在一定程度上解决这种问题，然而，这种串行的特征提取方法更加关注的还是局部特征和全局特征间的联系，这还是不可避免的会导致信息的丢失。除此之外，因为图像经过卷积操作不可避免的会有信息的丢失，但现有方法都旨在尽可能减少信息的丢失，却很少考虑进行信息补偿。其次，大部分方法都是遵循特征提取-特征融合-图像重建的过程，融合图像即终点，对融合方法的改进局限在特征提取-特征融合-图像重建中，而没有跳出固有思维。

发明内容

本发明的目的在于提供一种基于特征聚合分解的多模态医学图像融合方法，解决对图像特征提取不够细致、没有信息补偿的问题，并将融合图像设置成中间结果，通过优化终点结果来实现更优的融合性能。

为实现上述目的，本发明所采取的技术方案为：

一种基于特征聚合分解的多模态医学图像融合方法，所述基于特征聚合分解的多模态医学图像融合方法，包括：

构建特征聚合网络和分解反馈网络，所述特征聚合网络包括编码器、全局特征提取模块、局部特征提取模块和解码器；

取源图像和初始分解图像拼接构成训练集；

将拼接后的图像输入至所述特征聚合网络中，所述特征聚合网络通过编码器提取浅层特征，并将所述浅层特征分别输入至全局特征提取模块和局部特征提取模块中得到全局特征和局部特征，叠加所述全局特征和局部特征后输入至解码器，由解码器重建输出融合图像；

将所述融合图像输入至所述分解反馈网络中，得到两个分解图像；

基于源图像、融合图像和分解图像计算总损失，并根据总损失对所述特征聚合网络和分解反馈网络进行更新，若满足迭代训练结束条件，则输出特征聚合网络和分解反馈网络用于多模态医学图像融合；否则将源图像和分解图像拼接构成新的训练集继续进行迭代训练。

以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。

作为优选，所述编码器由一个自适应卷积层、一个批量归一化层和一个ReLU激活函数构成。

作为优选，所述全局特征提取模块包括三条路径，三条路径输出的多尺度特征进行像素级融合得到全局特征；

第一条路径包括依次连接的自适应卷积层、Swin Transformer块和自适应卷积层，第二条路径包括依次连接的自适应卷积层、自适应卷积层、Swin Transformer块和自适应卷积层，第三条路径包括依次连接的自适应卷积层、自适应卷积层、自适应卷积层、SwinTransformer块和自适应卷积层。

作为优选，所述局部特征提取模块包括依次连接的三个3×3卷积层和一个1×1卷积层；

第一个3×3卷积层的输入为浅层特征和源图像，第二个3×3卷积层的输入为浅层特征、源图像以及第一个3×3卷积层的输出，第三个3×3卷积层的输入为浅层特征、源图像、第一个3×3卷积层的输出和第二个3×3卷积层的输出，所述1×1卷积层的输入为浅层特征、第一个3×3卷积层的输出、第二个3×3卷积层的输出和第三个3×3卷积层的输出。

作为优选，所述取源图像和初始分解图像拼接构成训练集，包括：

采集PET-MRI图像对作为源图像，其中PET是RGB彩色图像，MRI是灰度图像；

将所述RGB彩色图像转换至YUV颜色空间，取转换后图像Y通道的

取初始分解图像为源图像的复制，即初始分解图像为配对后的

作为优选，所述分解反馈网络包括一个1×1卷积层以及与所述1×1卷积层连接的两个分支，两个分支不共享参数，其中第一个分支包括三个依次连接的3×3卷积层，第二个分支包括三个依次连接的3×3卷积层。

作为优选，所述基于源图像、融合图像和分解图像计算总损失，包括：

根据所述源图像和融合图像计算特征聚合损失，根据所述源图像和分解图像计算分解反馈损失，对特征聚合损失和分解反馈损失求和得到总损失。

作为优选，所述根据所述源图像和融合图像计算特征聚合损失，包括：

所述特征聚合损失L

L

所述结构相似性损失L

L

式中，β

式中，I

所述区域互信息损失L

L

式中，γ

式中，λ是权重参数，λ∈[0，1]，

作为优选，所述根据所述源图像和分解图像计算分解反馈损失，包括：

所述分解反馈损失L

L

所述强度损失L

式中，H和W表示源图像或分解图像的图像高宽，i和j表示第i行第j列，

所述梯度损失L

式中，

本发明提供的基于特征聚合分解的多模态医学图像融合方法，与现有技术相比，具有以下有益效果：

本发明提出了分解反馈网络，与进行图像融合操作的特征聚合网络组成两阶段网络。传统图像融合方法大都采用特征提取-特征融合-图像重建的过程，专注于对图像融合技术的提升，如改进特征提取、特征融合的方法。本发明的特征聚合网络就是对特征提取部分进行的改进。另外，为了进一步提升融合性能，本发明引入分解反馈网络，使用逆向思维，使得融合图像成为中间过程，通过优化终点结果来提升中间过程。

本发明将融合图像输入到分解反馈网络中，将其分解成两个分解图像，通过损失函数的约束使生成的分解图像趋近于源图像，即得到更好的终点结果。更好的终点结果意味着本发明的中间过程也实现了优化，即本发明的融合图像能够包含更多来自源图像的场景信息，达到更优的融合性能。此外，本发明将分解图像反馈回输入，在训练初期时粗糙的分解图像可以作为噪声优化特征聚合网络，使其更加鲁棒，当生成的分解图像优化到一定程度时，其可以作为进一步的信息补充，使特征聚合网络提取更多特征。

附图说明

图1为本发明的基于特征聚合分解的多模态医学图像融合方法的流程图；

图2为本发明的基于特征聚合分解的多模态医学图像融合方法的数据传递图；

图3为本发明特征聚合网络的结构图；

图4为本发明分解反馈网络的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本发明。

本发明克服了现有方法的不足，拟定了一种基于特征聚合分解的多模态医学图像融合方法。本发明包含了一个特征聚合网络和分解反馈网络。在本发明方法中，不将融合图像视为终点，本发明设置两个网络，使融合图像成为中间结果，敦促分解反馈网络产生更好的终点结果从而实现更优的中间结果，并且分解反馈网络的终点结果又反馈到模型的输入，实现信息的进一步补偿。故本发明可以解决对图像特征提取不够细致、没有信息补偿的问题，并创新性的将融合图像设置成中间结果，通过优化终点结果来实现更优的融合性能。

本实施例的融合方法包含两个网络，分别是特征聚合网络和分解反馈网络，特征聚合网络遵循特征提取-特征融合-图像重建的流程，在其中加入局部精细特征提取模块以改进特征提取过程，从而达到更好的融合性能。分解反馈网络的出现则是使融合图像不再是模型的终点。融合图像成为分解反馈网络的输入，通过使分解反馈网络生成更好的结果(分解图像)来实现对中间结果(融合图像)的提升。

如图1-2所示，本实施例的一种基于特征聚合分解的多模态医学图像融合方法，包括以下步骤：

步骤S1、构建特征聚合网络(Feature Aggregation Network)和分解反馈网络(Decomposition Feedback Network)。

如图3所示，本实施例的特征聚合网络包括编码器、全局特征提取模块、局部特征提取模块和解码器。

其中，编码器(Encoder)由一个自适应卷积层(Adaptive Convolution，AC，可调制卷积核)、一个批量归一化层(BN)和一个ReLU激活函数构成。

其中，全局特征提取模块(Global Feature Block)包括三条路径，三条路径输出的多尺度特征进行像素级融合得到全局特征；第一条路径包括依次连接的自适应卷积层、Swin Transformer块(自适应Transformer块，SWTR)和自适应卷积层，第二条路径包括依次连接的自适应卷积层、自适应卷积层、Swin Transformer块和自适应卷积层，第三条路径包括依次连接的自适应卷积层、自适应卷积层、自适应卷积层、Swin Transformer块和自适应卷积层。并且每个自适应卷积层后连接一个批量归一化层(BN)和一个ReLU激活函数。

其中，局部特征提取模块(Local Feature Block)包括依次连接的三个3×3卷积层和一个1×1卷积层；第一个3×3卷积层的输入为浅层特征和源图像(两者通道级联后输入)，第二个3×3卷积层的输入为浅层特征、源图像以及第一个3×3卷积层的输出(三者通道级联后输入)，第三个3×3卷积层的输入为浅层特征、源图像、第一个3×3卷积层的输出和第二个3×3卷积层的输出(四者通道级联后输入)，所述1×1卷积层的输入为浅层特征、第一个3×3卷积层的输出、第二个3×3卷积层的输出和第三个3×3卷积层的输出(四者通道级联后输入)。并且每个卷积层后连接一个批量归一化层(BN)和一个ReLU激活函数。

其中，解码器(Decoder)由一个自适应卷积层和一个Tanh激活函数构成。

其中，如图4所示，分解反馈网络包括一个1×1卷积层以及与所述1×1卷积层连接的两个分支，两个分支不共享参数，其中第一个分支包括三个依次连接的3×3卷积层，第二个分支包括三个依次连接的3×3卷积层。除每个分支的最后一个3×3卷积层后连接一个Tanh激活函数外，其他卷积层后均连接一个ReLU激活函数。

本申请中的名称相同的网络结构相同，但网络参数不一定相同，例如自适应卷积层，自适应卷积层中将输入送入上下文门控层(Context Gating)中，将卷积核(Convolution Kernel)转化为可调制卷积核(Modulated Kernel)后，与输入进行卷积运算(Convolution Operation)。又如Swin Transformer块也为常规的统一结构，本实施例不进行赘述。

步骤S2、取源图像和初始分解图像拼接构成训练集。

训练集采用PET-MRI图像对，图像尺寸是256×256，PET是RGB彩色图像，MRI是灰度图像。因为实施的是单通道图像和单通道图像的融合，故在图像输入到网络前，首先对RGB彩色图进行颜色空间转换，将其转换成YUV颜色空间，取转换后图像Y通道的

经过处理后的源图像需要和分解图像拼接。本实施例中的分解图像来源于分解反馈网络，在首次执行时，分解图像取初始分解图像置为源图像的复制。

由于网络只接受一个输入，故需对源图像

步骤S3、将拼接后的图像输入至特征聚合网络中。

编码器由一个自适应卷积层、一个批量归一化层和一个ReLU激活函数构成，可以提取输入

其中E(·)表示编码器。

为进一步提取输入的深层语义信息，将浅层特征F

在局部特征提取模块中，浅层特征F

F

其中LFB(·)表示局部特征提取模块。本发明提出的局部特征提取模块，结合基于Transformer的特征提取模块，实现了对图像特征更全面的提取。传统基于CNN的方法的感受野受限，在同一时间只能关注图像的局部区域，这样的好处是能够关注到图像局部区域中更细致的特征，即具备优良的局部特征提取能力。然而，也正是因为感受野受限，所以传统基于CNN的方法无法与图像的其他区域建立联系，即无法建模长距离依赖，从而导致不真实的融合图像。相反地，基于Transformer的方法具备强大的全局上下文关注能力，能够很好的建模长距离依赖关系，但是对局部细节关注不足。

因此，本发明提出了一个局部特征提取模块，结合用Transformer实现的特征提取模块组成并行的特征提取，既可以对图像进行全局的建模，提取图像的语义信息，又可以关注图像的局部区域，补足细节特征。并且，本发明在局部特征提取模块中的各个卷积层中引入了源图像，这样既可以对卷积操作导致丢失的信息进行补偿，又可以让卷积层更容易学习到图像的特征，从而提取更细致特征。

全局特征提取模块中有三条路径，三条路径结构层级递进，目的是提取输入的不同尺度特征。其中第一条路径由两个自适应卷积层(可以调制卷积核，提取全局特征)和一个自适应Transformer块构成，第二条路径由三个自适应卷积层和一个自适应Transformer块构成，第三条路径由四个自适应卷积层和一个自适应Transformer块构成。三条路径的末端都会分配一个自适应卷积层用于聚合特征，其余的结构则用来提取浅层特征F

F

其中GFB(·)表示全局特征提取模块。

将全局特征和局部特征按元素加和并经解码器重建融合图像。解码器由一个自适应卷积和一个Tanh激活函数构成。得到全局特征F

其中D(·)表示解码器。因本实施例在源图像中采用了颜色空间转换，故需要对融合图像

步骤S4、将融合图像输入至所述分解反馈网络中，得到两个分解图像。

在分解反馈网络中，融合图像I

步骤S5、基于源图像、融合图像和分解图像计算总损失，并根据总损失对特征聚合网络和分解反馈网络进行更新，若满足迭代训练结束条件，则输出特征聚合网络和分解反馈网络用于多模态医学图像融合；否则将源图像和分解图像拼接构成新的训练集继续进行迭代训练。

具体而言，用特征聚合损失对步骤S3中得到的融合图像与步骤S2的源图像进行评估。用分解反馈损失来对步骤S4中的分解图像与步骤S2的源图像进行评估，最后结合两个损失训练网络模型。即总损失函数为：

L

其中，L

特征聚合损失L

L

特征聚合损失用于引导特征聚合网络生成具有丰富信息的融合图像。其中结构相似性损失L

L

其中β

其中I

区域互信息损失L

L

同样地，γ

其中λ是权重参数，λ∈[0，1]，本实施例设置λ＝0.5。

分解反馈损失函数L

L

强度损失项L

式中，H和W表示源图像或分解图像的图像高宽(两者高宽相同)，i和j表示第i行第j列，

梯度损失项L

其中

得到特征聚合损失L

本实施例方法在测试阶段或推理应用阶段，所取的源图像都为PET-MRI图像对，而且具体来说是配准的图像对。并且在测试阶段或推理应用阶段同样会有分解图像的生成，但是分解图像不再作为特征聚合网络的输入，直接取特征聚合网络输出的图像进行颜色空间逆转换，转换回RGB空间后得到融合图像。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。