一种脑梗CT到T1的医学图像跨模态合成方法及装置

技术领域

本发明属于跨模态医学图像合成领域，特别是涉及一种脑梗CT到T1的医学图像跨模态合成方法及装置。

背景技术

急性缺血性脑卒中是指由于脑血管阻塞导致脑部供血不足并引起脑组织损伤的一种疾病。T1图像整体感官与临床的习惯风格相近，可以很清楚的看到脑部的各种断层解剖图以及纹理细节部分，然而，MRI的解读成本高，耗时长，而且在特殊人群中使用有限，如金属植入物患者，这使得医生无法及时对其进行影像学诊断。随着深度学习在医学图像分析领域的发展，许多研究者开始利用深度学习方法来实现跨模态医学图像合成，此举可以在不用进行MRI扫描的情况下，实现MRI图像的人工智能合成，能够为医生提供更好的辅助诊断。

针对从CT到MRI的跨模态图像生成问题，不同的生成对抗网络（GenerativeAdversarial Networks, GANs）被应用到医学图像生成中。通过卷积组成GAN的生成器来进行特征提取操作生成图像。虽然在医学图像合成任务中有着良好的表现，但是这种操作不能结合局部与全局特征信息有效的学习远程语义信息。例如医学图像合成常用的GAN模型pix2pix，就是基于卷积操作来进行特征提取的，但是由于其卷积操作受局部感受野的限制，只能对图像进行局部的特征提取，从而导致模型没有提取高频特征信息的能力。在进行CT图像合成时忽略了高频语义特征信息，导致合成的图像质量偏低，纹理细节处不够明显。

因此，为了解决上述问题提出了双重注意力机制的模型，实现了多维度特征信息的融合，并在许多医学成像应用场景中进行了性能实验。

发明内容

本发明的目的在于提供一种脑梗CT到T1的医学图像跨模态合成方法及装置，以解决上述背景技术所提出的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种脑梗CT到T1的医学图像跨模态合成方法，包括以下步骤：

步骤一、数据预处理，将医院采集到的原始Dicom格式的CT和MRI数据使用MRIcron软件转换为Nifit格式，将Nifti格式的CT图像和MR图像转换为PNG格式的二维切片，制作PNG格式的脑梗CT-MRI成对数据集，并制作数据集；

步骤二、模型设计，以pix2pixHD模型为基础框架，基础框架由生成器和鉴别器组成CGAN框架，用于图像之间的相互翻译；所述生成器包含全局生成网络和局部增强网络，所述全局生成网络中添加了双重注意力机制模块，用于生成图像的粗糙和全局特征，所述双重注意力机制模块由两个部分构成，一部分为注意力细化模块，用于保留图像的全局特征信息；另一部分为通道注意力模块，用于学习图像中的高频特征信息，将两部分的信息与初始信息进行融合；所述局部增强网络添加ECA模块，用于增强局部细节特征，ECA模块减少了局部生成器中特征映射过程的上下文语义特征丢失，动态调整了权值并过滤了有效特征通道，网络获得更好的学习相关特征的能力；所述鉴别器采用了多尺度的设计方法用于训练生成器，使用相同的网络结构，在三个不同的尺度上进行判别，然后取平均值；

步骤三、模型训练，使用脑梗CT-T1成对的数据集输入到步骤二的模型中，CT图片为源图像，T1为目标图像，训练是由CT源图像经过模型生成编码器成对应的向量，解码为对应的目标图像，在此过程中，源图像与目标图像成一对一的映射；在模型训练的过程当中，借助步骤二中的生成器在全局生成网络中添加双重注意力机制模块，用于学习图像中的高频特征信息与低频特征信息，从而增强合成图像中纹理细节的展现；所述多尺度鉴别器将真实的与合成的高分辨率图像按2和4的倍数进行采样，创建三个尺度的高分辨率图像，对图像的视图具有全局性，引导生成器生成全局一致的图像，在最细的尺度上的鉴别器监督生成器生成更加精细的细节特征；

步骤四、合成图片，保存经过训练后的生成器，训练好的生成器有效提取输入图像的高频语义特征信息与低频语义特征信息，显示出合成图片中的清晰纹理细节部分。

进一步地，所述数据预处理步骤为：

S1、将医院采集到的原始Dicom格式的CT和MRI数据使用MRIcron软件转换为Nifit格式；

S2、将CT和MRI数据reslice成256，并接着使用3D slicer软件将CT图像和MR图像进行配准；

S3、将MR图像设置为固定图像，CT图像设置为浮动图像，选择Elastix配准工具中的刚性配准作为配准方法，

S4、将CT图像配到MR图像上；

S5、将Nifti格式的CT图像和MR图像按照z轴进行切片，转换为PNG格式的二维切片，制作PNG格式的成对数据集。

进一步地，所述全局生成网络包含双重注意力机制模块，判别器使用多尺度鉴别器，多尺度鉴别器具有更全局的图像视图，可以引导生成器生成全局一致的图像；生成器以pix2pixHD网络为基本结构，并在编码器中添加了双重注意力机制模块进行特征提取，使得高频与低频信息有效的进行权衡；双重注意力机制模块由平行四支组成，包括第一支为ARM注意力细化模块、第二支与第四支代表的是图像的初始信息和第三支为SE_Block模块，其数学公式如下：

式中

进一步地，所述平行四支组中的第一支是将输入图像进行平均池化，这样有助于消除图像中所含有的冗余信息；其次再经过1×1的卷积模块，有助于模型对图像进行低频语义的特征信息提取；第三支是将图像经过SE_Block模块，其公式如下：

输入的特征图大小为

利用挤压操作中聚合的信息，进行第二个操作激励的目的，完全捕获与通道相关的依赖关系；实现这一目标，函数必须满足两个标准，第一需要能学习通道之间的非线性相互作用；学习非互斥关系，确保多个特征通道被强调；选择了一种简单的激活门控制，其公式如下：

式中

第二为限制网络模型的复杂度，通过在非线性周围形成两个完全连接(FC)层的瓶颈来参数化门控机制，其公式如下：

其中，

进一步地，所述ECA模块增强了通道之间的特征交互能力，聚合了通道之间的特征信息，提高了跨层信息的交互；在该位置的ECA模块可以过滤有效信息，执行注意操作，并利用不同信息的卷积块来调整覆盖范围并捕获本地信息间的交互，动态调整特征图各通道间的权重，增强相关性和表现力，对于给定的特征图F的大小为H×C×W，首先对其进行全局平均池化，通过跨空间维度取得全局光滑特征；其公式如下，得到维度为C的全局平均特征向量，

其中

池化得到的张量使用1×3的卷积进行线性变换，公式如下，这里的Conv表示的是1×3的卷积运算，W表示的是卷积核的权矩阵，对输入的特征映射的每个通道进行组合和变换；B表示的是偏置项；

该卷积将每个通道的平均值进行交互学习，得到了新的1×1×C的特征图；在此过程中，对每个通道进行一维的卷积计算，计算每个通道的重要性权重；这些权重表示每个通道的本地上下文中的重要性；

之后对变换后的结果进行逐元Sigmoid运算，得到注意力权值张量S，公式如下：

这个注意权重张量S表示每个通道的重要性；在此过程中，对每个通道进行一维卷积运算，计算每个通道的重要性权重；这些权重表示每个通道在本地上下文中的重要性；

在这种情况下，exp指的是函数的缩写，表示自然指数；Sigmoid函数具有输入映射到范围（0，1）的属性；

最后，通过相乘，公式如下，其中“×”表示注意权重张量S中每个通道的注意权重与输入特征映射F中对应的特征通道之间的逐元素乘法，

得到突出重要信息的特征映射O，其大小为H×W×C；这就允许自适应学习通道之间的关系，并增强特征的表示能力。

进一步地，所述全局生成网络由卷积前端

进一步地，所述鉴别器使用多尺度鉴别器，用于区分高分辨率的真实图像和合成图像，使用三个具有相同网络结构的鉴别器，但在不同的图像尺度上工作，将鉴别器称为D1, D2和D3，将真实的和合成的高分辨率图像按2和4的倍数进行采样，以创建三个尺度的图像金字塔；然后训练鉴别器D1、D2和D3分别区分三种不同尺度下的真实图像和合成图像；

多尺度鉴别器，学习问题变成多任务学习问题，

在无条件GAN中提出了在相同图像尺度下使用多个GAN鉴别器；

损失函数，pix2pix方法是一个用于图像到图像转换的条件GAN框架；由生成器G和鉴别器D组成；生成器G的目标是将语义标签映射翻译成逼真的图像，而鉴别器D的目标是将真实图像与翻译后的图像区分开来；该框架在监督下运行，训练数据集被给定为对应图像对的集合

其中目标函数

通过结合基于鉴别器的特征匹配损失来改善Eq.(2)中的GAN损失；这种损失稳定了训练，因为生成器必须在多个尺度上产生自然统计；从多层鉴别器中提取特征，并学习从真实图像和合成图像中匹配这些中间表示；为了表示方便，将鉴别器

式中，T为层数，

完整目标将GAN损失和特征匹配损失结合公式为，

其中λ控制两项的重要性，注意，对于特征匹配损失

一种脑梗CT到T1的医学图像跨模态合成装置，应用了所述脑梗CT到T1的医学图像跨模态合成方法的装置。

本发明具有以下有益效果：

本发明首先使用数据预处理之后的成对的CT和MRI数据集对模型进行训练，在训练过程中，模型能够更好的学习图像的高频语义特征信息与低频语义特征信息，更好的提取输入图像中的上下文信息。训练后的模型能够快速准确地完成从脑梗CT到MRI的合成。不同于现有常用的医学图像合成模型，本发明提出的模型以pix2pixHD为基础框架，在全局生成网络中添加了双重注意力机制模块。基于此模块能够更好的使得模型学习到图像的高频与低频语义特征信息，并进一步融合初始语义特征信息。在局部增强网络添加ECA模块，增强局部细节特征，减少了局部生成器中特征映射过程的上下文语义特征丢失，动态调整了权值并过滤了有效特征通道，网络获得更好的学习相关特征的能力。

本发明提出的网络有效的捕获了医学图像的低频与高频语义特征信息，更专注于图像中的纹理细节部分，根据定性结果和定量结果判断，生成的目标图像的几何形状与参考图像的结构相似性高，重建出的图片接近真实参考图像，而且重建出的图片在细节方面展示的效果也比较好，合成的MRI医学图像能够更加清楚的展现出脑部的纹理细节部分。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的跨模态医学图像合成深度学习模型示意图；

图2为本发明的双重注意力机制模块示意图；

图3为本发明的通道注意力机制模块；

图4为ECA模块；

图5为本发明由提出的模型合成的T1结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-5所示，本发明为一种脑梗CT到T1的医学图像跨模态合成方法，包括以下步骤：

步骤一、数据预处理，将医院采集到的原始Dicom格式的CT和MRI数据使用MRIcron软件转换为Nifit格式，将Nifti格式的CT图像和MR图像转换为PNG格式的二维切片，制作PNG格式的脑梗CT-MRI成对数据集，并制作数据集；

步骤二、模型设计，以pix2pixHD模型为基础框架，基础框架由生成器和鉴别器组成CGAN框架，用于图像之间的相互翻译；所述生成器包含全局生成网络和局部增强网络，所述全局生成网络中添加了双重注意力机制模块，用于生成图像的粗糙和全局特征，所述双重注意力机制模块由两个部分构成，一部分为注意力细化模块，用于保留图像的全局特征信息；另一部分为通道注意力模块，用于学习图像中的高频特征信息，将两部分的信息与初始信息进行融合；所述局部增强网络添加ECA模块，用于增强局部细节特征，ECA模块减少了局部生成器中特征映射过程的上下文语义特征丢失，动态调整了权值并过滤了有效特征通道，网络获得更好的学习相关特征的能力；所述鉴别器采用了多尺度的设计方法用于训练生成器，使用相同的网络结构，在三个不同的尺度上进行判别，然后取平均值；

步骤三、模型训练，使用脑梗CT-T1成对的数据集输入到步骤二的模型中，CT图片为源图像，T1为目标图像，训练是由CT源图像经过模型生成编码器成对应的向量，解码为对应的目标图像，在此过程中，源图像与目标图像成一对一的映射；在模型训练的过程当中，借助步骤二中的生成器在全局生成网络中添加双重注意力机制模块，用于学习图像中的高频特征信息与低频特征信息，从而增强合成图像中纹理细节的展现；所述多尺度鉴别器将真实的与合成的高分辨率图像按2和4的倍数进行采样，创建三个尺度的高分辨率图像，对图像的视图具有全局性，引导生成器生成全局一致的图像，在最细的尺度上的鉴别器监督生成器生成更加精细的细节特征；

步骤四、合成图片，保存经过训练后的生成器，训练好的生成器有效提取输入图像的高频语义特征信息与低频语义特征信息，显示出合成图片中的清晰纹理细节部分。

数据预处理步骤为：

S1、将医院采集到的原始Dicom格式的CT和MRI数据使用MRIcron软件转换为Nifit格式；

S2、将CT和MRI数据reslice成256，并接着使用3D slicer软件将CT图像和MR图像进行配准；

S3、将MR图像设置为固定图像，CT图像设置为浮动图像，选择Elastix配准工具中的刚性配准作为配准方法，

S4、将CT图像配到MR图像上；

S5、将Nifti格式的CT图像和MR图像按照z轴进行切片，转换为PNG格式的二维切片，制作PNG格式的成对数据集。

全局生成网络包含双重注意力机制模块，判别器使用多尺度鉴别器，多尺度鉴别器具有更全局的图像视图，可以引导生成器生成全局一致的图像；生成器以pix2pixHD网络为基本结构，并在编码器中添加了双重注意力机制模块进行特征提取，使得高频与低频信息有效的进行权衡；双重注意力机制模块由平行四支组成，包括第一支为ARM注意力细化模块、第二支与第四支代表的是图像的初始信息和第三支为SE_Block模块，其数学公式如下：

式中

平行四支组中的第一支是将输入图像进行平均池化，这样有助于消除图像中所含有的冗余信息；其次再经过1×1的卷积模块，有助于模型对图像进行低频语义的特征信息提取；第三支是将图像经过SE_Block模块，其公式如下：

输入的特征图大小为

利用挤压操作中聚合的信息，进行第二个操作激励的目的，完全捕获与通道相关的依赖关系；实现这一目标，函数必须满足两个标准，第一需要能学习通道之间的非线性相互作用；学习非互斥关系，确保多个特征通道被强调；选择了一种简单的激活门控制，其公式如下：

式中

第二为限制网络模型的复杂度，通过在非线性周围形成两个完全连接(FC)层的瓶颈来参数化门控机制，其公式如下：

其中，

ECA模块增强了通道之间的特征交互能力，聚合了通道之间的特征信息，提高了跨层信息的交互；在该位置的ECA模块可以过滤有效信息，执行注意操作，并利用不同信息的卷积块来调整覆盖范围并捕获本地信息间的交互，动态调整特征图各通道间的权重，增强相关性和表现力，对于给定的特征图F的大小为H×C×W，首先对其进行全局平均池化，通过跨空间维度取得全局光滑特征；其公式如下，得到维度为C的全局平均特征向量，

其中

池化得到的张量使用1×3的卷积进行线性变换，公式如下，这里的Conv表示的是1×3的卷积运算，W表示的是卷积核的权矩阵，对输入的特征映射的每个通道进行组合和变换；B表示的是偏置项；

该卷积将每个通道的平均值进行交互学习，得到了新的1×1×C的特征图；在此过程中，对每个通道进行一维的卷积计算，计算每个通道的重要性权重；这些权重表示每个通道的本地上下文中的重要性；

之后对变换后的结果进行逐元Sigmoid运算，得到注意力权值张量S，公式如下：

这个注意权重张量S表示每个通道的重要性；在此过程中，对每个通道进行一维卷积运算，计算每个通道的重要性权重；这些权重表示每个通道在本地上下文中的重要性；

在这种情况下，exp指的是函数的缩写，表示自然指数；Sigmoid函数具有输入映射到范围（0，1）的属性；

最后，通过相乘，公式如下，其中“×”表示注意权重张量S中每个通道的注意权重与输入特征映射F中对应的特征通道之间的逐元素乘法，

得到突出重要信息的特征映射O，其大小为H×W×C；这就允许自适应学习通道之间的关系，并增强特征的表示能力。

全局生成网络由卷积前端

鉴别器使用多尺度鉴别器，用于区分高分辨率的真实图像和合成图像，使用三个具有相同网络结构的鉴别器，但在不同的图像尺度上工作，将鉴别器称为D1, D2和D3，将真实的和合成的高分辨率图像按2和4的倍数进行采样，以创建三个尺度的图像金字塔；然后训练鉴别器D1、D2和D3分别区分三种不同尺度下的真实图像和合成图像；

多尺度鉴别器，学习问题变成多任务学习问题，

在无条件GAN中提出了在相同图像尺度下使用多个GAN鉴别器；

损失函数，pix2pix方法是一个用于图像到图像转换的条件GAN框架；由生成器G和鉴别器D组成；生成器G的目标是将语义标签映射翻译成逼真的图像，而鉴别器D的目标是将真实图像与翻译后的图像区分开来；该框架在监督下运行，训练数据集被给定为对应图像对的集合

其中目标函数

通过结合基于鉴别器的特征匹配损失来改善Eq.(2)中的GAN损失；这种损失稳定了训练，因为生成器必须在多个尺度上产生自然统计；从多层鉴别器中提取特征，并学习从真实图像和合成图像中匹配这些中间表示；为了表示方便，将鉴别器

式中，T为层数，

完整目标将GAN损失和特征匹配损失结合公式为，

其中λ控制两项的重要性，注意，对于特征匹配损失

一种脑梗CT到T1的医学图像跨模态合成装置，应用了所述脑梗CT到T1的医学图像跨模态合成方法的装置。

具体实施例

数据预处理：在医院采集到的原始数据为医学数字成像和通信（Digital Imagingand Communications in Medicine，DICOM）格式，首先将数据转换为神经影像信息学技术倡议（NeuroimagingInformatics Technology Initiative，NIFTI）格式的三维图像，并删除了患者隐私数据。

接着将CT和MRI数据reslice成256大小，为了获得用于模型训练的配对数据集，将MR图像和CT图像进行配准。具体来说，使用3D Slicer软件的Elastix配准工具，将MR图像设置为固定图像，CT图像设置为浮动图像，选择Elastix配准工具中的刚性配准作为配准方法，将CT图像配准到MR图像上。然后对得到的图像按照z轴进行切片，最后得到配对的CT图像和MRI图像的二维切片，制作PNG格式的脑梗CT-MRI成对数据集，并制作数据集。

模型设计以pix2pixHD (Pixel to Pixel High Definition)模型为基础框架，基础框架由生成器(G)和鉴别器(D)组成的CGAN框架，用于图像之间的相互翻译；所述生成器包含全局生成网络和局部增强网络，所述全局生成网络中添加了双重注意力机制模块，用于生成图像的粗糙和全局特征(如外部轮廓和几何结构)，双重注意力机制模块由两个部分构成，一部分由注意力细化模块（Attention Refinment Module），用于保留图像的全局特征信息；另一部分为通道注意力模块，用于学习图像中的高频特征信息，将两者的信息与初始信息进行融合；

基于双重注意力机制模块可以有效的捕获高频与低频特征信息，再与初始信息进行融合，这样不仅可以使得图像凸显高频特征信息，且融合了初始信息减少了由下采样所丢失特征信息。

通过双重注意力机制模块对图像的高频特征信息与低频特征信息进行捕捉，学习纹理细节与上下文的特征信息，然后通过与初始信息融合来弥补下采样所丢失的语义特征信息，从而使得图像的细节部位能够更清楚的展示出脑部T1序列的纹理细节部分，如图5所示。

所述局部增强网络添加ECA模块，用于增强局部细节特征，ECA模块减少了局部生成器中特征映射过程的上下文语义特征丢失，动态调整了权值并过滤了有效特征通道，网络获得更好的学习相关特征的能力；

此外，为了能够更好的对合成的医学图像质量进行客观评价，在此使用了三个客观的指标，包括均方误差、峰值信噪比和结构相似性。均方误差是基于像素测量差异，其值越低则表明合成的图像质量越高。峰值信噪比是人类对重建后的图像质量的感知，其值越高越好。结构相似性所展示的是源图像与合成图像之间的整体相似性，如果结构相似性接近于1则表明源图像与合成图像越相似。

表1 是本发明的评价指标

根据表1给出的评价指标可以看出，合成图像和参考图像的均方误差较低，峰值信噪比较高，结构相似性接近1，表明生成的目标图像质量高，生成的目标图像的几何形状与参考图像较为相似。定量结果表明，所提出的模型的性能优异，具有较高的精度，如图1所示。多尺度判别器设计首先在真实图像和合成图像的基础上构建一个三层图像金字塔，并对图像的每一层训练一个判别器，区分两个网络结构相同但输入图像大小不同的判别器。在这部分的设计中，希望小尺寸的鉴别器有利于图像整体的综合，大尺寸的鉴别器有利于图像细节的综合。目标是构建一个深度学习网络，利用本文所搭建的模块在特征提取中的优势与pix2pixHD的优势相辅相成，不仅能够改善图像的合成质量，也能使得纹理细节部分清楚的展示出来。

所述鉴别器采用了多尺度的设计方法用于训练生成器，使用相同的网络结构，在三个不同的尺度上进行判别，然后取平均值；

具体来讲，全局生成网络包含了一个本文所搭建的双重注意力机制模块，判别器使用了多尺度鉴别器，具有更全局的图像视图，可以引导生成器生成全局一致的图像，图1为本申请所提出的深度学习网络的示意图。

双重注意力机制模块：生成器以pix2pixHD网络为基本结构，并在编码器中添加了双重注意力机制模块以更好的进行特征提取，从而使得高频与低频信息有效的进行权衡。具体来讲，双重注意力机制模块一共由平行四支组成如图2所示，其数学公式如下：

式中：

第一支先将输入图像进行平均池化，这样有助于消除图像中所含有的冗余信息如（伪影、噪点等）；其次再经过1×1的卷积模块，有助于模型对图像进行低频语义的特征信息提取。第三支是将图像经过SE_Block模块如图3所示，其公式如下：

输入的特征图大小为

为了利用挤压操作中聚合的信息，之后进行的第二个操作激励的目的是完全捕获与通道相关的依赖关系。为了能够实现这一目标，函数必须满足两个标准，第一需要能学习通道之间的非线性相互作用；学习非互斥关系，确保多个特征通道被强调。因此，选择了一种简单的激活门控制，其公式如下：

式中

第二为限制网络模型的复杂度因此需要通过在非线性周围形成两个完全连接(FC)层的瓶颈来参数化门控机制，其公式如下：

其中，

ECA模块:本次发明在局部特征生成器中添加了ECA模块增强了通道之间的特征交互能力，有效的聚合了通道之间的特征信息，提高了跨层信息的交互。在该位置的ECA模块可以过滤有效信息，执行注意操作，并利用不同信息的卷积块来调整覆盖范围并捕获本地信息间的交互，动态调整特征图各通道间的权重，增强相关性和表现力。具体而言，如图4所示，对于给定的特征图F的大小为H×C×W，首先对其进行全局平均池化（global averagepooling），通过跨空间维度得到全局光滑特征。其公式如下，得到维度为C的全局平均特征向量。

其中

池化得到的张量使用1×3的卷积进行线性变换，公式如下，这里的Conv表示的是1×3的卷积运算，W表示的是卷积核的权矩阵，它对输入的特征映射的每个通道进行组合和变换。B表示的是偏置项。

该卷积将每个通道的平均值进行交互学习，得到了新的1×1×C的特征图。在此过程中，对每个通道进行一维的卷积计算，计算每个通道的重要性权重。这些权重表示每个通道的本地上下文中的重要性。

之后对变换后的结果进行逐元Sigmoid运算，得到注意力权值张量S，公式如下：

这个注意权重张量S表示每个通道的重要性。在此过程中，对每个通道进行一维卷积运算，计算每个通道的重要性权重。这些权重表示每个通道在本地上下文中的重要性。

在这种情况下，exp指的是函数的缩写，表示自然指数。Sigmoid函数具有输入映射到范围（0，1）的属性。

最后，通过相乘，公式如下。其中“×”表示注意权重张量S中每个通道的注意权重与输入特征映射F中对应的特征通道之间的逐元素乘法。

得到突出重要信息的特征映射O，其大小为H×W×C。这就允许自适应学习通道之间的关系，并增强特征的表示能力。

多尺度鉴别器：为了区分高分辨率的真实图像和合成图像，鉴别器需要有一个大的接受野。这将需要更深的网络或更大的卷积核，这两者都会增加网络容量并可能导致过拟合。此外，这两种选择都需要更大的内存占用于进行训练，这已经是高分辨率图像生成的稀缺资源。为了解决这个问题，使用多尺度鉴别器。使用了3个鉴别器，它们具有相同的网络结构，但在不同的图像尺度上工作。将把鉴别器称为D1, D2和D3。具体来说，将真实的和合成的高分辨率图像按2和4的倍数进行采样，以创建3个尺度的图像金字塔。然后训练鉴别器D1、D2和D3分别区分3种不同尺度下的真实图像和合成图像。尽管鉴别器的结构相同，但在最粗糙的尺度上工作的鉴别器具有最大的接受域。它具有更全局的图像视图，可以引导生成器生成全局一致的图像。另一方面，在最精细的尺度上的鉴别器鼓励生成器产生更精细的细节。这也使得训练从粗到精的生成器更容易，因为将低分辨率模型扩展到更高分辨率只需要在最精细的级别添加鉴别器，而不是从头开始重新训练。在没有多尺度鉴别器的情况下，观察到生成的图像中经常出现许多重复的图案。

有了鉴别器，学习问题就变成了多任务学习问题，

在无条件GAN中提出了在相同图像尺度下使用多个GAN鉴别器。

损失函数：pix2pix方法是一个用于图像到图像转换的条件GAN框架。它由生成器G和鉴别器D组成。生成器G的目标是将语义标签映射翻译成逼真的图像，而鉴别器D的目标是将真实图像与翻译后的图像区分开来。该框架在监督下运行。换句话说，训练数据集被给定为对应图像对的集合

其中目标函数

通过结合基于鉴别器的特征匹配损失来改善Eq.(2)中的GAN损失。这种损失稳定了训练，因为生成器必须在多个尺度上产生自然统计。具体来说，从多层鉴别器中提取特征，并学习从真实图像和合成图像中匹配这些中间表示。为了表示方便，将鉴别器

式中，T为层数，

完整目标将GAN损失和特征匹配损失结合为：

其中λ控制两项的重要性。注意，对于特征匹配损失

实验设置：数据集以8：2的比例被随机划分为训练集和测试集。每位脑梗患者的CT和MRI包含多个横断面的2D图像切片，将这些切片重采样为256×256的大小。使用的实验开发环境是pytorch2.0.1，在NVIDIA RTX 3090图形处理器上，所有的网络都是从头开始训练的，使用Adam优化器，学习率为0.0002。在前200个epoch中保持相同的学习率，并在接下来的100个epoch中将学习率线性衰减到零。权重从均值为0，标准差为0.02的高斯分布初始化。batch size设置为1，提出的模型在NVIDIA RTX 3090 图形处理器训练了约48个小时，实验环境和具体设置如表2所示。

表2是本发明的实验环境和参数设置

本发明的主要贡献总结如下：

本发明将双重注意力机制模块和pix2pixHD网络相结合，以有利于融合图像中的高频语义特征信息与低频语义特征信息，提升高频特征信息与低频特征信息的梯度，从而更好的展现出图像中的纹理细节部分。以实现脑梗CT到T1医学图像的合成，具有可以快速合成T1图像，并且能够清楚展现出其纹理细节部分。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。