医学图像生成方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种医学图像生成方法、装置、电子设备及存储介质。

背景技术

人工智能(Artificial Intelligence，AI)在医学图像领域应用范围广泛，包括分类、检测、分割、配准等任务，在医学图像成像、图像处理与分析、疾病早期筛查、风险预测、手术计划制定、术中辅助导航等方向都有效应用多种算法，提升医疗服务水平。

但AI模型的进一步发展受到数据的限制，特别是对数据集的严重依赖。相关技术中缓解数据限制的主要方法是利用生成模型，例如基于生成对抗网络(GenerativeAdversarial Networks，GAN)可以生成较高质量的自然图像，但易出现模式崩塌和伪影等问题。由于医学图像对结构保真度等具有较高要求，而且医学图像的语义往往简单且相近，不同风格之间差距较小，适合训练的数据集有限，能够根据不同的要求调整生成图像的特性仍十分困难。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请实施例提供了一种医学图像生成方法、装置、电子设备及存储介质，能够根据不同的风格特征图和内容特征图，将噪声图像对应生成医学图像，并通过迁移模型实现根据不同的要求调整生成图像的特性需求，有效防止模型崩塌和伪影等问题。

第一方面，本申请实施例提供了一种医学图像生成方法，包括：

获取噪声图像、内容特征图和风格特征图；其中，所述噪声图像具有第一噪声，所述内容特征图表征目标医学图像的内容特征，所述风格特征图表征所述目标医学图像的风格特征；

拼接所述噪声图像、所述内容特征图和所述风格特征图得到第一图像；

执行去噪过程，所述去噪过程包括以下步骤：

将待处理图像输入至预训练的生成器中进行去噪，得到预测噪声；其中，所述待处理图像的初始值为所述第一图像；

根据所述待处理图像和所述预测噪声，得到具有第二噪声的第二图像；其中，所述待处理图像具有初始噪声，所述初始噪声的初始值为所述第一噪声；

将所述第二图像、所述内容特征图和所述风格特征图输入迁移模型得到图像质量指标；

如果所述图像质量指标不满足预设生成条件和/或执行所述去噪过程的去噪次数不满足预设去噪次数，则将所述第二图像作为所述待处理图像，所述第二噪声作为所述初始噪声，重复执行所述去噪过程；

获取所述去噪过程生成的所述第二图像作为生成的医学图像，所述医学图像和所述目标医学图像的相似度满足预设相似度要求。

在本申请的一些实施例中，所述生成器为基于UNet网络的扩散模型；所述执行去噪过程之前，还包括：

训练所述生成器，包括：

获取包括多个原始图像的训练集，并对所述原始图像添加高斯噪声得到加噪图像；其中，所述加噪图像是所述原始图像和所述高斯噪声基于加噪次数的线性组合方式得到的；

执行去噪训练过程，包括：

将训练图像输入至所述扩散模型中，训练所述UNet网络对噪声进行预测，得到初始预测噪声；其中，所述训练图像的初始值为所述加噪次数为预设加噪次数的加噪图像；

根据所述初始预测噪声和所述训练图像，得到输出图像；

若未达到预设训练次数，则将所述输出图像作为所述训练图像，重复执行所述去噪训练过程；其中，所述预设训练次数与所述预设加噪次数相同。

在本申请的一些实施例中，所述预测噪声与所述待处理图像和所述去噪次数相关；所述根据所述待处理图像和所述预测噪声，得到具有第二噪声的第二图像，包括：

将所述待处理图像减去所述预测噪声，得到具有初始第二噪声的初始第二图像；

计算所述初始第二图像的缩放系数，将所述初始第二图像加上所述缩放系数得到具有所述第二噪声的所述第二图像。

在本申请的一些实施例中，所述图像质量指标包括第一图像质量指标；所述将所述第二图像、所述内容特征图和所述风格特征图输入迁移模型得到图像质量指标，包括：

将所述第二图像输入至所述迁移模型进行特征提取，得到特征向量；

将所述风格特征图输入至所述迁移模型进行特征提取，得到风格特征向量；

基于所述特征向量和所述风格特征向量计算第一图像质量指标。

在本申请的一些实施例中，所述第一图像质量指标包括风格损失和伪影损失；所述基于所述特征向量和所述风格特征向量计算第一图像质量指标，包括：

根据余弦距离和推土机距离，计算所述特征向量和所述风格特征向量的最小距离的最大值，得到所述风格损失；

根据矩匹配损失，计算所述特征向量和所述风格特征向量的均值L1范数和协方差L1范数，得到所述伪影损失；

根据所述风格损失、所述伪影损失和损失权重计算得到所述第一图像质量指标。

在本申请的一些实施例中，所述图像质量指标还包括第二图像质量指标；所述将所述第二图像、所述内容特征图和所述风格特征图输入迁移模型得到图像质量指标，包括：

将所述内容特征图像输入至所述迁移模型进行特征提取，得到内容特征向量；

基于所述特征向量和所述内容特征向量计算第二图像质量指标；其中，所述第二图像质量指标为内容损失，计算各个所述特征向量的第一距离和各个所述内容特征向量的第二距离，计算所述第一距离和所述第二距离的差值得到所述内容损失。

在本申请的一些实施例中，所述图像质量指标根据所述第一图像质量指标和所述第二图像质量指标加权计算得到；所述预设生成条件为所述图像质量指标小于预设指标值。

第二方面，本申请实施例还提供了一种医学图像生成装置，应用如本申请第一方面实施例所述的医学图像生成方法，包括：

获取模块，用于获取噪声图像、内容特征图和风格特征图；其中，所述噪声图像具有第一噪声，所述内容特征图表征目标医学图像的内容特征，所述风格特征图表征所述目标医学图像的风格特征；

拼接模块，用于拼接所述噪声图像、所述内容特征图和所述风格特征图得到第一图像；

去噪模块，用于执行去噪过程，所述去噪过程包括以下步骤：

将待处理图像输入至预训练的生成器中进行去噪，得到预测噪声；其中，所述待处理图像的初始值为所述第一图像；

根据所述待处理图像和所述预测噪声，得到具有第二噪声的第二图像；其中，所述待处理图像具有初始噪声，所述初始噪声的初始值为所述第一噪声；

将所述第二图像、所述内容特征图和所述风格特征图输入迁移模型得到图像质量指标；

如果所述图像质量指标不满足预设生成条件和/或执行所述去噪过程的去噪次数不满足预设去噪次数，则将所述第二图像作为所述待处理图像，所述第二噪声作为所述初始噪声，重复执行所述去噪过程；

生成模块，用于获取所述去噪过程生成的所述第二图像作为生成的医学图像，所述医学图像和所述目标医学图像的相似度满足预设相似度要求。

第三方面，本申请实施例还提供了一种电子设备，包括存储器、处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如本申请第一方面实施例所述的医学图像生成方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如本申请第一方面实施例所述的医学图像生成方法。

本申请实施例至少包括以下有益效果：

本申请实施例提供了一种医学图像生成方法、装置、电子设备及存储介质，其中，方法通过获取并拼接噪声图像、内容特征图和风格特征图得到第一图像，噪声图像具有第一噪声，内容特征图表征目标医学图像的内容特征，风格特征图表征目标医学图像的风格特征。将第一图像作为待处理图像的初始值执行去噪过程，包括，将待处理图像输入至预训练的生成器中进行去噪，得到预测噪声后，根据待处理图像和预测噪声计算得到具有第二噪声的第二图像，并将第二图像、内容特征图和风格特征图输入迁移模型得到图像质量指标，如果图像质量指标不满足预设生成条件和/或执行去噪过程的去噪次数不满足预设去噪次数，则将第二图像作为待处理图像，重复执行去噪过程，然后获取去噪过程生成的第二图像作为生成的医学图像，其中医学图像和目标医学图像的相似度满足预设相似度要求。由此可知，对预训练的生成器输入不同的风格特征图和内容特征图，即可根据噪声图像对应生成目标风格特征和内容特征的目标医学图像，并且通过迁移模型更好地满足了根据不同的要求调整生成图像的特性需求，有效防止了模型崩塌和伪影等问题，提高医学图像生成的质量和准确性。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请一个实施例提供的基于GAN生成模型对比示意图；

图2是本申请一个实施例提供的医学图像生成方法的流程示意图；

图3是图2中步骤S103之前的流程示意图；

图4是本申请一个实施例提供的生成器训练过程示意图；

图5是图2中步骤S202的流程示意图；

图6是本申请一个实施例提供的医学图像生成过程示意图；

图7是图2中步骤S203的流程示意图；

图8是图7中步骤S703的流程示意图；

图9是图2中步骤S203的另一流程示意图；

图10是本申请一个实施例提供的医学图像生成模型示意图；

图11是本申请一个实施例提供的医学图像生成装置模块示意图；

图12是本申请一个实施例提供的电子设备的结构示意图。

附图标记：获取模块100、拼接模块200、去噪模块300、生成模块400、电子设备1000、处理器1001、存储器1002。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

在本申请的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本申请的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请中的具体含义。

人工智能(Artificial Intelligence，AI)在医学影像领域应用范围广泛，包括分类、检测、分割、配准等任务，在医学影像成像、图像处理与分析、疾病早期筛查、风险预测、手术计划制定、术中辅助导航等方向都有多种算法能有效应用，提升医疗服务水平。但AI模型的进一步发展受到数据的限制，特别是对数据集的严重依赖。AI模型的发展主要有三个因素：算力、算法和数据。其中算力和算法的发展足以支撑现有应用，因此AI模型面对的瓶颈问题是对数据集的严重依赖。

患者隐私和扫描成本使得医疗大数据难以获得，高质量的医学图像标注需要较高成本，目前公开可用于训练的数据集则存在标注质量较低或者缺少标注，数据分布不均衡，数据集之间的标签不对齐等问题，这些问题都极大限制着医疗AI模型的效果。目前缓解数据限制的主要方法为利用生成模型，已有的算法主要基于变分自编码器(Variationalauto-encoder，VAE),生成对抗网络(Generative Adversarial Networks，GAN),流模型(Flow-based Generative Model)，以及扩散模型(diffusion model,DM)等。

其中研究最多的是基于GAN的算法，该类算法能生成较高质量的自然图像，但易出现模式崩塌和伪影等问题，参照图1的基于GAN生成模型对比示意图所示，其中GauGAN、Pix2pixHD、Cyc leGAN均为基于GAN的生成模型，相对于GroundTruth代表的真实结果，会发现其有模式崩塌、细节模糊以及局部结构变形等问题，并且训练困难，本申请实施例提供的医学图像生成方法生成的医学图像为Ours示例，相对于其他的生成图像与GroundTruth更为接近，防止了模型崩塌和伪影等问题，提高了医学图像生成的质量和准确性。而扩散模型训练收敛，条件生成的图像质量较高，结构信息上更加保真，但在医学图像领域能够根据要求调整生成图像特性仍十分困难，因为医学影像往往语义简单且相近，不同风格之间差距较小，适合训练的数据集有限，所以在医学影像领域的可控条件生成的工作较少。

基于此，本申请实施例提供了一种医学图像生成方法、装置、电子设备及存储介质，能够对预训练的生成器输入不同的风格特征图和内容特征图，将噪声图像对应生成目标风格特征和内容特征的目标医学图像，由此基于内容和风格等条件信息生成相应的医学图像补充标注数据集，并且通过迁移模型更好地满足了根据不同的要求调整生成图像的特性需求，有效防止了模型崩塌和伪影等问题。

本申请实施例提供医学图像生成方法、装置、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的医学图像生成方法。

本申请实施例提供的医学图像生成方法，涉及人工智能技术领域，尤其涉及图像处理技术领域。本申请实施例提供的医学图像生成方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的计算机程序。举例来说，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(APP，Application)，即需要在操作系统中安装才能运行的程序，如支持医学图像生成的客户端，即只需要下载到浏览器环境中就可以运行的程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。其中，终端通过网络与服务器进行通信。该医学图像生成方法可以由终端或服务器执行，或由终端和服务器协同执行。

在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机或者智能手表等。服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器；也可以是区块链系统中的服务节点，该区块链系统中的各服务节点之间组成点对点(P2P，PeerTo Peer)网络，P2P协议是一个运行在传输控制协议(TCP，Transmission ControlProtocol)协议之上的应用层协议。服务器上可以安装医学图像生成系统的服务端，通过该服务端可以与终端进行交互，例如服务端上安装对应的软件，软件可以是实现医学图像生成方法的应用等，但并不局限于以上形式。终端与服务器之间可以通过蓝牙、USB(Universal Serial Bus，通用串行总线)或者网络等通讯连接方式进行连接，本实施例在此不做限制。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

下面描述本发明实施例中的医学图像生成方法。

参照图2所示，本申请实施例提供了一种医学图像生成方法，包括但不限于以下步骤S101至步骤S104。

步骤S101，获取噪声图像、内容特征图和风格特征图。

在一些实施例中，噪声图像为高斯噪声图像，噪声图像可以从高斯噪声中采样获取得到。可以理解的是，为了生成相应的医学图像并补充标注数据集，以帮助其他人工智能模型进行训练，需要获取对应的内容特征图和风格特征图，其中内容特征图表征目标医学图像的内容特征，风格特征图则表征目标医学图像的风格特征。

在一些实施例中，在医学图像生成场景中，内容特征图指的是图像中所包含的有关解剖结构、器官或病变的信息。这些特征可能包括图像中的边缘、纹理、颜色、形状和大小等方面。在医学图像中，内容特征对于医生和研究人员来说非常重要，因为它们可以提供关于疾病状态、异常区域和解剖结构的定量和定性信息。而风格特征则是指医学图像的视觉特点和表现方式。不同类型的医学图像(如X射线、CT等)会由于其成像原理和参数不同而具有独特的风格特征。风格特征可能包括图像的对比度、亮度、噪声水平、灰度分布等方面。通过分析和比较不同风格特征，可以帮助医生和研究人员更好地理解和解释医学图像的特点，从而做出更准确的诊断和判断。因此，内容特征图和风格特征图是对于生成不同医学图像的重要控制条件，可以理解的是，控制条件还可以包括描述内容特征或风格特征的文本信息等，本实施例对此不做限制。

步骤S102，拼接噪声图像、内容特征图和风格特征图得到第一图像。

在一些实施例中，噪声图像、内容特征图和风格特征图以矩阵形式表示，三者的维度可以相同，因此可以按照一定的顺序将这些特征矩阵叠加拼接起来。示例性的，可以按照噪声图像I

步骤S103，执行去噪过程。

在一些实施例中，得到第一图像后便执行去噪过程，其中去噪过程可以包括但不限于以下步骤S201至步骤S204。

步骤S201，将待处理图像输入至预训练的生成器中进行去噪，得到预测噪声。

在一些实施例中，将第一图像作为待处理图像的初始值，将待处理图像输入至预训练的生成器中进行去噪，即将第一图像输入至该生成器中去噪，得到预测噪声。可以理解的是，去噪的目的是从图像中减少或消除噪声，使图像更加清晰和易于分析。将待处理图像输入预训练的生成器时，生成器通过学习并尝试预测出待处理图像中的噪声，得到预测噪声。

步骤S202，根据待处理图像和预测噪声，得到具有第二噪声的第二图像。

在一些实施例中，待处理图像具有初始噪声，其中初始噪声的初始值对应为噪声图像的第一噪声。根据待处理图像和预测噪声得到一个新的图像，其中新的图像具有新的噪声，由待处理图像的初始噪声和预测噪声得到，即得到了具有第二噪声的第二图像。

步骤S203，将第二图像、内容特征图和风格特征图输入迁移模型得到图像质量指标。

在一些实施例中，将第二图像、内容特征图和风格特征图输入迁移模型得到图像质量指标，通过迁移模型可以实现根据不同的内容特征要求和风格特征要求对生成器生成的第二图像进行评估，得到对应的图像质量指标，由此引导生成器生成图像的风格迁移，最终对应生成目标风格和内容的医学图像，实现了根据不同的要求调整生成图像的特性需求，有效防止了模型崩塌和伪影等问题。

步骤S204，如果图像质量指标不满足预设生成条件和/或执行去噪过程的去噪次数不满足预设去噪次数，则将第二图像作为待处理图像，第二噪声作为初始噪声，重复执行去噪过程。

在一些实施例中，如果图像质量指标不满足预设生成条件，说明生成器生成的该第二图像还未达到目标医学图像的内容保真度和风格要求，或者执行去噪过程的去噪次数不满足预设去噪次数时，将第二图像作为待处理图像，第二图像对应的第二噪声作为待处理图像中的初始噪声，重复执行去噪过程S103，即重复执行步骤S201至步骤S204，直至图像质量指标满足预设生成条件和/或执行去噪过程的去噪次数满足预设去噪次数。

步骤S104，获取去噪过程生成的第二图像作为生成的医学图像，医学图像和目标医学图像的相似度满足预设相似度要求。

在一些实施例中，获取去噪过程生成的第二图像作为生成的医学图像，以补充相关人工智能模型的训练数据集。可以理解的是，医学图像和目标医学图像的相似度满足预设相似度要求，具体的，预设相似度要求可以包括内容特征相似度和风格特征相似度。示例性的，生成的医学图像和目标医学图像的内容特征相似度满足95％以及风格特征相似度满足90％，被认为是一个成功的生成示例，本实施例对此不做限制。

参照图3所示，在本申请的一些实施例中，上述步骤S103之前还包括训练生成器，训练生成器可以包括但不限于以下步骤S301至步骤S304。

步骤S301，获取包括多个原始图像的训练集，并对原始图像添加高斯噪声得到加噪图像。

在一些实施例中，生成器为基于UNet网络的扩散模型，UNet网络是一种深度学习架构，用于图像生成和语义分割任务，UNet网络结构由编码器和解码器组成。编码器部分由一系列卷积层和池化层组成，逐渐减小输入图像的空间尺寸和增加抽象特征的数量。解码器部分使用上采样和卷积操作，逐渐恢复图像的空间尺寸和细节信息。解码器的输出与编码器相对应的层级进行连接，以融合不同层级的特征信息。而扩散模型是对UNet网络的一种扩展，在解码器部分引入扩散操作，通过对局部感知野内的像素进行扩散，以生成更具细节和真实感的图像结果。这种扩散操作可以增加模型的感受野，并帮助生成更大范围的细节信息，从而提高图像生成的质量和准确性。

在一些实施例中，获取包括多个原始图像的训练集，并对各个原始图像不断添加高斯噪声得到对应的多个加噪图像，其中，加噪图像是原始图像和高斯噪声基于加噪次数的线性组合方式得到的。示例性的，参照图4所示的生成器训练过程示意图，X

其中，α

步骤S302，执行去噪训练过程。

在一些实施例中，对预设加噪次数为T的加噪图像X

步骤S401，将训练图像输入至扩散模型中，训练UNet网络对噪声进行预测，得到初始预测噪声。

在一些实施例中，训练图像X

可以理解的是，对于一个T步的扩散模型，每一步的索引为t。在前向的加噪过程中，从一个原始图像X

步骤S402，根据初始预测噪声和训练图像，得到输出图像。

在一些实施例中，根据初始预测噪声和训练图像X

步骤S403，若未达到预设训练次数，则将输出图像作为训练图像，重复执行去噪训练过程。

在一些实施例中，预设训练次数与预设加噪次数相同，即当预设加噪次数T＝1000时，执行去噪训练过程的预设训练次数对应为1000。因此如果去噪训练过程不满足预设训练次数，则将输出图像X

参照图5所示，在本申请的一些实施例中，上述步骤S202可以包括但不限于以下步骤S501至步骤S502。

步骤S501，将待处理图像减去预测噪声，得到具有初始第二噪声的初始第二图像。

在一些实施例中，生成器去噪得到的预测噪声与待处理图像和去噪次数相关。具体的，将待处理图像减去预测噪声，得到具有初始第二噪声的初始第二图像，其中，初始第二图像可以表示为

步骤S502，计算初始第二图像的缩放系数，将初始第二图像加上缩放系数得到具有第二噪声的第二图像。

通过噪声强度的参数公式计算初始第二图像的缩放系数，表示为

参照图7所示，在本申请的一些实施例中，上述步骤S203可以包括但不限于以下步骤S601至步骤S603。

步骤S601，将第二图像输入至迁移模型进行特征提取，得到特征向量。

在一些实施例中，迁移模型为在ImageNet上进行预训练的VGG16模型，具体的，ImageNet是一个大型的图像数据库，包含来自不同类别的数百万张图片，VGG16模型则是一种深度学习模型，有16个卷积层和3个全连接层。将第二图像输入至迁移模型进行特征提取，提取n个特征向量，记为A＝{A1，...，An}，示例性的，可以获取第1至8层以及第11层、第14层至第第16层的输出并将其双线性插值直至与第二图像相同大小，本实施例对此不做限制。

步骤S602，将风格特征图输入至迁移模型进行特征提取，得到风格特征向量。

在一些实施例中，将风格特征图输入至迁移模型VGG16中进行特征提取，提取m个特征向量，记为B＝{B1，...，Bm}。具体的，提取方式为在不同卷积层随机空间采样得到，再通过双线性插值得到与风格特征图匹配的大小。

步骤S603，基于特征向量和风格特征向量计算第一图像质量指标。

参照图8所示，在本申请的一些实施例中，基于特征向量和风格特征向量计算第一图像质量指标可以包括但不限于以下步骤S701至步骤S703。

步骤S701，根据余弦距离和推土机距离，计算特征向量和风格特征向量的最小距离的最大值，得到风格损失。

在一些实施例中，推土机距离(Earth Movers Distance，EMD)是一种用于测量两个概率分布之间的差异性的数学指标。以被理解为将一个分布转换成另一个分布所需要的最小代价，其中代价是指将一定数量的″土″从一个地方搬到另一个地方的成本。对于放宽条件的EMD(Relaxed EMD，简称REMD)，它是EMD的一种扩展形式。EMD要求两个分布具有相同的质量(即总和为1)，并且每个土堆的质量必须为非负。然而，在某些应用中，这些限制可能过于严格。因此，REMD放宽了这些条件，允许分布具有不同的总和和质量可以为负值。因此相比于EMD，REMD允许在转移过程中出现一些″松弛″，也就是说，一部分土可能可以被搬移到附近的位置而不一定要完全搬移到目标位置。这样可以降低计算成本并使这个度量更加灵活。

在一些实施例中，根据余弦距离和推土机距离，计算特征向量和风格特征向量的最小距离的最大值，得到风格损失，其中，风格损失表示为：

l

根据放宽条件的推土机距离，限制条件为：

因此，

示例性的，有两幅图像A和B，其中A是一张橙色和绿色的图像，B是一张橙色和紫色的图像，可以使用EMD来计算两张图像之间的距离。首先，将图像A和B离散化为一组由像素值组成的点阵。然后，使用A和B的像素值作为质量，创建两个分布P和Q。每个点的位置与在图像中的位置相对应。然后使用线性规划算法来查找有效的传输矩阵，该矩阵最小化“移动”从分布P到Q所需的总代价。代价根据两个像素之间的欧几里得距离进行计算，并加权为每个像素的值。一旦找到传输矩阵，可以使用它来计算P和Q之间的距离，该距离被称为推土机距离(Earth Movers Distance，EMD)。

假设P中有3个点，Q中有4个点，那么传输矩阵的大小为3x4。传输矩阵T表示了从P中的每个点向Q中的每个点转移多少质量。其中，T

上面的传输矩阵T表示了质量从P到Q的转移，其中第一行表示第一个P点中的质量沿着Q的所有点移动的量。第二行和第三行依此类推。根据这个传输矩阵，可以使用每个元素的质量与欧几里得距离来计算代价(距离*质量)，最终，整幅图像之间的EMD是代价的总和。本实施例对此不做限制。

步骤S702，根据矩匹配损失，计算特征向量和风格特征向量的均值L1范数和协方差L1范数，得到伪影损失。

在一些实施例中，虽然l

其中，d为特征向量的维度，μ为均值，∑为协方差。

步骤S703，根据风格损失、伪影损失和损失权重计算得到第一图像质量指标。

在一些实施例中，图像质量指标包括第一图像质量指标，第一图像质量指标具体包括风格损失和伪影损失。根据风格损失l

参照图9所示，在本申请的一些实施例中，上述步骤S203还可以包括但不限于以下步骤S801至步骤S802。

步骤S801，将内容特征图像输入至迁移模型进行特征提取，得到内容特征向量。

在一些实施例中，将内容特征图输入至迁移模型VGG16中进行特征提取，提取n个特征向量，记为E＝{E1，...，En}。具体的，提取方式为在不同卷积层随机空间采样得到，再通过双线性插值得到与内容特征图匹配的大小。

步骤S802，基于特征向量和内容特征向量计算第二图像质量指标；其中，第二图像质量指标为内容损失，计算各个特征向量的第一距离和各个内容特征向量的第二距离，计算第一距离和第二距离的差值得到内容损失。

在一些实施例中，图像质量指标还包括第二图像质量指标。具体的，第二图像质量指标为内容损失，通过计算第二图像的各个特征向量的第一距离和各个内容特征向量的第二距离，从而计算第一距离和第二距离的差值得到内容损失。因此，内容损失表示为：

其中，

X为第二图像，C为内容特征图，D

在一些实施例中，图像质量指标根据第一图像质量指标和第二图像质量指标加权计算得到，可以是加权求和，也可以是加权平均等，本实施例对此不做限制。具体的，预设生成条件为图像质量指标小于预设指标值，示例性的，预设指标值可以为0.15，即图像质量指标小于0.15时，则代表生成器生成的第二图像满足该预设条件，可以理解的是，本领域技术人员可以根据实际需求确定，本实施对此不做限制。

在本申请的一些实施例中，参照图10所示的医学图像生成模型示意图，输入噪声图像、内容特征图和风格特征图至生成器UNet扩散模型中，扩散模型训练收敛，条件生成的图像质量较高，结构信息上更加保真，通过循环去噪并将每一次去噪生成的第二图像输入至迁移模型VGG16中，将第二图像与内容特征图和风格特征图进行特征提取，计算内容损失、风格损失以及伪影损失等，得到图像质量指标并输入至生成器中，进一步指导下一个第二图像的生成，引导内容特征和风格迁移，最终输出得到的生成的医学图像和内容特征图以及风格特征图相对应。由此实现了能够根据不同的风格特征图和内容特征图进行条件控制，将噪声图像对应生成医学图像，并通过迁移模型实现了根据不同的要求调整生成图像的特性需求，有效防止了模型崩塌和伪影等问题。

本发明实施例还提供一种医学图像生成装置，可以实现上述医学图像生成方法，参照图11所示，在本申请一些实施例中，医学图像生成装置包括：

获取模块100，用于获取噪声图像、内容特征图和风格特征图；其中，噪声图像具有第一噪声，内容特征图表征目标医学图像的内容特征，风格特征图表征目标医学图像的风格特征；

拼接模块200，用于拼接噪声图像、内容特征图和风格特征图得到第一图像；

去噪模块300，用于执行去噪过程，去噪过程包括以下步骤：

将待处理图像输入至预训练的生成器中进行去噪，得到预测噪声；其中，待处理图像的初始值为第一图像；

根据待处理图像和预测噪声，得到具有第二噪声的第二图像；其中，待处理图像具有初始噪声，初始噪声的初始值为第一噪声；

将第二图像、内容特征图和风格特征图输入迁移模型得到图像质量指标；

如果图像质量指标不满足预设生成条件和/或执行去噪过程的去噪次数不满足预设去噪次数，则将第二图像作为待处理图像，第二噪声作为初始噪声，重复执行去噪过程；

生成模块400，用于获取去噪过程生成的第二图像作为生成的医学图像，医学图像和目标医学图像的相似度满足预设相似度要求。

本实施例的医学图像生成装置的具体实施方式与上述医学图像生成方法的具体实施方式基本一致，在此不再一一赘述。

图12示出了本申请实施例提供的电子设备1000。电子设备1000包括：处理器1001、存储器1002及存储在存储器1002上并可在处理器1001上运行的计算机程序，计算机程序运行时用于执行上述的医学图像生成方法。

处理器1001和存储器1002可以通过总线或者其他方式连接。

存储器1002作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本申请实施例描述的医学图像生成方法。处理器1001通过运行存储在存储器1002中的非暂态软件程序以及指令，从而实现上述的医学图像生成方法。

存储器1002可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述的医学图像生成方法。此外，存储器1002可以包括高速随机存取存储器1002，还可以包括非暂态存储器1002，例如至少一个储存设备存储器件、闪存器件或其他非暂态固态存储器件。在一些实施方式中，存储器1002可选包括相对于处理器1001远程设置的存储器1002，这些远程存储器1002可以通过网络连接至该电子设备1000。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现上述的医学图像生成方法所需的非暂态软件程序以及指令存储在存储器1002中，当被一个或者多个处理器1001执行时，执行上述的医学图像生成方法，例如，执行图2中的方法步骤S101至步骤S104和步骤S201至步骤S204、图3中的方法步骤S301至步骤S302和步骤S401至步骤S403、图5中的方法步骤S501至步骤S502、图7中的方法步骤S601至步骤S603、图8中的方法步骤S701至步骤S703、图9中的方法步骤S801至步骤S802。

本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述医学图像生成方法。存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例提供的医学图像生成方法、装置、电子设备及存储介质，其中，方法通过获取并拼接噪声图像、内容特征图和风格特征图得到第一图像，噪声图像具有第一噪声，内容特征图表征目标医学图像的内容特征，风格特征图表征目标医学图像的风格特征。将第一图像作为待处理图像的初始值执行去噪过程，包括，将待处理图像输入至预训练的生成器中进行去噪，得到预测噪声后，根据待处理图像和预测噪声计算得到具有第二噪声的第二图像，并将第二图像、内容特征图和风格特征图输入迁移模型得到图像质量指标，如果图像质量指标不满足预设生成条件和/或执行去噪过程的去噪次数不满足预设去噪次数，则将第二图像作为待处理图像，重复执行去噪过程，然后获取去噪过程生成的第二图像作为生成的医学图像，其中医学图像和目标医学图像的相似度满足预设相似度要求。由此可知，对预训练的生成器输入不同的风格特征图和内容特征图，即可将噪声图像对应生成目标风格特征和内容特征的目标医学图像，并且通过迁移模型更好地满足了根据不同的要求调整生成图像的特性需求，有效防止了模型崩塌和伪影等问题。

以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、储存设备存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

还应了解，本申请实施例提供的各种实施方式可以任意进行组合，以实现不同的技术效果。以上是对本申请的较佳实施进行了具体说明，但本申请并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请精神的共享条件下还可作出种种等同的变形或替换。