多模态医学图像的勾画方法和装置、存储介质及电子设备

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种多模态医学图像的勾画方法和装置、存储介质及电子设备。

背景技术

多模态医学图像指的是使用不同的医学成像技术（例如X射线、计算机断层扫描（CT）、磁共振成像（MRI）、正电子发射断层扫描（PET）等）捕捉的医学图像。这些图像可以提供不同的信息，因此能够为医生提供更全面的诊断信息。在计算机中，图像分割是指将不同的区域分开来，这些区域是互不相交的，且每一个区域都满足特定区域的一致性，而分割的目的是为了将感兴趣区域提取出来，从而为定量、定性分析提供基础。医学图像分割属于图像分割方法的子领域，图像分割在医疗图像中有很多的应用。自动地图像分割能帮助医生确定感兴趣器官、病变肿瘤的边界，从而依据相关统计信息进行诊断和治疗，还能定量评价治疗前后的效果率。

在进行医学图像分割时，与单模态图像相比，多模态医学图像能够提供更为精确的诊断信息。但是现有技术中的网络模型只能对单模态图像进行勾画，未考虑其他模态图像信息，这会严重降低对医学图像的勾画精度。

针对相关技术中网络模型对多模态医学图像的勾画精度比较低的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种多模态医学图像的勾画方法和装置、存储介质及电子设备，以解决相关技术中网络模型对多模态医学图像的勾画精度比较低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种多模态医学图像的勾画方法。该方法包括：获取待勾画的医学图像，其中，所述待勾画的医学图像中至少包括：多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像；将所述待勾画的医学图像输入到目标神经网络模型中，通过所述目标神经网络模型输出预测的目标层的第一模态的医学图像的勾画结果，其中，所述目标神经网络模型由训练样本集训练得到，所述训练样本集至少包括：第一模态样本图像和所述第一模态样本图像对应的勾画结果、第二模态样本图像以及第三模态样本图像。

进一步地，所述目标神经网络模型至少包括：多个编码器、注意力层和解码器，其中，所述多个编码器共享权重，所述注意力层为非局部的注意力层或者为多头交叉注意力层。

进一步地，通过所述目标神经网络模型得到目标层的第一模态的医学图像的勾画结果包括：通过所述多个编码器对所述多层第一模态的医学图像、所述多层第二模态的医学图像以及所述多层第三模态的医学图像进行特征提取，得到目标层的第一模态的医学图像对应的第一特征图，目标层的第二模态的医学图像对应的第二特征图和目标层的第三模态的医学图像对应的第三特征图；通过所述注意力层对所述第一特征图、所述第二特征图和所述第三特征图进行特征融合，得到目标特征图；通过所述解码器对所述目标特征图进行解码处理，得到所述目标层的第一模态的医学图像的勾画结果。

进一步地，若所述注意力层为非局部的注意力层，通过所述注意力层对所述第一特征图、所述第二特征图和所述第三特征图进行特征融合，得到目标特征图包括：对所述第一特征图、所述第二特征图和所述第三特征图进行拼接，得到第一初始特征图；计算所述第一初始特征图中每个区域之间的第一相似度，并依据所述第一相似度从所述第一初始特征图中得到所述目标特征图，其中，所述第一相似度由当前区域的特征权重与非区域的特征权重计算得到。

进一步地，若所述注意力层为多头交叉注意力层，通过所述注意力层对所述第一特征图、所述第二特征图和所述第三特征图进行特征融合，得到目标特征图包括：对所述第二特征图和所述第三特征图进行拼接，得到第二初始特征图；计算所述第一特征图与所述第二初始特征图之间的第二相似度，并依据所述第二相似度从所述第一特征图和所述第二初始特征图中得到所述目标特征图。

进一步地，通过所述多个编码器对所述多层第一模态的医学图像、所述多层第二模态的医学图像以及所述多层第三模态的医学图像进行特征提取，得到目标层的第一模态的医学图像对应的第一特征图，目标层的第二模态的医学图像对应的第二特征图和目标层的第三模态的医学图像对应的第三特征图包括：通过所述多个编码器中一个编码器对多层目标模态的医学图像进行特征提取，得到每层目标模态的医学图像对应的初始特征图，其中，所述目标模态为以下之一：第一模态、第二模态和第三模态；对每层目标模态的医学图像对应的初始特征图进行特征融合，得到目标层的目标模态的医学图像对应的特征图。

进一步地，在将所述待勾画的医学图像输入到目标神经网络模型中之前，所述方法还包括：对所述多层第一模态的医学图像、所述多层第二模态的医学图像以及所述多层第三模态的医学图像进行刚性配准，得到配准后的待勾画的医学图像；对所述配准后的待勾画的医学图像进行预处理，得到处理后的待勾画的医学图像；将所述待勾画的医学图像输入到目标神经网络模型中，通过所述目标神经网络模型得到所述目标层的第一模态的医学图像的勾画结果包括：将所述处理后的待勾画的医学图像输入到目标神经网络模型中，通过所述目标神经网络模型得到所述目标层的第一模态的医学图像的勾画结果。

为了实现上述目的，根据本申请的另一方面，提供了一种多模态医学图像的勾画装置。该装置包括：获取单元，用于获取待勾画的医学图像，其中，所述待勾画的医学图像中至少包括：多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像；输出单元，用于将所述待勾画的医学图像输入到目标神经网络模型中，通过所述目标神经网络模型输出预测的目标层的第一模态的医学图像的勾画结果，其中，所述目标神经网络模型由训练样本集训练得到，所述训练样本集至少包括：第一模态样本图像和所述第一模态样本图像对应的勾画结果、第二模态样本图像以及第三模态样本图像。

进一步地，所述目标神经网络模型至少包括：多个编码器、注意力层和解码器，其中，所述多个编码器共享权重，所述注意力层为非局部的注意力层或者为多头交叉注意力层。

进一步地，所述输出单元包括：提取模块，用于通过所述多个编码器对所述多层第一模态的医学图像、所述多层第二模态的医学图像以及所述多层第三模态的医学图像进行特征提取，得到目标层的第一模态的医学图像对应的第一特征图，目标层的第二模态的医学图像对应的第二特征图和目标层的第三模态的医学图像对应的第三特征图；融合模块，用于通过所述注意力层对所述第一特征图、所述第二特征图和所述第三特征图进行特征融合，得到目标特征图；解码模块，用于通过所述解码器对所述目标特征图进行解码处理，得到所述目标层的第一模态的医学图像的勾画结果。

进一步地，若所述注意力层为非局部的注意力层，所述融合模块包括：第一拼接子模块，用于对所述第一特征图、所述第二特征图和所述第三特征图进行拼接，得到第一初始特征图；第一计算子模块，用于计算所述第一初始特征图中每个区域之间的第一相似度，并依据所述第一相似度从所述第一初始特征图中得到所述目标特征图，其中，所述第一相似度由当前区域的特征权重与非区域的特征权重计算得到。

进一步地，若所述注意力层为多头交叉注意力层，所述融合模块括：第二拼接子模块，用于对所述第二特征图和所述第三特征图进行拼接，得到第二初始特征图；第二计算子模块，用于计算所述第一特征图与所述第二初始特征图之间的第二相似度，并依据所述第二相似度从所述第一特征图和所述第二初始特征图中得到所述目标特征图。

进一步地，所述提取模块包括：提取子模块，用于通过所述多个编码器中一个编码器对多层目标模态的医学图像进行特征提取，得到每层目标模态的医学图像对应的初始特征图，其中，所述目标模态为以下之一：第一模态、第二模态和第三模态；融合子模块，用于对每层目标模态的医学图像对应的初始特征图进行特征融合，得到目标层的目标模态的医学图像对应的特征图。

进一步地，所述装置还包括：配准单元，用于在将所述待勾画的医学图像输入到目标神经网络模型中之前，对所述多层第一模态的医学图像、所述多层第二模态的医学图像以及所述多层第三模态的医学图像进行刚性配准，得到配准后的待勾画的医学图像；预处理单元，用于对所述配准后的待勾画的医学图像进行预处理，得到处理后的待勾画的医学图像；所述输出单元还用于将所述处理后的待勾画的医学图像输入到目标神经网络模型中，通过所述目标神经网络模型得到所述目标层的第一模态的医学图像的勾画结果。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述存储介质存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的多模态医学图像的勾画方法。

为了实现上述目的，根据本申请的一个方面，提供了一种电子设备，电子设备包括一个或多个处理器和存储器，存储器用于存储一个或多个处理器实现上述任意一项所述的多模态医学图像的勾画方法。

通过本申请，采用以下步骤：获取待勾画的医学图像，其中，待勾画的医学图像中至少包括：多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像；将待勾画的医学图像输入到目标神经网络模型中，通过目标神经网络模型输出预测的目标层的第一模态的医学图像的勾画结果，其中，目标神经网络模型由训练样本集训练得到，训练样本集至少包括：第一模态样本图像和第一模态样本图像对应的勾画结果、第二模态样本图像以及第三模态样本图像，解决了相关技术中网络模型对多模态医学图像的勾画精度比较低的问题。在本方案中，直接将多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像输入到目标神经网络模型中，通过目标神经网络模型实现多模态图像之间的特征融合，进而得到第一模态的勾画结果，目标神经网络模型能够将多种模态图像的关键特征进行提取和融合，有效提升了对第一模态的医学图像的勾画精度，并且目标神经网络模型采用的训练样本集，只有第一模态样本图像带有真实勾画结果，降低了人工标注成本，因此，还可以有效提高医学图像的勾画效率。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的多模态医学图像的勾画方法的流程图；

图2是根据本申请实施例提供的目标神经网络模型的示意图；

图3是根据本申请实施例提供的non-local的示意图；

图4是根据本申请实施例提供的Multi-head Cross-Attention的示意图；

图5是根据本申请实施例提供的多模态医学图像的勾画装置的示意图；

图6是根据本申请实施例提供的电子设备的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本公开所涉及的相关信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于展示的数据、分析的数据等），均为经用户授权或者经过各方充分授权的信息和数据。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。

下面结合优选的实施步骤对本发明进行说明，图1是根据本申请实施例提供的多模态医学图像的勾画方法的流程图，如图1所示，该方法包括如下步骤：

步骤S101，获取待勾画的医学图像，其中，待勾画的医学图像中至少包括：多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像；

具体地，获取待勾画的医学图像，待勾画的医学图像中需要包括多层第一模态的医学图像，多层第二模态的医学图像和多层第三模态的医学图像。例如，通过CT采集到的CT医学图像作为第一模态的医学图像。通过MR采集到的MR医学图像作为第二模态的医学图像。将PET-CT医学图像作为第三模态的医学图像。PET，positron emission tomography，正电子发射计算机断层显像。

需要说明的是，第一模态的医学图像，第二模态的医学图像和第三模态的医学图像均为多层的医学图像。将目标层的医学图像的上下两层医学图像同时作为目标神经网络模型的输入图像，通过采用邻近层图像作为输入图像，能够有效减少医学图像的误差，提高对医学图像的勾画的准确度。

步骤S102，将待勾画的医学图像输入到目标神经网络模型中，通过目标神经网络模型输出预测的目标层的第一模态的医学图像的勾画结果，其中，目标神经网络模型由训练样本集训练得到，训练样本集至少包括：第一模态样本图像和第一模态样本图像对应的勾画结果、第二模态样本图像以及第三模态样本图像。

具体地，在得到多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像之后，将待勾画的医学图像输入到目标神经网络模型，通过目标神经网络模型对第一模态的医学图像，第二模态的医学图像和第三模态的医学图像进行特征融合，最终输出目标层的第一模态的医学图像对应的勾画结果。

需要说明的是，对目标神经网络模型训练的训练样本集中包括第一模态样本图像和第一模态样本图像对应的勾画结果、第二模态样本图像以及第三模态样本图像。在本方案中不需要对多个不同模态的数据进行人工勾画，降低人工标注成本。

需要说明的是，第一模态样本图像对应的勾画结果可以是临床医生手动标注的勾画结果。

需要说明的是，还可以通过第一模态样本图像、第二模态样本图像和第二模态样本图像对应的勾画结果以及第三模态样本图像进行模型训练，得训练后的目标神经网络模型，然后通过这个训练后的目标神经网络模型得到第二模态的医学图像对应的勾画结果。

综上，直接将多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像输入到目标神经网络模型中，通过目标神经网络模型实现多模态图像之间的特征融合，进而得到第一模态的勾画结果，目标神经网络模型能够将多种模态图像的关键特征进行提取和融合，有效提升了对第一模态的医学图像的勾画精度，并且目标神经网络模型采用的训练样本集，只有第一模态样本图像带有真实勾画结果，降低了人工标注成本，因此，还可以有效提高医学图像的勾画效率。

为了提高模型的计算效率，以及降低模型计算复杂度，目标神经网络模型至少包括：多个编码器、注意力层和解码器，其中，多个编码器共享权重，注意力层为非局部的注意力层或者为多头交叉注意力层。

具体地，如图2所示，目标神经网络模型包括多个编码器、注意力层和解码器，因为多模态影像之间存在误差，如果采用单一编码器模型则会导致勾画精度降低，甚至低于仅采用CT影像进行训练的勾画精度，如果直接采用多编码器-多解码器模型，又会导致神经网络模型的计算复杂度和模型参数量大幅提高。采用多编码器-解码器模型可以降低模型计算复杂度，同时可以降低模型对于配准精度的需求。在目标神经网络模型中的编码器虽然是多个编码器，但是这些编码器共享权重。因此目标神经网络模型中的参数量与单模态勾画神经网络的参数量是一致的。

需要说明的是，如图2所示，目标神经网络模型中还可以包括sigmoid函数，通过sigmoid函数将解码器输出的映射到0，1之间，进而得到目标层的第一模态的医学图像的勾画结果。

如何通过目标神经网络模型得到勾画信息是至关重要的，通过目标神经网络模型得到目标层的第一模态的医学图像的勾画结果包括：通过多个编码器对多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像进行特征提取，得到目标层的第一模态的医学图像对应的第一特征图，目标层的第二模态的医学图像对应的第二特征图和目标层的第三模态的医学图像对应的第三特征图；通过注意力层对第一特征图、第二特征图和第三特征图进行特征融合，得到目标特征图；通过解码器对目标特征图进行解码处理，得到目标层的第一模态的医学图像的勾画结果。

具体地，通过多个编码器中第一个编码器对多层第一模态的医学图像进行编码处理得到目标层的第一模态的医学图像对应的第一特征图，通过多个编码器中第二个编码器对多层第二模态的医学图像进行编码处理得到目标层第二模态的医学图像对应的第二特征图，通过多个编码器中第三个编码器对多层第三模态的医学图像进行编码处理得到目标层的第三模态的医学图像。也就是说通过一个编码器对一个模态的医学图像进行特征提取，进而得到每个模态对应的特征图。

在得到每个模态的医学图像对应的特征图之后，通过目标神经网络模型中的注意力层对第一特征图、第二特征图和第三特征图进行特征融合，实现对多模态医学图像的融合，得到融合后的目标特征图，最后通过解码器对目标特征图进行解码处理，得到最终的勾画结果。

在一可选的实施例中，可以采用公式（1）实现对第一模态的医学图像的勾画结果：

（1）

其中，F

需要说明的是，还可以对目标神经网络模型输出的勾画结果进行最大连通域后处理计算，即仅保留勾画结果在图像上的最大连通区域。

为了提高多模态图像特征融合的准确性，若注意力层为非局部的注意力层，通过注意力层对第一特征图、第二特征图和第三特征图进行特征融合，得到目标特征图包括：对第一特征图、第二特征图和第三特征图进行拼接，得到第一初始特征图；计算第一初始特征图中每个区域之间的第一相似度，并依据第一相似度从第一初始特征图中得到目标特征图，其中，第一相似度由当前区域的特征权重与非区域的特征权重计算得到。

若注意力层为多头交叉注意力层，通过注意力层对第一特征图、第二特征图和第三特征图进行特征融合，得到目标特征图包括：对第二特征图和第三特征图进行拼接，得到第二初始特征图；计算第一特征图与第二初始特征图之间的第二相似度，并依据第二相似度从第一特征图和第二初始特征图中得到目标特征图。

具体地，注意力层可以是非局部的注意力层（Non-Local），也有可以是多头交叉注意力层（Multi-Modal-Self-Attention）。在注意力层是Non-Local时，如图3所示，将第一特征图、第二特征图和第三特征图进行拼接得到第一初始特征图，然后计算第一初始特征图每个区域与其他剩余区域的相似度，其中，第一相似度由当前区域的特征权重与非区域的特征权重计算得到，最后利用计算得到的相似度从第一初始特征图中得到最终的目标特征图，其中，图3中的1x1x1表示卷积核的大小，通过不断地对第一初始特征图进行卷积运算最终得到目标特征图。

在一可选的实施例中，如果注意力层是非局部的注意力层（Non-Local）可以采用公式（2）来得到最终的目标特征图：

其中，y

在注意力层是Multi-Modal-Self-Attention时，如图4所示，将第二特征图和第三特征图进行拼接，也就是将PET特征图，T1特征图等特征图进行拼接处理，得到第二初始特征图。需要说明的是，T1为MR医学图像的第一序列，在得到第二初始特征图和第一特征图输入到多头交叉注意力层（Multi-Modal-Self-Attention）中，计算第一特征图与第二初始特征图之间的第二相似度，然后根据计算得到第二相似度从第一特征图和第二初始特征图中得到目标特征图。如图4所示，在注意力层中还包括相加归一化层（Add&Norm），通过相加归一化层对Multi-Modal-Self-Attention的输出进行平滑整合处理。

综上所述，通过注意力层可以更加准确地融合多模态的医学图像的特征，进而达到提高对医学图像勾画准确度的效果。

如何得到第一特征图、第二特征图以及第三特征图也是至关重要的，因此，在本申请实施例提供的多模态医学图像的勾画方法中，通过多个编码器对多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像进行特征提取，得到目标层的第一模态的医学图像对应的第一特征图，目标层的第二模态的医学图像对应的第二特征图和目标层的第三模态的医学图像对应的第三特征图包括：通过多个编码器中一个编码器对多层目标模态的医学图像进行特征提取，得到每层目标模态的医学图像对应的初始特征图，其中，目标模态为以下之一：第一模态、第二模态和第三模态；对每层目标模态的医学图像对应的初始特征图进行特征融合，得到目标层的目标模态的医学图像对应的特征图。

具体地，以第一模态为例，通过多个编码器中的第一编码器提取每层的第一模态的医学图像的特征信息，得到每层第一模态的医学图像的初始特征图，然后将邻近层的初始特征图融合到目标层，以得到目标层的第一模态的医学图像的第一特征图。

需要说明的是，第二模态的医学图像对应的第二特征图以及第三模态的医学图像对应的第三特征图与上述的方法是一样的，在此不再赘述。

为了进一步地提高对医学图像勾画的精度，在本申请实施例提供的多模态医学图像的勾画方法中，在将待勾画的医学图像输入到目标神经网络模型中之前，还包括：对多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像进行刚性配准，得到配准后的待勾画的医学图像；对配准后的待勾画的医学图像进行预处理，得到处理后的待勾画的医学图像；将待勾画的医学图像输入到目标神经网络模型中，通过目标神经网络模型得到目标层的第一模态的医学图像的勾画结果包括：将处理后的待勾画的医学图像输入到目标神经网络模型中，通过目标神经网络模型得到目标层的第一模态的医学图像的勾画结果。

具体地，为了进一步地提高对医学图像勾画的精度，还可以对多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像进行刚性配准，得到配准后的待勾画的医学图像。

在配准之后，还可以再对配准后的待勾画的医学图像进行预处理，例如，裁剪、过滤以及归一化等预处理，然后得到处理后的待勾画的医学图像。

最后，将处理后的待勾画的医学图像输入到目标神经网络模型中，以得到目标层的第一模态的医学图像的勾画结果。

在一可选的实施例中，不同模态的医学图像的采用不同的配准方式，如果第一模态的医学图像为CT医学图像，第二模态的医学图像为PET-CT医学图像，第三模态的医学图像为MR医学图像，那么在对CT医学图像和PET-CT医学图像进行刚性配准时，获取CT医学图像和PET-CT医学图像之间的空间旋转矩阵，利用空间旋转矩阵对PET-CT医学图像进行空间旋转，进而得到刚性配准后的PET-CT医学图像。

对于CT医学图像与MR医学图像，在进行刚性配准时则进行互信息刚性配准，得到配准后的MR医学图像，进而得到配准后的待勾画的医学图像。

需要说明的是，互信息刚性配准：互信息是衡量两幅不同模态影像的X和Y之间的依赖程度，用来测量联合概率分布与二者完全独立时的分布之间的距离，具体数学计算方法如公式（3）所示：

（3）

其中，I（X，Y）为X与Y之间的依赖程度，p（x，y）是X和Y的联合概率分布函数，p（x）和p（y）分别是X和Y的边缘概率分布函数。

需要说明的是，对不同模态的医学影像采用不同的配准方式，能够有效提升刚性配准的准确性。

在一可选的实施例中，可以采用以下方式实现对配准后的待勾画的医学图像的预处理，对于不同模态的医学图像选择不同的窗宽和窗位，例如，CT医学图像：-400——400，MR医学图像：-1000——1000。根据选择的窗宽和窗位从配准后的待勾画的医学图像中选择对应的医学图像，进而得到待勾画的医学图像。最后，再对待勾画的医学图像中的像素点进行归一化处理（例如，Z-Score归一化），得到最终的处理后的待勾画的医学图像。

在一可选的实施例中，可以采用以下步骤训练得到目标神经网络模型：获取训练目标神经网络模型的训练样本集，其中，训练样本集包括：多模态医学图像以及其中某一模态图像所对应的标签，也就是上述的第一模态样本图像和第一模态样本图像对应的真实勾画结果、第二模态样本图像以及第三模态样本图像。

然后选择某一模态作为主序列模态，其他序列模态作为次序列模态，例如，将第一模态样本图像作为主序列样本图像，将第二模态样本图像以及第三模态样本图像作为次序列样本图像，对主序列样本图像和次序列样本图像进行刚性配准。

在进行刚性配准之后，对配准后的样本图像进行预处理，最后将处理后的样本图像输入到初始神经网络模型，对初始神经网络模型进行训练，得到训练完成后的目标神经网络模型。

需要说明的是，为了提高训练样本的多样性，还可以对样本图像进行图像增强处理，例如，旋转、剪裁、翻转、放大缩小、直方图迁移、高斯模糊、高斯锐化、重采样，其中，对于旋转、剪裁、翻转、放大缩小同时应用于所有输入图像，其他数据增强方法随机应用于单个模态影像，通过进行图像增强可以有效提高目标神经网络模型的鲁棒性。

本申请实施例提供的多模态医学图像的勾画方法，通过获取待勾画的医学图像，其中，待勾画的医学图像中至少包括：多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像；将待勾画的医学图像输入到目标神经网络模型中，通过目标神经网络模型输出预测的目标层的第一模态的医学图像的勾画结果，其中，目标神经网络模型由训练样本集训练得到，训练样本集至少包括：第一模态样本图像和第一模态样本图像对应的勾画结果、第二模态样本图像以及第三模态样本图像，解决了相关技术中网络模型对多模态医学图像的勾画精度比较低的问题。在本方案中，直接将多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像输入到目标神经网络模型中，通过目标神经网络模型实现多模态图像之间的特征融合，进而得到第一模态的勾画结果，目标神经网络模型能够将多种模态图像的关键特征进行提取和融合，有效提升了对第一模态的医学图像的勾画精度，并且目标神经网络模型采用的训练样本集，只有第一模态样本图像带有真实勾画结果，降低了人工标注成本，因此，还可以有效提高医学图像的勾画效率。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种多模态医学图像的勾画装置，需要说明的是，本申请实施例的多模态医学图像的勾画装置可以用于执行本申请实施例所提供的用于多模态医学图像的勾画方法。以下对本申请实施例提供的多模态医学图像的勾画装置进行介绍。

图5是根据本申请实施例的多模态医学图像的勾画装置的示意图。如图5所示，该装置包括：获取单元501和输出单元502。

获取单元501，用于获取待勾画的医学图像，其中，待勾画的医学图像中至少包括：多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像；

输出单元502，用于将待勾画的医学图像输入到目标神经网络模型中，通过目标神经网络模型输出预测的目标层的第一模态的医学图像的勾画结果，其中，目标神经网络模型由训练样本集训练得到，训练样本集至少包括：第一模态样本图像和第一模态样本图像对应的勾画结果、第二模态样本图像以及第三模态样本图像。

本申请实施例提供的多模态医学图像的勾画装置，通过获取单元501获取待勾画的医学图像，其中，待勾画的医学图像中至少包括：多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像；输出单元502将待勾画的医学图像输入到目标神经网络模型中，通过目标神经网络模型输出预测的目标层的第一模态的医学图像的勾画结果，其中，目标神经网络模型由训练样本集训练得到，训练样本集至少包括：第一模态样本图像和第一模态样本图像对应的勾画结果、第二模态样本图像以及第三模态样本图像，解决了相关技术中网络模型对多模态医学图像的勾画精度比较低的问题。在本方案中，直接将多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像输入到目标神经网络模型中，通过目标神经网络模型实现多模态图像之间的特征融合，进而得到第一模态的勾画结果，目标神经网络模型能够将多种模态图像的关键特征进行提取和融合，有效提升了对第一模态的医学图像的勾画精度，并且目标神经网络模型采用的训练样本集，只有第一模态样本图像带有真实勾画结果，降低了人工标注成本，因此，还可以有效提高医学图像的勾画效率。

可选地，在本申请实施例提供的多模态医学图像的勾画装置中，目标神经网络模型至少包括：多个编码器、注意力层和解码器，其中，多个编码器共享权重，注意力层为非局部的注意力层或者为多头交叉注意力层。

可选地，在本申请实施例提供的多模态医学图像的勾画装置中，输出单元包括：提取模块，用于通过多个编码器对多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像进行特征提取，得到目标层的第一模态的医学图像对应的第一特征图，目标层的第二模态的医学图像对应的第二特征图和目标层的第三模态的医学图像对应的第三特征图；融合模块，用于通过注意力层对第一特征图、第二特征图和第三特征图进行特征融合，得到目标特征图；解码模块，用于通过解码器对目标特征图进行解码处理，得到目标层的第一模态的医学图像的勾画结果。

可选地，在本申请实施例提供的多模态医学图像的勾画装置中，若注意力层为非局部的注意力层，融合模块包括：第一拼接子模块，用于对第一特征图、第二特征图和第三特征图进行拼接，得到第一初始特征图；第一计算子模块，用于计算第一初始特征图中每个区域之间的第一相似度，并依据第一相似度从第一初始特征图中得到目标特征图，其中，第一相似度由当前区域的特征权重与非区域的特征权重计算得到。

可选地，在本申请实施例提供的多模态医学图像的勾画装置中，若注意力层为多头交叉注意力层，融合模块括：第二拼接子模块，用于对第二特征图和第三特征图进行拼接，得到第二初始特征图；第二计算子模块，用于计算第一特征图与第二初始特征图之间的第二相似度，并依据第二相似度从第一特征图和第二初始特征图中得到目标特征图。

可选地，在本申请实施例提供的多模态医学图像的勾画装置中，提取模块包括：提取子模块，用于通过多个编码器中一个编码器对多层目标模态的医学图像进行特征提取，得到每层目标模态的医学图像对应的初始特征图，其中，目标模态为以下之一：第一模态、第二模态和第三模态；融合子模块，用于对每层目标模态的医学图像对应的初始特征图进行特征融合，得到目标层的目标模态的医学图像对应的特征图。

可选地，在本申请实施例提供的多模态医学图像的勾画装置中，该装置还包括：配准单元，用于在将待勾画的医学图像输入到目标神经网络模型中之前，对多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像进行刚性配准，得到配准后的待勾画的医学图像；预处理单元，用于对配准后的待勾画的医学图像进行预处理，得到处理后的待勾画的医学图像；输出单元还用于将处理后的待勾画的医学图像输入到目标神经网络模型中，通过目标神经网络模型得到目标层的第一模态的医学图像的勾画结果。

多模态医学图像的勾画装置包括处理器和存储器，上述获取单元501和输出单元502等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现对多模态医学图像的勾画。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现多模态医学图像的勾画方法。

本发明实施例提供了一种处理器，处理器用于运行程序，其中，程序运行时执行多模态医学图像的勾画方法。

如图6所示，本发明实施例提供了一种电子设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取待勾画的医学图像，其中，待勾画的医学图像中至少包括：多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像；将待勾画的医学图像输入到目标神经网络模型中，通过目标神经网络模型输出预测的目标层的第一模态的医学图像的勾画结果，其中，目标神经网络模型由训练样本集训练得到，训练样本集至少包括：第一模态样本图像和第一模态样本图像对应的勾画结果、第二模态样本图像以及第三模态样本图像。

可选地，目标神经网络模型至少包括：多个编码器、注意力层和解码器，其中，多个编码器共享权重，注意力层为非局部的注意力层或者为多头交叉注意力层。

可选地，通过目标神经网络模型得到目标层的第一模态的医学图像的勾画结果包括：通过多个编码器对多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像进行特征提取，得到目标层的第一模态的医学图像对应的第一特征图，目标层的第二模态的医学图像对应的第二特征图和目标层的第三模态的医学图像对应的第三特征图；通过注意力层对第一特征图、第二特征图和第三特征图进行特征融合，得到目标特征图；通过解码器对目标特征图进行解码处理，得到目标层的第一模态的医学图像的勾画结果。

可选地，若注意力层为非局部的注意力层，通过注意力层对第一特征图、第二特征图和第三特征图进行特征融合，得到目标特征图包括：对第一特征图、第二特征图和第三特征图进行拼接，得到第一初始特征图；计算第一初始特征图中每个区域之间的第一相似度，并依据第一相似度从第一初始特征图中得到目标特征图，其中，第一相似度由当前区域的特征权重与非区域的特征权重计算得到。

可选地，若注意力层为多头交叉注意力层，通过注意力层对第一特征图、第二特征图和第三特征图进行特征融合，得到目标特征图包括：对第二特征图和第三特征图进行拼接，得到第二初始特征图；计算第一特征图与第二初始特征图之间的第二相似度，并依据第二相似度从第一特征图和第二初始特征图中得到目标特征图。

可选地，通过多个编码器对多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像进行特征提取，得到目标层的第一模态的医学图像对应的第一特征图，目标层的第二模态的医学图像对应的第二特征图和目标层的第三模态的医学图像对应的第三特征图包括：通过多个编码器中一个编码器对多层目标模态的医学图像进行特征提取，得到每层目标模态的医学图像对应的初始特征图，其中，目标模态为以下之一：第一模态、第二模态和第三模态；对每层目标模态的医学图像对应的初始特征图进行特征融合，得到目标层的目标模态的医学图像对应的特征图。

可选地，在将待勾画的医学图像输入到目标神经网络模型中之前，该方法还包括：对多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像进行刚性配准，得到配准后的待勾画的医学图像；对配准后的待勾画的医学图像进行预处理，得到处理后的待勾画的医学图像；将待勾画的医学图像输入到目标神经网络模型中，通过目标神经网络模型得到目标层的第一模态的医学图像的勾画结果包括：将处理后的待勾画的医学图像输入到目标神经网络模型中，通过目标神经网络模型得到目标层的第一模态的医学图像的勾画结果。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取待勾画的医学图像，其中，待勾画的医学图像中至少包括：多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像；将待勾画的医学图像输入到目标神经网络模型中，通过目标神经网络模型输出预测的目标层的第一模态的医学图像的勾画结果，其中，目标神经网络模型由训练样本集训练得到，训练样本集至少包括：第一模态样本图像和第一模态样本图像对应的勾画结果、第二模态样本图像以及第三模态样本图像。

可选地，目标神经网络模型至少包括：多个编码器、注意力层和解码器，其中，多个编码器共享权重，注意力层为非局部的注意力层或者为多头交叉注意力层。

可选地，通过目标神经网络模型得到目标层的第一模态的医学图像的勾画结果包括：通过多个编码器对多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像进行特征提取，得到目标层的第一模态的医学图像对应的第一特征图，目标层的第二模态的医学图像对应的第二特征图和目标层的第三模态的医学图像对应的第三特征图；通过注意力层对第一特征图、第二特征图和第三特征图进行特征融合，得到目标特征图；通过解码器对目标特征图进行解码处理，得到目标层的第一模态的医学图像的勾画结果。

可选地，若注意力层为非局部的注意力层，通过注意力层对第一特征图、第二特征图和第三特征图进行特征融合，得到目标特征图包括：对第一特征图、第二特征图和第三特征图进行拼接，得到第一初始特征图；计算第一初始特征图中每个区域之间的第一相似度，并依据第一相似度从第一初始特征图中得到目标特征图，其中，第一相似度由当前区域的特征权重与非区域的特征权重计算得到。

可选地，若注意力层为多头交叉注意力层，通过注意力层对第一特征图、第二特征图和第三特征图进行特征融合，得到目标特征图包括：对第二特征图和第三特征图进行拼接，得到第二初始特征图；计算第一特征图与第二初始特征图之间的第二相似度，并依据第二相似度从第一特征图和第二初始特征图中得到目标特征图。

可选地，通过多个编码器对多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像进行特征提取，得到目标层的第一模态的医学图像对应的第一特征图，目标层的第二模态的医学图像对应的第二特征图和目标层的第三模态的医学图像对应的第三特征图包括：通过多个编码器中一个编码器对多层目标模态的医学图像进行特征提取，得到每层目标模态的医学图像对应的初始特征图，其中，目标模态为以下之一：第一模态、第二模态和第三模态；对每层目标模态的医学图像对应的初始特征图进行特征融合，得到目标层的目标模态的医学图像对应的特征图。

可选地，在将待勾画的医学图像输入到目标神经网络模型中之前，该方法还包括：对多层第一模态的医学图像、多层第二模态的医学图像以及多层第三模态的医学图像进行刚性配准，得到配准后的待勾画的医学图像；对配准后的待勾画的医学图像进行预处理，得到处理后的待勾画的医学图像；将待勾画的医学图像输入到目标神经网络模型中，通过目标神经网络模型得到目标层的第一模态的医学图像的勾画结果包括：将处理后的待勾画的医学图像输入到目标神经网络模型中，通过目标神经网络模型得到目标层的第一模态的医学图像的勾画结果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。