模型训练方法、图像处理及配准方法以及相关装置、设备

技术领域

本申请涉及人工智能技术领域，特别是涉及一种模型训练方法、图像处理及配准方法以及相关装置、设备。

背景技术

随着神经网络、深度学习等人工智能技术的发展，对网络模型进行训练，并利用经训练的网络模型完成图像分割、图像分类、目标检测、图像配准等图像处理任务的方式，逐渐受到人们的青睐。

然而，由于在实际应用过程中，训练网络模型的训练图像通常属于一类域，而需要利用网络模型进行图像处理的目标图像又属于另一类域，故当利用训练得到的网络模型对目标图像进行处理时，极易产生处理精度下降的问题。故此，目前通常对属于另一类域的目标图像重新进行标注、训练，从而浪费了大量的时间成本和人力成本。以医学图像为例，由于CT(Computed Tomography，计算机断层扫描)图像和MR(Magnetic Resonance，核磁共振)图像所属的域不同，因而在利用通过CT图像训练得到的网络模型对MR图像进行相关处理时，往往产生精度下降问题，而若对MR图像重新进行标注，又往往需要依赖高年资的医务人员，成本巨大。有鉴于此，如何低成本且高精度地完成属于不同域的图像的图像处理任务成为亟待解决的问题。

发明内容

本申请提供一种模型训练方法、图像处理及配准方法以及相关装置、设备。

本申请第一方面提供了一种模型训练方法，包括：获取至少一个样本图像，其中，样本图像具有标注信息；利用解纠缠模型分别对至少一个样本图像进行内容提取，得到至少一个样本图像的内容特征数据；利用至少一个样本图像的内容特征数据和标注信息对预设网络模型进行训练，得到用于处理目标图像的网络模型；其中，解纠缠模型是利用属于不同域的两类训练图像训练得到的，且其中一类训练图像与样本图像属于第一域，另一类训练图像与目标图像属于第二域。

因此，通过与样本图像同属于第一域的一类训练图像和与目标图像同属于第二域的另一训练图像训练得到的解纠缠模型，能够将具有标注信息的样本图像和目标图像映射得到属于相同域的内容特征数据，从而利用训练图像的内容特征数据和标注信息训练得到的网络模型能够同样适用于目标图像，而无需再对其进行标注，进而能够降低不同域的图像的标注成本，并提高后续处理的精度。

其中，样本图像和目标图像为医学图像，标注信息为对生物器官的标注信息；和/或，样本图像和目标图像为三维图像，标注信息为对三维目标的标注信息。

因此，通过将样本图像和目标图像设置为医学图像，且标注信息为生物器官的标注信息，能够适用于医学图像领域；而将样本图像和目标图像设置为三维图像，标注信息设置为对三维目标的标注信息，能够适用于三维图像的处理。

其中，预设网络模型包括以下任一者：图像分割网络模型、图像分类网络模型、目标检测网络模型。

因此，通过将预设网络模型设置为图像分割网络模型、图像分类网络模型、目标检测网络模型中的任一者，能够基于不同种类的预设网络网络模型，训练得到适用于不同图像处理任务的网络模型，从而能够完成对不同域的图像的不同处理任务。

其中，训练解纠缠模型包括：获取属于第一域的第一类训练图像和属于第二域的第二类训练图像；利用原始的解纠缠模型分别对第一类训练图像和第二类训练图像进行内容和风格提取，得到第一类训练图像的内容特征数据和风格特征数据和第二类训练图像的内容特征数据和风格特征数据；利用第一类训练图像的内容特征数据和风格特征数据和第二类训练图像的内容特征数据和风格特征数据重建得到重建图像；基于重建图像，得到解纠缠模型的损失值；基于损失值，调整解纠缠模型的参数。

因此，能够利用原始的解纠缠模型对属于第一域的第一类训练图像和属于第二域的第二类训练图像进行特征提取，并基于提取得到的内容特征数据和风格特征数据进行重建，从而基于重建得到的重建图像，得到解纠缠模型的损失值，进而基于损失值调整解纠缠模型的参数，从而能够训练得到解纠缠模型。

其中，利用第一类训练图像的内容特征数据和风格特征数据和第二类训练图像的内容特征数据和风格特征数据重建得到重建图像，包括：利用第一类训练图像的内容特征数据和风格特征数据重建得到第一域内重建图像，并利用第二类训练图像的内容特征数据和风格特征数据重建得到第二域内重建图像；以及利用第一类训练图像的风格特征数据和第二类训练图像的内容特征数据重建得到第一跨域重建图像，并利用第二类训练图像的风格特征数据和第一类训练图像的内容特征数据重建得到第二跨域重建图像；基于重建图像，得到解纠缠模型的损失值，包括：基于第一类训练图像与第一域内重建图像之间的差异，得到第一域内损失值，并基于第二类训练图像与第二域内重建图像之间的差异，得到第二域内损失值；基于第一类训练图像和第二跨域重建图像两者的内容特征数据间的差异，得到第一内容损失值，并基于第一类训练图像和第一跨域重建图像两者的风格特征数据间的差异，得到第一风格损失值，并基于第二类训练图像和第一跨域重建图像两者的内容特征数据间的差异，得到第二内容损失值，并基于第二类训练图像和第二跨域重建图像两者的风格特征数据间的差异，得到第二风格损失值；基于第一类训练图像与第一跨域重建图像之间的差异，得到第一跨域损失值，并基于第二类训练图像与第二跨域重建图像之间的差异，得到第二跨域损失值；对上述得到的损失值进行加权处理，得到解纠缠模型的损失值。

因此，能够基于域内损失值和跨域损失值，以及图像重建后对应内容特征数据和风格特征数据的损失值，进行加权处理，从而得到解纠缠模型的损失值，进而能够基于总体的损失值进行参数调整，能够使不同域的图像经解纠缠模型提取得到的内容特征数据在同一域中。

本申请第二方面提供了一种图像处理方法，包括：利用解纠缠模型对目标图像进行内容提取，得到目标图像的内容特征数据；利用处理网络模型对目标图像的内容特征数据进行处理，得到目标图像的处理结果；其中，解纠缠模型是利用属于不同域的两类训练图像训练得到的，且其中一类训练图像与目标图像属于同一域；处理网络模型是利用上述第一方面中的模型训练方法得到的。

因此，通过上述第一方面中的模型训练方法训练得到的处理网络模型既能够适用于训练该处理网络模型的样本图像，也能够适用于目标图像，故能够无需再对其进行标注，进而能够降低不同域的图像的标注成本，且能够提高图像处理的精度。

本申请第三方面提供了一种图像配准方法，包括：获取第一待配准图像和第二待配准图像；利用解纠缠模型分别将第一待配准图像、第二待配准图进行内容提取，得到第一待配准图像的内容特征数据和第二待配准图像的内容特征数据；基于第一待配准图像的内容特征数据和第二待配准图像的内容特征数据，确定配准参数；利用配准参数将第一待配准图像和第二待配准图像进行配准；其中，解纠缠模型是利用属于不同域的两类训练图像训练得到的，且其中一类训练图像与第一待配准图像属于第一域，另一类训练图像与第二待配准图像属于第二域。

因此，通过与第一待配准图像同属于第一域的一类训练图像和与第二待配准图像同属于第二域的另一类训练图像训练得到的解纠缠模型，能够使得提取到的第一待配准图像的内容特征数据和第二待配准图像的内容特征数据属于同一域，从而能够直接基于两者的内容特征数据得到两者的配准参数，并进行配准，能够在不同域的图像之间实现无监督配准，进而能够降低不同域的图像配准的成本，并提高其准确性。

其中，第一配准图像和第二配准图像为医学图像；和/或，第一配准图像和第二配准图像是三维图像；和/或，配准参数包括以下至少一者：刚性变化参数、形变变化参数。

因此，通过将第一待配准图像和第二待配准图像设置为医学图像能够使图像配准应用于医学图像的配准；通过将第一待配准图像和第二待配准图像设置为三维图像，能够使图像配准应用于三维图像的配准；而配准参数可以包括刚性变化参数和形变变化参数中的至少一种，能够使得第一待配准图像和第二待配准图像基于两者的实际情况进行相应变化后，实现配准，从而有利于提高图像配准的准确性。

其中，基于第一待配准图像的内容特征数据和第二待配准图像的内容特征数据，确定配准参数包括：基于第一待配准图像的内容特征数据和第二待配准图像的内容特征数据，确定对应第一待配准图像的配准参数；利用配准参数将第一待配准图像和第二待配准图像进行配准包括：利用配准参数对第一待配准图像进行变化处理，得到与第一待配准图像对应的变化图像；将变化图像的像素点与第二待配准图像的对应像素点重合。

因此，能够利用与第一待配准图像对应的配准参数对第一待配准图像进行变化处理，从而得到与第一待配准图像对应的变化图像，进而将变化图像的像素点与第二待配准图像的对应像素点重合，从而能够实现不同域的图像之间的无监督配准。

其中，训练解纠缠模型包括：获取属于第一域的第一类训练图像和属于第二域的第二类训练图像；利用原始的解纠缠模型分别对第一类训练图像和第二类训练图像进行内容和风格提取，得到第一类训练图像的内容特征数据和风格特征数据和第二类训练图像的内容特征数据和风格特征数据；利用第一类训练图像的内容特征数据和风格特征数据和第二类训练图像的内容特征数据和风格特征数据重建得到重建图像；基于重建图像，得到解纠缠模型的损失值；基于损失值，调整解纠缠模型的参数。

因此，能够利用原始的解纠缠模型对属于第一域的第一类训练图像和属于第二域的第二类训练图像进行特征提取，并基于提取得到的内容特征数据和风格特征数据进行重建，从而基于重建得到的重建图像，得到解纠缠模型的损失值，进而基于损失值调整解纠缠模型的参数，从而能够训练得到解纠缠模型。

本申请第四方面提供了一种模型训练装置，包括：图像获取模块、内容提取模块和模型训练模块，图像获取模块用于获取至少一个样本图像，其中，样本图像具有标注信息；内容提取模块用于利用解纠缠模型分别对至少一个样本图像进行内容提取，得到至少一个样本图像的内容特征数据；模型训练模块用于利用至少一个样本图像的内容特征数据和标注信息对预设网络模型进行训练，得到用于处理目标图像的网络模型；其中，解纠缠模型是利用属于不同域的两类训练图像训练得到的，且其中一类训练图像与样本图像属于第一域，另一类训练图像与目标图像属于第二域。

本申请第五方面提供了一种图像处理装置，包括内容提取模块和网络处理模块，内容提取模块用于利用解纠缠模型对目标图像进行内容提取，得到目标图像的内容特征数据；网络处理模块用于利用处理网络模型对目标图像的内容特征数据进行处理，得到目标图像的处理结果；其中，解纠缠模型是利用属于不同域的两类训练图像训练得到的，且其中一类训练图像与目标图像属于同一域；处理网络模型是利用上述第四方面中的模型训练装置得到的。

本申请第六方面提供了一种图像配准装置，包括：图像获取模块、内容提取模块、参数确定模块和图像配准模块，图像获取模块用于获取第一待配准图像和第二待配准图像；内容提取模块用于利用解纠缠模型分别将第一待配准图像、第二待配准图进行内容提取，得到第一待配准图像的内容特征数据和第二待配准图像的内容特征数据；参数确定模块用于基于第一待配准图像的内容特征数据和第二待配准图像的内容特征数据，确定配准参数；图像配准模块用于利用配准参数将第一待配准图像和第二待配准图像进行配准；其中，解纠缠模型是利用属于不同域的两类训练图像训练得到的，且其中一类训练图像与第一待配准图像属于第一域，另一类训练图像与第二待配准图像属于第二域。

本申请第七方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的模型训练方法，或实现上述第二方面中的图像处理方法，或实现上述第三方面中的图像配准方法。

本申请第八方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的模型训练方法，或实现上述第二方面中的图像处理方法，或实现上述第三方面中的图像配准方法。

上述方案，通过与样本图像同属于第一域的一类训练图像和与目标图像同属于第二域的另一训练图像训练得到的解纠缠模型，能够将具有标注信息的样本图像和目标图像映射得到属于相同域的内容特征数据，从而利用训练图像的内容特征数据和标注信息训练得到的网络模型能够同样适用于目标图像，而无需再对其进行标注，进而能够降低不同域的图像的标注成本，并提高图像处理的精度。

附图说明

图1是本申请模型训练方法一实施例的流程示意图；

图2是解纠缠模型训练方法一实施例的示意图；

图3是解纠缠模型训练方法另一实施例的示意图；

图4是本申请图像处理方法一实施例的流程示意图；

图5是本申请图像配准方法一实施例的流程示意图；

图6是图像配准一实施例的过程示意图；

图7是本申请模型训练装置一实施例的框架示意图；

图8是本申请图像处理装置一实施例的框架示意图；

图9是本申请图像配准装置一实施例的框架示意图；

图10是本申请电子设备一实施例的框架示意图；

图11是本申请存储装置一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

请参阅图1，图1是本申请模型训练方法一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S11：获取至少一个样本图像。

本实施例中，样本图像具有标注信息。例如，对于训练图像分割网络模型而言，标注信息可以是训练图像中目标对象的轮廓信息；或者，对于训练图像分类网络模型而言，标注信息可以是训练图像中与目标对象对应的类别信息；或者，对于训练目标检测网络模型而言，标注信息可以是训练图像中目标对象的位置信息，具体可以根据应用场景而设定，在此不做限制。

在一个实施场景中，为了提高训练得到的网络模型的准确性，样本图像可以是多个，例如，500个、700个、900个等等，在此不做限制。

在一个实施场景中，为了使训练得到的网络模型能够应用于医学图像领域，样本图像可以是医学图像，例如，CT图像、MR图像等，此外，标注信息可以为对生物器官的标注信息，例如，对胰腺、肾脏等器官的标注信息，也可以是对器官组织的标注信息，例如，对韧带、软骨组织的标注信息，或者，还可以是对器官病变组织的标注信息，例如，对血肿区域、溃疡区域的标注信息，在此不再一一举例。

在一个实施场景中，为了使训练得到的网络模型能够对三维图像进行相应处理，样本图像还可以是三维图像，例如，三维核磁共振图像，或者，三维图像还可以是通过CT图像、B超图像经过三维重建之后得到的三维图像，在此不做限定。

步骤S12：利用解纠缠模型分别对至少一个样本图像进行内容提取，得到至少一个样本图像的内容特征数据。

本实施例中，解纠缠模型是利用属于不同域的两类训练图像训练得到的，且其中一类训练图像与样本图像属于第一域，另一类训练图像与目标图像属于第二域。不同域的图像的图像数据服从不同的数据分布。例如，不同种类医疗图像检测设备采集得到的CT图像和MR图像属于不同域；或者，白昼时拍摄的图像和夜晚时拍摄的图像属于不同的域；或者，摄像机拍到的图像和手工绘制的图像属于不同的域；或者，夏天拍摄的风景和冬天拍摄的风景属于不同的域，在此不再一一举例。

请结合参阅图2，图2是解纠缠模型训练方法一实施例的示意图。如图2所示，获取属于第一域的第一类训练图像为图像x

具体地，请继续结合参阅图2和图3，可以基于第一类训练图像x

在实际训练过程中，可以基于得到的损失值调整解纠缠模型的参数，并重复上述流程重新进行特征提取、图像重建，以及计算损失值的步骤，从而不断地对解纠缠模型的参数进行调整，通过多次循环以及参数调整，能够使通过解纠缠模型获得的第一类训练图像x

在一个具体的实施场景中，解纠缠模型可以包括内容编码器(content encoder)和风格编码器(style encoder)，分别用于对图像进行编码得到内容特征数据和风格特征数据，具体地，内容编码器可以包括多个用于对输入图像降采样的跨步卷积层(stridedconvolutional layer)和多个进一步处理的残差块(residual blocks)，且所有的卷积层都进行了实例正则化处理(Instance Normalization)；而风格编码器可以包括多个用于对输入图像进行降采样的跨步卷积层(strided convolutional layer)、一个全局的平均池化层(global average pooling layer)，以及一个全连接层(fully connected layer)，且由于实例正则化处理会去除原始特征的均值和方差，而很多风格特征信息又包含于其中，故在风格编码器中不使用实例正则化处理。此外，解纠缠模型还包括解码器(decoder)，用于基于内容特征数据和风格特征数据重建图像，具体地，解码器通过一组残差块处理处理内容特征数据，并最终利用多个上采样重建图像，其中，残差块中还可以引入自适应实例标准化，且自适应实例标准化可以利用多层感知器在风格特征数据上动态生成。

本实施例中，内容特征数据可以包括描述图像内容的数据，例如，可以包括描述图像中人物、建筑、山水等轮廓的数据。风格特征数据可以包括描述图像色彩、画风等的数据，例如，可以包括描述图像中人物、建筑、山水等色系(如，暖色系、冷色系等)的数据，或者还可以包括描述图像中人物、建筑、山水等画风(如，写实风、印象风)的数据，在此不再一一举例。

步骤S13：利用至少一个样本图像的内容特征数据和标注信息对预设网络模型进行训练，得到用于处理目标图像的网络模型。

在一个实施场景中，为了使训练得到的网络模型能够应用于医学图像领域，样本图像和目标图像可以是医学图像，例如，CT图像、MR图像等。此外，标注信息可以为对生物器官的标注信息。

在一个实施场景中，为了使训练得到的网络模型能够对三维图像进行相应处理，样本图像和目标图像为三维图像，标注信息为对三维目标的标注信息。三维图像可以是三维核磁共振图像，或者，三维图像还可以是通过CT图像、B超图像经过三维重建之后得到的三维图像，在此不做限定。

在一个实施场景中，为了适应于不同应用场景，预设网络模块可以根据实际情况设置为以下任一者：图像分割网络模型、图像分类网络模型、目标检测网络模型。例如，对于图像分割而言，图像分割网络模型可以包括但不限于：FCN(Fully ConvolutionalNetwork，全卷积网络)、Segnet、Enet等等；或者，对于图像分类而言，图像分类网络模型可以包括但不限于：VGG网络、Inception网络、Resnet网络等等；或者，对于目标检测而言，目标检测网络模型可以包括但不限于：YOLO(You Only Look Once)网络、SSD(Single ShotMultiBox Detector)网络等等，在此不做限定。通过对上述预设网络模型进行训练，可以分别得到用于对图像进行分割的网络模型、用于图像分类的网络模型，以及用于目标检测的网络模型，从而使得训练得到的网络模型能够同时适用于属于第一域和第二域的目标图像。

在一个具体的实施场景中，样本图像是颅脑CT图像，目标图像是颅脑MR图像，通过与样本图像同属于第一域的第一类训练图像和与目标图像同属于第二类的第二类训练图像训练得到解纠缠网络，从而利用解纠缠模型提取得到颅脑CT图像的内容特征数据，再利用颅脑CT图像的内容特征数据和标注信息对预设网络模型进行训练，能够得到用于处理颅脑MR图像的网络模型。在其他应用场景中，可以以此类推，在此不再一一举例。

上述方案，通过与样本图像同属于第一域的一类训练图像和与目标图像同属于第二域的另一训练图像训练得到的解纠缠模型，能够将具有标注信息的样本图像和目标图像映射得到属于相同域的内容特征数据，从而利用训练图像的内容特征数据和标注信息训练得到的网络模型能够同样适用于目标图像，而无需再对其进行标注，进而能够降低不同域的图像的标注成本，并提高图像处理的精度。

请参阅图4，图4是本申请图像处理方法一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S41：利用解纠缠模型对目标图像进行内容提取，得到目标图像的内容特征数据。

本实施例中，解纠缠模型是利用属于不同域的两类训练图像训练得到的，且其中一类训练图像与目标图像属于同一域。解纠缠模型的具体训练过程可以参阅前述实施例中的相关步骤，在此不再赘述。

在一个具体的实施场景中，目标图像可以是颅脑MR图像，利用解纠缠模型对颅脑MR图像进行内容提取，可以得到颅脑MR图像的内容特征数据。在其他应用场景中，可以以此类推，在此不再一一举例。

步骤S42：利用处理网络模型对目标图像的内容特征数据进行处理，得到目标图像的处理结果。

本实施例中，处理网络模型是利用上述任一模型训练方法实施例中的步骤得到的，具体可以参阅前述实施例中的相关步骤，在此不再赘述。

在一个具体的实施场景中，仍以目标图像是颅脑MR图像为例，处理网络模型可以是图像分割网络模型，图像分割网络模型是利用颅脑CT图像的内容特征数据及其标注信息(如，腔梗轮廓信息)训练得到的，且颅脑CT图像的内容特征数据是利用解纠缠模型提取得到的，而解纠缠模型又是利用与颅脑MR图像属于同一域的训练图像和与颅脑CT图像属于同一域的训练图像训练得到的，具体训练过程可以参阅前述实施例中的相关步骤，从而利用训练得到的图像分割网络模型对颅脑MR图像的内容特征数据进行处理，分割得到颅脑MR图像中的腔梗。

在另一个具体的实施场景中，仍以目标图像是颅脑MR图像为例，处理网络模型可以是图像分类网络模型，图像分类网络模型是利用颅脑CT图像的内容特征数据及与其分类对应的标注信息(如，腔梗、出血、脑白质稀疏、脑萎缩等)训练得到的，且颅脑CT图像的内容特征数据是利用解纠缠模型提取得到的，而解纠缠模型又是利用与颅脑MR图像属于同一域的训练图像和与颅脑CT图像属于同一域的训练图像训练得到的，具体训练过程可以参阅前述实施例中的相关步骤，从而利用训练得到的图像分类网络模型对颅脑MR图像的内容特征数据进行处理，确定颅脑MR图像所属的类别(如：腔梗、出血、脑白质稀疏、脑萎缩中的任一种)。

在又一个具体的实施场景中，仍以目标图像是颅脑MR图像为例，处理网络模型可以是目标检测网络模型，目标检测网络模型是利用颅脑CT图像的内容特征数据及包含其中的目标对象(如：腔梗、出血等)的目标区域的标注信息(如：位置信息)训练得到的，且颅脑CT图像的内容特征数据是利用解纠缠模型提取得到的，而解纠缠模型又是利用与颅脑MR图像属于同一域的训练图像和与颅脑CT图像属于同一域的训练图像训练得到的，具体训练过程可以参阅前述实施例中的相关步骤，从而利用训练得到的目标检测网络模型对颅脑MR图像的内容特征数据进行处理，得到颅脑MR图像中目标对象(腔梗、出血等)的目标区域。

其他应用场景可以以此类推，在此不再一一举例。

上述方案，通过上述第一方面中的模型训练方法训练得到的处理网络模型既能够适用于训练该处理网络模型的样本图像，也能够适用于目标图像，故能够无需再对其进行标注，进而能够降低不同域的图像的标注成本，且能够提高图像处理的精度。

请参阅图5，图5是本申请图像配准方法一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S51：获取第一待配准图像和第二待配准图像。

本实施例中，第一待配准图像与第二待配准图像可以属于不同的域。例如，第一待配准图像可以是CT图像，第二待配准图像可以是MR图像，或者，第一待配准图像可以是利用激光雷达扫描得到的深度图像，第二待配准图像可以是利用摄像机拍摄得到的可见光图像，在此不做限定。

步骤S52：利用解纠缠模型分别将第一待配准图像、第二待配准图进行内容提取，得到第一待配准图像的内容特征数据和第二待配准图像的内容特征数据。

本实施例中，解纠缠模型是利用属于不同域的两类训练图像训练得到的，且其中一类训练图像与第一待配准图像属于第一域，另一类训练图像与第二待配准图像属于第二域。解纠缠模型的具体训练过程可以包括：获取属于第一域的第一类训练图像和属于第二域的第二类训练图像，并利用原始的解纠缠模型分别对第一类训练图像和第二类训练图像进行内容和风格提取，得到第一类训练图像的内容特征数据和风格特征数据和第二类训练图像的内容特征数据和风格特征数据，从而利用第一类训练图像的内容特征数据和风格特征数据和第二类训练图像的内容特征数据和风格特征数据重建得到重建图像，并基于重建图像，得到解纠缠模型的损失值，进而基于损失值，调整解纠缠模型的参数。具体地，可以参阅前述实施例中的相关步骤，在此不再赘述。

通过训练得到的解纠缠模型分别对第一待配准图像和第二待配准图像进行内容提取，能够使得提取得到的第一待配准图像的内容特征数据和第二待配准图像的内容特征数据服从同一数据分布，从而便于后续处理。

请结合参阅6，图6是图像配准一实施例的过程示意图，如图6所示，第一待配准图像是颅脑CT图像，第二待配准图像是颅脑MR图像，利用与颅脑CT图像同属于第一域的训练图像和与颅脑MR图像同属于第二域的训练图像，可以训练得到解纠缠模型，从而利用训练得到的解纠缠模型对颅脑CT图像和颅脑MR图像进行内容提取，可以得到颅脑CT图像的内容特征数据和颅脑MR图像的内容特征数据。

步骤S53：基于第一待配准图像的内容特征数据和第二待配准图像的内容特征数据，确定配准参数。

在一个实施场景中，为了能够基于第一配准图像和第二配准图像的实际情况确定配准参数，配准参数可以包括刚性变化参数、形变变化参数中的至少一者。当配准参数为刚性变化参数时，图像仅经过旋转变化和/或平移变化，其形状不会发生变化，而当配准参数为形变变化参数时，图像的形状发生变化。

请继续结合参阅图6，基于颅脑CT图像的内容特征数据和颅脑MR图像的内容特征数据得到颅脑CT图像和颅脑MR图像的配准参数。

在一个具体的实施场景中，在图像配准过程中，可以设置第一待配准图像和第二待配准图像中的一者为运动图像，另一者为固定图像。例如，设置第一待配准图像为运动图像，则基于第一待配准图像的内容特征数据和第二待配准图像的内容特征数据可以确定对应第一待配准图像的配准参数。

步骤S54：利用配准参数将第一待配准图像和第二待配准图像进行配准。

在一个具体的实施场景中，在图像配准过程中，可以设置第一待配准图像和第二待配准图像中的一者为运动图像，另一者为固定图像。例如，设置第一待配准图像为运动图像，并基于第一待配准图像和第二待配准图像确定得到第一待配准图像的配准参数，可以利用配准参数对第一待配准图像进行变化处理(例如，刚性变化、形变变化)，得到与第一待配准图像对应的变化图像，并将变化图像的像素点和第二待配准图像的对应像素点重合，从而实现图像配准。

请继续结合参阅图6，将颅脑MR图像作为运动图像，将颅脑CT图像作为固定图像，从而基于颅脑MR图像的内容特征数据和颅脑CT图像的内容特征数据，确定颅脑MR图像的配准参数，从而利用配准参数对颅脑MR图像进行变化处理，如刚性变化处理，得到变化图像，从而将得到的变化图像的像素点和颅脑CT图像的对应像素点重合，进而完成图像配准。

在一个实施场景中，为了进一步提高图像配准的准确性，还可以在确定得到第一待配准图像和第二待配准图像的配准参数，并利用配准参数对第一待配准图像进行变化处理，得到对应的变化图像之后，统计变化图像和第二待配准图像之间的差异，并基于统计得到的差异，对配准参数进行微调，再利用微调之后的配准参数继续对第一待配准图像进行变化处理，得到对应的变化图像，并统计变化图像和第二待配准图像之间差异，并基于统计得到的差异，对上述微调之后的配准参数再次微调，并重复上述利用微调之后的配准参数对第一待配准图像进行变化处理的步骤，直至得到的变化图像与第二待配准图像之间的差异在允许范围内。

上述方案，通过与第一待配准图像同属于第一域的一类训练图像和与第二待配准图像同属于第二域的另一类训练图像训练得到的解纠缠模型，能够使得提取到的第一待配准图像的内容特征数据和第二待配准图像的内容特征数据属于同一域，从而能够直接基于两者的内容特征数据得到两者的配准参数，并进行配准，能够在不同域的图像之间实现无监督配准，进而能够降低不同域的图像配准的成本，并提高其准确性。

请参阅图7，图7是本申请模型训练装置70一实施例的框架示意图。模型训练装置70包括：图像获取模块71、内容提取模块72和模型训练模块73，图像获取模块71用于获取至少一个样本图像，其中，样本图像具有标注信息；内容提取模块72用于利用解纠缠模型分别对至少一个样本图像进行内容提取，得到至少一个样本图像的内容特征数据；模型训练模块73用于利用至少一个样本图像的内容特征数据和标注信息对预设网络模型进行训练，得到用于处理目标图像的网络模型；其中，解纠缠模型是利用属于不同域的两类训练图像训练得到的，且其中一类训练图像与样本图像属于第一域，另一类训练图像与目标图像属于第二域。

上述方案，通过与样本图像同属于第一域的一类训练图像和与目标图像同属于第二域的另一训练图像训练得到的解纠缠模型，能够将具有标注信息的样本图像和目标图像映射得到属于相同域的内容特征数据，从而利用训练图像的内容特征数据和标注信息训练得到的网络模型能够同样适用于目标图像，而无需再对其进行标注，进而能够降低不同域的图像的标注成本，并提高后续处理的精度。

在一些实施例中，样本图像和目标图像为医学图像，标注信息为对生物器官的标注信息；和/或，样本图像和目标图像为三维图像，标注信息为对三维目标的标注信息。

区别于前述实施例，通过将样本图像和目标图像设置为医学图像，且标注信息为生物器官的标注信息，能够适用于医学图像领域；而将样本图像和目标图像设置为三维图像，标注信息设置为对三维目标的标注信息，能够适用于三维图像的处理。

在一些实施例中，预设网络模型包括以下任一者：图像分割网络模型、图像分类网络模型、目标检测网络模型。

区别于前述实施例，通过将预设网络模型设置为图像分割网络模型、图像分类网络模型、目标检测网络模型中的任一者，能够基于不同种类的预设网络网络模型，训练得到适用于不同图像处理任务的网络模型，从而能够完成对不同域的图像的不同处理任务。

在一些实施例中，模型训练装置70还包括训练图像获取模块，用于获取属于第一域的第一类训练图像和属于第二域的第二类训练图像，模型训练装置70还包括图像提取模块，用于利用原始的解纠缠模型分别对第一类训练图像和第二类训练图像进行内容和风格提取，得到第一类训练图像的内容特征数据和风格特征数据和第二类训练图像的内容特征数据和风格特征数据，模型训练装置70还包括图像重建模块，用于利用第一类训练图像的内容特征数据和风格特征数据和第二类训练图像的内容特征数据和风格特征数据重建得到重建图像，模型训练装置70还包括损失计算模块，用于基于重建图像，得到解纠缠模型的损失值，模型训练装置70还包括参数调整模块，用于基于损失值，调整解纠缠模型的参数。

区别于前述实施例，能够利用原始的解纠缠模型对属于第一域的第一类训练图像和属于第二域的第二类训练图像进行特征提取，并基于提取得到的内容特征数据和风格特征数据进行重建，从而基于重建得到的重建图像，得到解纠缠模型的损失值，进而基于损失值调整解纠缠模型的参数，从而能够训练得到解纠缠模型。

在一些实施例中，图像重建模块包括域内重建子模块，用于利用第一类训练图像的内容特征数据和风格特征数据重建得到第一域内重建图像，并利用第二类训练图像的内容特征数据和风格特征数据重建得到第二域内重建图像，图像重建模块还包括跨域重建子模块，用于利用第一类训练图像的风格特征数据和第二类训练图像的内容特征数据重建得到第一跨域重建图像，并利用第二类训练图像的风格特征数据和第一类训练图像的内容特征数据重建得到第二跨域重建图像。损失计算模块包括域内损失计算子模块，用于基于第一类训练图像与第一域内重建图像之间的差异，得到第一域内损失值，并基于第二类训练图像与第二域内重建图像之间的差异，得到第二域内损失值，损失计算模块还包括内容损失计算子模块，用于基于第一类训练图像和第二跨域重建图像两者的内容特征数据间的差异，得到第一内容损失值，以及基于第二类训练图像和第一跨域重建图像两者的内容特征数据间的差异，得到第二内容损失值，损失计算模块还包括风格损失计算子模块，用于基于第一类训练图像和第一跨域重建图像两者的风格特征数据间的差异，得到第一风格损失值，以及基于第二类训练图像和第二跨域重建图像两者的风格特征数据间的差异，得到第二风格损失值，损失计算模块还包括跨域损失计算子模块，用于基于第一类训练图像与第一跨域重建图像之间的差异，得到第一跨域损失值，并基于第二类训练图像与第二跨域重建图像之间的差异，得到第二跨域损失值，损失计算模块还包括损失加权子模块，用于对上述得到的损失值进行加权处理，得到解纠缠模型的损失值。

区别于前述实施例，能够基于域内损失值和跨域损失值，以及图像重建后对应内容特征数据和风格特征数据的损失值，进行加权处理，从而得到解纠缠模型的损失值，进而能够基于总体的损失值进行参数调整，能够使不同域的图像经解纠缠模型提取得到的内容特征数据在同一域中。

请参阅图8，图8是本申请图像处理装置80一实施例的框架示意图。图像处理装置80包括内容提取模块81和网络处理模块82，内容提取模块81用于利用解纠缠模型对目标图像进行内容提取，得到目标图像的内容特征数据；网络处理模块82用于利用处理网络模型对目标图像的内容特征数据进行处理，得到目标图像的处理结果；其中，解纠缠模型是利用属于不同域的两类训练图像训练得到的，且其中一类训练图像与目标图像属于同一域；处理网络模型是利用上述任一模型训练装置实施例中的模型训练装置得到的。

上述方案，通过上述任一模型训练装置实施例中的模型训练装置训练得到的处理网络模型既能够适用于训练该处理网络模型的样本图像，也能够适用于目标图像，故能够无需再对其进行标注，进而能够降低不同域的图像的标注成本，且能够提高图像处理的精度。

请参阅图9，图9是本申请图像配准装置90一实施例的框架示意图。图像配准装置90包括：图像获取模块91、内容提取模块92、参数确定模块93和图像配准模块94，图像获取模块91用于获取第一待配准图像和第二待配准图像；内容提取模块92用于利用解纠缠模型分别将第一待配准图像、第二待配准图进行内容提取，得到第一待配准图像的内容特征数据和第二待配准图像的内容特征数据；参数确定模块93用于基于第一待配准图像的内容特征数据和第二待配准图像的内容特征数据，确定配准参数；图像配准模块94用于利用配准参数将第一待配准图像和第二待配准图像进行配准；其中，解纠缠模型是利用属于不同域的两类训练图像训练得到的，且其中一类训练图像与第一待配准图像属于第一域，另一类训练图像与第二待配准图像属于第二域。

上述方案，通过与第一待配准图像同属于第一域的一类训练图像和与第二待配准图像同属于第二域的另一类训练图像训练得到的解纠缠模型，能够使得提取到的第一待配准图像的内容特征数据和第二待配准图像的内容特征数据属于同一域，从而能够直接基于两者的内容特征数据得到两者的配准参数，并进行配准，能够在不同域的图像之间实现无监督配准，进而能够降低不同域的图像配准的成本，并提高其准确性。

在一些实施例中，第一待配准图像和第二待配准图像为医学图像；和/或，第一待配准图像和第二待配准图像是三维图像；和/或，配准参数包括以下至少一者：刚性变化参数、形变变化参数。

区别于前述实施例，通过将第一待配准图像和第二待配准图像设置为医学图像能够使图像配准应用于医学图像的配准；通过将第一待配准图像和第二待配准图像设置为三维图像，能够使图像配准应用于三维图像的配准；而配准参数可以包括刚性变化参数和形变变化参数中的至少一种，能够使得第一待配准图像和第二待配准图像基于两者的实际情况进行相应变化后，实现配准，从而有利于提高图像配准的准确性。

在一些实施例中，参数确定模块93具体用于基于第一待配准图像的内容特征数据和第二待配准图像的内容特征数据，确定对应第一待配准图像的配准参数，图像配准模块94包括变化处理子模块，用于利用配准参数对第一待配准图像进行变化处理，得到与第一待配准图像对应的变化图像，图像配准模块94还包括像素重合模块，用于将变化图像的像素点与第二待配准图像的对应像素点重合。

区别于前述实施例，能够利用与第一待配准图像对应的配准参数对第一待配准图像进行变化处理，从而得到与第一待配准图像对应的变化图像，进而将变化图像的像素点与第二待配准图像的对应像素点重合，从而能够实现不同域的图像之间的无监督配准。

在一些实施例中，图像配准装置90还包括训练图像获取模块，用于获取属于第一域的第一类训练图像和属于第二域的第二类训练图像，模型训练装置90还包括图像提取模块，用于利用原始的解纠缠模型分别对第一类训练图像和第二类训练图像进行内容和风格提取，得到第一类训练图像的内容特征数据和风格特征数据和第二类训练图像的内容特征数据和风格特征数据，模型训练装置90还包括图像重建模块，用于利用第一类训练图像的内容特征数据和风格特征数据和第二类训练图像的内容特征数据和风格特征数据重建得到重建图像，模型训练装置90还包括损失计算模块，用于基于重建图像，得到解纠缠模型的损失值，模型训练装置90还包括参数调整模块，用于基于损失值，调整解纠缠模型的参数。

区别于前述实施例，能够利用原始的解纠缠模型对属于第一域的第一类训练图像和属于第二域的第二类训练图像进行特征提取，并基于提取得到的内容特征数据和风格特征数据进行重建，从而基于重建得到的重建图像，得到解纠缠模型的损失值，进而基于损失值调整解纠缠模型的参数，从而能够训练得到解纠缠模型。

请参阅图10，图10是本申请电子设备100一实施例的框架示意图。电子设备100包括相互耦接的存储器101和处理器102，处理器102用于执行存储器101中存储的程序指令，以实现上述任一模型训练方法实施例中的步骤，或实现上述任一图像处理方法实施例中的步骤，或实现上述任一图像配准方法实施例中的步骤。本实施例中，电子设备100可以包括笔记本、平板电脑、智能手机等移动设备，也可以包括微型计算机、服务器等终端设备，在此不做限定。

具体而言，处理器102用于控制其自身以及存储器101以实现上述任一模型训练方法实施例中的步骤，或实现上述任一图像处理方法实施例中的步骤，或实现上述任一图像配准方法实施例中的步骤。处理器102还可以称为CPU(Central Processing Unit，中央处理单元)。处理器102可能是一种集成电路芯片，具有信号的处理能力。处理器102还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器102可以由集成电路芯片共同实现。

上述方案，够降低不同域的图像的标注成本，并提高图像处理的精度。

请参阅图11，图11为本申请计算机可读存储介质110一实施例的框架示意图。计算机可读存储介质110存储有能够被处理器运行的程序指令111，程序指令111用于实现上述任一模型训练方法实施例中的步骤，或实现上述任一图像处理方法实施例中的步骤，或实现上述任一图像配准方法实施例中的步骤。

上述方案，够降低不同域的图像的标注成本，并提高图像处理的精度。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。