一种基于监督且用于医学影像的特征解耦网络模型

技术领域

本发明属于医学影像的人工智能技术领域，特别涉及人工智能与医疗的结合方向，尤其涉及一种基于监督且用于医学影像的特征解耦网络模型。

背景技术

医学影像检查是众多疾病检查的重要技术手段，随着人工智能、图像处理、深度学习等技术的发展，医学影像智能化分析取得了巨大的进步。通过构建深度学习模型，可实现解剖结构定位、分割、影像分类、异常检测等任务。医学影像智能化分析，可以有效为临床诊断、手术规划、临床教学等任务提供可靠的参考依据，降低临床误诊率、漏诊率，降低临床医生的工作负担。

在医学影像分类、医学影像异常检测任务中，由于有些病变病例数量较少(极端一点的，例如罕见病)导致可用于深度网络训练的影像数据数量较少，分类或异常检测效果不尽人意。此外，对于某些异常病例，其影像特征与正常影像的影像特征相近，计算机较难区分。

由此可见，影像类内差异较大、类间差异较小，以及训练样本不足、不同类别样本数量不均衡等问题，是目前医学影像分类、异常检测任务面临的挑战。

问题在于，现有的基于深度学习的影像分类方法，却普遍依赖于尽可能大量的训练数据集，这在一些病症类型上是难以实现的。而当训练样本较少时，深度模型的性能将大大降低。

此外，现有的影像分类方法通常对类间差异较小的任务性能较差，难以有效的区分。加之现有的异常检测方法又大多基于无监督学习的思想，这忽视了异常影像所提供的临床信息，缺少了医学先验信息的引导和对深度网络的约束。此外，现有的图像合成方法，对于一些只能提供少量异常数据训练深度网络的任务，合成的图像往往存在较多噪声，或合成的图像不符合临床的定义标准，因此难以实际应用。

有鉴于此，如何利用人工智能，尤其是神经网络等信息技术，实现一种能够克服医学影像数据集样本缺乏、甚至能够进一步提升影像分类准确率的技术方案，成为本领域亟需解决的技术问题。

发明内容

为了解决上述技术问题，本发明提供了一种基于监督且用于医学影像的特征解耦网络模型，所述模型包括：

编码器单元，用于对输入的有限数量的医学影像进行特征提取，并将提取后的特征处理为多维深度特征，其中一部分维度的深度特征作为鉴别特征，而另一部分维度的深度特征作为共同重建特征；

解码器单元，用于将鉴别特征和共同重建特征，整体作为影像重建特征，映射为重建影像，其中，所述重建影像为依据有限的医学影像而扩充的新的医学影像数据。

优选的，所述的一种基于监督且用于医学影像的特征解耦网络模型中，

所述鉴别特征和共同重建特征是所述特征解耦网络模型对所述有限数量的医学影像进行深度特征的解耦处理后所得。

优选的，所述的一种基于监督且用于医学影像的特征解耦网络模型中，

所述特征解耦网络模型通过类别监督引导编码器单元的特征提取。

优选的，所述的一种基于监督且用于医学影像的特征解耦网络模型中，

所述鉴别特征为所述多维深度特征中，与医学影像分类存在映射关系的一定维度的深度特征，

所述共同重建特征则为，除所述鉴别特征之外，所述特征解耦网络模型对所述有限数量的医学影像进行深度特征的解耦处理后所得的其他的一定维度的深度特征。

优选的，所述的一种基于监督且用于医学影像的特征解耦网络模型中，

所述特征解耦网络模型还包括分类器单元，

所述分类器单元对任意两个鉴别特征进行分类，从而引导网络将鉴别特征与共同重建特征解耦。

优选的，所述的一种基于监督且用于医学影像的特征解耦网络模型中，

所述特征解耦网络模型，提取编码器单元所输出的不同尺度的深度高维特征，并通过分类器单元建立至少一部分深度高维特征与医学影像分类的类别之间的映射，然后将所述至少一部分深度高维特征作为鉴别特征的一部分。

优选的，所述的一种基于监督且用于医学影像的特征解耦网络模型中，

所述有限数量的医学影像至少包括第一医学影像和第二医学影像，其中，第一医学影像属于正常情形，第二医学影像属于异常情形。

优选的，所述的一种基于监督且用于医学影像的特征解耦网络模型中，

所述编码器单元包括第一编码器、第二编码器、第一解码器、第二解码器，

其中，

第一编码器和第二编码器之间存在参数共享，

第一解码器和第二解码器之间存在参数共享。

优选的，所述的一种基于监督且用于医学影像的特征解耦网络模型中，

所述特征解耦网络模型通过正交损失增加鉴别特征之间的距离以提高特征的可分性。

优选的，所述的一种基于监督且用于医学影像的特征解耦网络模型中，

所述特征解耦网络模型还包括空间注意力单元(SA)，以提升重建影像的影像质量。

优选的，所述的一种基于监督且用于医学影像的特征解耦网络模型中，

所述特征解耦网络模型还包括通道注意力单元(CA)，以提升医学影像分类性能，提升编码器的特征提取和特征选择能力，有助于实现鉴别特征与共同重建特征的解耦，有助于实现不同类别的医学影像之间的鉴别特征的解耦。

优选的，所述的一种基于监督且用于医学影像的特征解耦网络模型中，

编码器单元和解码器单元共同完成影像重建任务，利用重建损失对影像重建任务进行监督训练。

优选的，所述的一种基于监督且用于医学影像的特征解耦网络模型中，

所述特征解耦网络模型通过类别损失进行类别监督训练，所述类别损失BCELoss根据式(1)计算：

其中y

优选的，所述的一种基于监督且用于医学影像的特征解耦网络模型中，

所述正交损失L根据式(2)计算：

其中，f

优选的，所述的一种基于监督且用于医学影像的特征解耦网络模型中，

编码器单元包括输入层和下采样层，其中，下采样层包含卷积层、批归一化层和激活层。

优选的，所述的一种基于监督且用于医学影像的特征解耦网络模型中，

解码器单元包括上采样层、残差模块和输出层，其中，上采样层与编码器单元的下采样层在影像尺寸和通道数方面一致，且，

所述上采样层包含上采样、卷积层和激活层，用于将深度特征映射为预测影像；

输出层用于调整输出尺度和通道数，将多维张量调整为影像尺寸；

残差模块用于处理影像重建特征，实现对共同重建特征和鉴别特征的有效融合。

优选的，所述的一种基于监督且用于医学影像的特征解耦网络模型中，

所述残差模块，还用于对影像重建特征进行进一步选择和处理，提升影像重建能力；

在解码器单元添加残差模块有助于提升编码器的特征提取及特征选择能力。

优选的，所述的一种基于监督且用于医学影像的特征解耦网络模型中，

分类器单元由两层全连接层和一层激活层组成，分类器层数、全连接层节点数、激活函数可根据实际任务进行调整。

此外，本发明还揭示了一种医学影像扩充方法，

所述医学影像扩充方法采用所述的一种基于监督且用于医学影像的特征解耦网络模型，基于有限数量的医学影像生成重建影像以扩充新的医学影像数据。

此外，本发明还揭示了一种医学影像分类方法，

所述医学影像分类方法采用所述的一种基于监督且用于医学影像的特征解耦网络模型，基于输入的医学影像获得鉴别特征并进一步利用分类器单元获得医学影像分类的类别。

此外，本发明还揭示了一种医学影像扩充方法，

所述医学影像扩充方法采用所述的一种基于监督且用于医学影像的特征解耦网络模型，基于有限数量的正常(或异常)医学影像生成转换后的异常(或正常)影像以扩充新的医学影像数据。

此外，本发明还揭示了一种医学影像扩充方法，包括如下步骤：

输入有限数量的医学影像至所述特征解耦网络模型；

利用所述特征解耦网络模型生成重建影像以扩充新的医学影像数据。

此外，本发明还揭示了一种医学影像分类方法，包括如下步骤：

输入医学影像至所述特征解耦网络模型；

利用所述特征解耦网络模型获得鉴别特征并进一步利用分类器单元获得医学影像分类的类别。

此外，本发明还揭示了一种医学影像扩充方法，包括如下步骤：

输入有限数量的正常(或异常)医学影像至所述特征解耦网络模型；

利用所述特征解耦网络模型生成转换后的异常(或正常)影像以扩充新的医学影像数据。

此外，本发明还揭示了一种电子设备，包括：

存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，

所述处理器执行所述程序时实现任一所述的方法。

此外，本发明还揭示了一种计算机存储介质，

所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行任一所述的方法。

和现有技术相比，本发明具有以下优点：

本发明充分利用医学影像中传统的影像信息、类别信息，在只有少量训练数据或者说有限数量的医学影像的前提下，创新性的实现了一种基于监督且用于医学影像的特征解耦网络模型，以使得本发明能够高质量的生成类别转换后的影像，以进行影像样本合成，有效扩充医学影像数据集，服务其他下游任务。此外，对于任意两类需要分类或解耦的影像，本发明还能够解耦两类影像的鉴别特征，提升影像分类准确率，能够在临床中为医生提供有效的参考信息，以辅助医生的工作，减轻医生工作负担。

附图说明

附图示出了本发明的示例性实施方式，并与其说明一起用于解释本发明的原理，其中包括了这些附图以提供对本发明的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。

图1是本发明一个实施例中，一种基于监督且用于医学影像的特征解耦网络模型的结构及其方法的示意图；

图2是本发明一个实施例中，所述特征解耦网络模型的具体结构的示意图；

图3是本发明一个实施例中，所述特征解耦网络模型中编码器单元中下采样层结构的示意图；

图4是本发明一个实施例中，所述特征解耦网络模型中解码器单元中上采样层结构的示意图；

图5是本发明一个实施例中，所述特征解耦网络模型中解码器单元中残差模块的示意图；

图6是本发明一个实施例中，所述特征解耦网络模型中空间注意力模块的示意图；

图7是本发明一个实施例中，所述特征解耦网络模型中通道注意力模块的示意图；

图8是本发明一个实施例中影像转换的示意图，其中(a)示意了两个异常输入，(b)示意了将异常转换为正常的重建影像，其中，(a)中的两个异常主要示意了颈静脉球窝骨壁存在缺失方面的异常情况，(b)中正常的重建影像则示意了将颈静脉球窝缺失的骨壁自动补全方面的正常情况；

图9是本发明一个实施例中影像重建的示意图，其中(a)示意了两个正常输入，(b)示意了将正常转换为异常的重建影像。

具体实施方式

下面结合附图和实施方式对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分。

需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本发明的技术方案。

除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本发明的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本发明的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。

在附图中可能使用交叉影线和/或阴影通常用于使相邻部件之间的边界变得清晰。如此，除非说明，否则交叉影线或阴影的存在与否均不传达或表示对部件的具体材料、材料性质、尺寸、比例、示出的部件之间的共性和/或部件的任何其它特性、属性、性质等的任何偏好或者要求。此外，在附图中，为了清楚和/或描述性的目的，可以夸大部件的尺寸和相对尺寸。当可以不同地实施示例性实施例时，可以以不同于所描述的步骤顺序来执行具体的工艺顺序。例如，可以基本同时执行或者以与所描述的顺序相反的顺序执行两个连续描述的工艺。此外，同样的附图标记表示同样的部件。

当一个部件被称作“在”另一部件“上”或“之上”、“连接到”或“结合到”另一部件时，该部件可以直接在所述另一部件上、直接连接到或直接结合到所述另一部件，或者可以存在中间部件。然而，当部件被称作“直接在”另一部件“上”、“直接连接到”或“直接结合到”另一部件时，不存在中间部件。为此，术语“连接”可以指物理连接、电气连接等，并且具有或不具有中间部件。

为了描述性目的，本发明可使用诸如“在……之下”、“在……下方”、“在……下”、“下”、“在……上方”、“上”、“在……之上”、“较高的”和“侧(例如，如在“侧壁”中)”等的空间相对术语，从而来描述如附图中示出的一个部件与另一(其它)部件的关系。除了附图中描绘的方位之外，空间相对术语还意图包含设备在使用、操作和/或制造中的不同方位。例如，如果附图中的设备被翻转，则被描述为“在”其它部件或特征“下方”或“之下”的部件将随后被定位为“在”所述其它部件或特征“上方”。因此，示例性术语“在……下方”可以包含“上方”和“下方”两种方位。此外，设备可被另外定位(例如，旋转90度或者在其它方位处)，如此，相应地解释这里使用的空间相对描述语。

这里使用的术语是为了描述具体实施例的目的，而不意图是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时，说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是，如这里使用的，术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语，如此，它们用于解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。

本发明揭示了一种可用于医学影像转换及医学影像分类任务的多监督特征解耦模型，通过构建多监督特征结构网络模型并利用多种监督损失函数训练网络模型实现。典型的，本发明中的医学影像转换例如是：利用正常的医学影像获得异常的医学影像，或者反之，利用异常的医学影像获得正常的医学影像。能够理解，示例性的，所述异常指的是临床上诊断属于异常需要进一步诊断或治疗的情况，正常则指的是临床上诊断属于正常的情况。医学影像分类，典型的，分类为此处所解释的正常和异常两种情形。

如图1所示，本发明所涉及的网络模型包含一组编码器和解码器，以及一个分类器，可通过如下步骤实现：

第一步：构建网络模型：构建网络深度、复杂度能够实现影像重建任务的编码器、解码器网络；

第二步：构建深度和复杂度能够实现影像分类任务的分类器网络；

需要说明的是，发明人在研究中发现：在不同任务中，分类器层数、全连接层节点数，激活函数会影响分类性能；与任务难度、输入影像的尺寸、深度特征维度、鉴别特征的线性与非线性信息相关；同时，分类器层数的增加与减少、全连接层节点数的增加与减少等调试，均与实际任务的选择相关；详细的示例详见下文。

第三步：利用训练数据集，对网络进行训练，使得编解码网络对输入影像进行重建，以及，进一步利用编码器、分类器组成的网络实现影像分类。

例如，对于影像二分类任务，使用训练好的编码器和分类器组合，能够得到影像的类别预测输出。

对于需要进行影像类别转换合成的任务，取输入影像的共同重建特征，将其与目标类别影像的鉴别特征拼接，将拼接得到的重建特征输入训练好的解码器，可得到转换后的生成影像。需要说明的是，目标类别影像指的是：在同一部位的医学影像可以分成多少类别的基础上(例如最典型的情况是可以至少分成异常和正常两种类别)，希望得到哪种类别的医学影像。

例如，采取如下具体实施的方式：

网络训练时，利用对比学习的思想，同时输入一组正负样本影像进行训练，其中，一组正负样本影像可以是正常或异常的两幅图像，或其他任意两类需要分类或解耦的影像；

编码器将输入影像映射为多维深度特征，其中一部分作为鉴别特征，而另一部分作为共同重建特征；

被分为鉴别特征和共同重建特征的多维深度特征，整体作为影像重建特征输入至解码器，解码器将影像重建特征映射为重建影像，完成影像重建任务；

其中，编码器和解码器结合共同完成影像重建任务，利用重建损失，(例如重建损失选择均方误差损失(MSE Loss)函数)对影像重建任务进行监督训练。

在另一个实施例中，

所述鉴别特征为所述多维深度特征中，与医学影像分类存在映射关系的一定维度的深度特征，

所述共同重建特征则为，除所述鉴别特征之外，所述特征解耦网络模型对所述有限数量的医学影像进行深度特征的解耦处理后所得的其他的一定维度的深度特征。

典型的，鉴别特征与共同重建特征的解耦，是在影像重建任务的基础上，同时训练分类任务实现的。

在另一个实施例中，

在网络训练时，每次输入的两幅影像将通过编码器得到各自的多维深度特征，其中各有至少1个多维深度特征与两幅影像自身分类存在映射关系且作为两幅影像的两个鉴别特征，利用分类器对两个鉴别特征进行分类，从而引导网络将鉴别特征与共同重建特征解耦。

在一个实施例中，本发明揭示了一种基于监督且用于医学影像的特征解耦网络模型，所述模型包括：

编码器单元，用于对输入的有限数量的医学影像进行特征提取，并将提取后的特征处理为多维深度特征，其中一部分维度的深度特征作为鉴别特征，而另一部分维度的深度特征作为共同重建特征；

解码器单元，用于将鉴别特征和共同重建特征，整体作为影像重建特征，映射为重建影像，其中，所述重建影像为依据有限的医学影像而扩充的新的医学影像数据；

所述鉴别特征和共同重建特征是所述特征解耦网络模型对所述有限数量的医学影像进行深度特征的解耦处理后所得。

示例性的，所述编码器单元包括第一编码器、第二编码器、第一解码器、第二解码器，

其中，

第一编码器和第二编码器之间存在参数共享，

第一解码器和第二解码器之间存在参数共享，

所述有限数量的医学影像至少包括第一医学影像和第二医学影像。

参见图1，其体现了多监督特征解耦网络模型中对不同位置施加的监督信息，也解释了鉴别特征与共同重建特征被解耦。其中，关于图1中的参数共享，此处参数共享可以具有两重含义：

其一，第一编码器和第二编码器为同一个编码器，在训练时仅有一个编码器；但是训练过程中，由于针对正常输入和异常输入，为了在图中以及说明时方便，由于有两种输入，所以虽然编码器只有一个但是却可以视作两个拥有完全一致结构和参数的编码器；第一解码器、第二解码器也类似；

其二，第一编码器和第二编码器的确为两个编码器，但是拥有完全一致结构和参数；第一解码器、第二解码器也类似。

在另一个实施例中，

所述特征解耦网络模型还包括分类器单元，

所述分类器单元对任意两个鉴别特征进行分类，从而引导网络将鉴别特征与共同重建特征解耦。

在另一个实施例中，

所述特征解耦网络模型，提取编码器单元所输出的不同尺度的深度高维特征，并通过分类器单元建立至少一部分深度高维特征与医学影像分类的类别之间的映射，然后将所述至少一部分深度高维特征作为鉴别特征的一部分。

需要说明的是，鉴别特征可以是通过分类任务引导编码器获得的。示例性的，本发明提取编码器中不同尺度的高维特征，在空间注意力和通道注意力机制的作用下对特征进行处理，并通过分类器建立深度高维特征与类别之间的映射。

在另一个实施例中，

通过如下类别损失BCELoss进行类别监督训练，如式(1)：

其中y

此处的示例由于是二分类任务，N为2。

能够发现，相比前文实施例利用重建损失对所述网络模型进行监督训练，该实施例进一步引入类别损失对所述网络模型进行监督训练，实现了一种基于监督且用于医学影像的特征解耦网络模型，而且此时属于一种用于医学影像的多监督特征解耦网络模型。

在另一个实施例中，

为了尽可能的解耦两类影像的鉴别特征，提高特征的可分性，本发明通过在两类鉴别特征之间使用正交损失实现。不同类别被表示为多维深度特征，但难以保证多维深度特征是完全正交的，所以，本发明通过正交损失来增加这两类特征之间的距离，从而使网络能够解耦两类特征之间的相似性以提高特征的可分性。正交损失如式(2)：

其中f

能够发现，相比前一个实施例，该实施例进一步引入正交损失对所述网络模型进行监督训练，实现了一种基于三种监督且用于医学影像的特征解耦网络模型，这同样属于一种用于医学影像的多监督特征解耦网络模型。

在另一个实施例中，

对于编码器、解码器和分类器结构，根据实际任务的复杂度和影像尺寸，进行适应性的调整。这里提供本发明的一种使用案例。网络结构如图2所示。

编码器部分由输入层和下采样层组成。下采样层包含卷积层、批归一化层和激活层，在下采样的过程中，本发明选择在三个不同尺度的位置添加了空间注意力模块SA，以提升编解码器对影像中解剖结构边缘等细节的重建能力。在空间注意力之后，将对应的深度特征通过特征处理层进行进一步的特征处理，以使得在不同深度(例如深度1)取到的特征转化为相同通道数(例如通道1)的特征向量。在此之后，引入了通道注意力模块CA对不同层的特征进行进一步的特征选择(FC)，然后通过全连接层进一步压缩特征维度并增加参数之间的非线性关系。

示例性的，以实验对象为颈静脉球窝骨壁缺失为例，本实验案例中，鉴别特征维度为384，共同重建特征维度为512，重建特征维度为384+512＝896。

在另一个实施例中，

下采样层结构示意如图3所示，其中卷积核尺寸k、步长S、填充p和激活函数可根据实际任务调整。由上至下分别为卷积层、批归一化层和激活层。

解码器部分由上采样层、残差模块和输出层组成，上采样层与编码器对应结构的下采样层对称，包含上采样、卷积层和激活层，逐步将深度特征映射为预测影像。输出层用于调整输出尺度和通道数，将多维张量调整为影像尺寸。残差模块用于处理影像重建特征，实现对共同重建特征和鉴别特征的有效融合。

需要说明的是，上述实施例中的对称不是指结构的一致，而是指编码器和解码器在对应层中，影像的尺寸一致，通道数一致；

例如，

图像尺寸224*224*3->112*112*64->56*56*128…112*112*64->224*224*3。上采样层结构示意如图4所示，其中卷积核尺寸k、步长S、填充p和激活函数可根据实际任务调整。由上至下分别为上采样、卷积层和激活层。

残差模块可以对影像重建特征进行进一步选择和处理，提升影像重建能力。经实验，在解码器部分添加残差模块有助于提升编码器的特征提取及特征选择能力。在解码器部分，可以堆叠不同数量的残差模块以适应实际任务。

需要说明的是，本发明中，编码器加解码器，视作编解码网络整体；在解码器之前，加入残差模块，残差模块对编码器提取的特征可以进行解析；由于解码器得到的特征为鉴别特征加共同重建特征组成的影像重建特征，残差模块解析后的特征自然就有利于残差模块之后的解码器进行解码；也就是说，残差模块的该解析作用可对编码器提取到的深度特征进行梳理，这将反作用于编码器，使其编码的特征是更易于解析和解耦。

通常编码器单元中，编码器之后会对称的加入残差模块，但在本发明中，却采用了与现有技术中通常做法完全相反的做法。这是因为本发明特别针对的是医学影像数量有限的情况，此种情况导致训练样本较少，如果像现有技术那样在编码器之后加入残差模块则导致编码器单元自身就涉及过多的网络层，这将较大提高对训练样本的需求，显然不符合本发明所针对的训练样本较少的情形；而本发明选择在解码器单元中，只在解码器前加入残差模块，不仅实现了理想的效果，而且无需像现有技术通常做法那样还在编码器单元中，在编码器后设置残差模块。

残差模块结构示意如图5所示。其中卷积核尺寸k、步长S、填充p和激活函数可根据实际任务调整。

经实验，添加空间注意力模块SA，可以有效提升合成影像的影像质量，且类别转换后的影像更符合真实类别模式。空间注意力模块结构如图6所示。

经实验，添加通道注意力模块CA，可以有效提升影像分类性能，提升编码器的特征提取和特征选择能力，有助于实现鉴别特征与共同重建特征的解耦，有助于实现不同类别影像之间的鉴别特征的解耦。通道注意力模块结构如图7所示。

结合前文所述，分类器该部分用于实现对鉴别特征的分类，从而通过类别监督引导编码器的特征提取。分类器可以由两层全连接层和一层激活层组成，分类器层数、全连接层节点数、激活函数则可根据实际任务进行调整。

在一个实施例中，关于影像转换，参见图8，其中(a)示意了两个异常输入，(b)示意了将异常转换为正常的重建影像，其中，(a)中的两个异常主要示意了颈静脉球窝骨壁存在缺失方面的异常情况，(b)中正常的重建影像则示意了将颈静脉球窝缺失的骨壁自动补全方面的正常情况；

参见图9，其中(a)示意了两个正常输入，(b)示意了将正常转换为异常的重建影像，其中，(a)中的两个正常主要示意了具有饱满完整骨壁的颈静脉球窝方面的正常情况，(b)中异常的重建影像则示意了将颈静脉球窝部分骨壁抹除，致使其产生骨壁缺失的异常情况。

能够发现，图8、图9充分说明了本发明通过影像转换、影像重建实现了扩充医学影像数据集的既定目标。对于影像转换与影像重建，其实现的网络结构自然可以属于相同或类似的结构，但是用于训练的输入和目标数据是不同的，所以网络的参数、实现的功能是不同的。

在另一个实施例中，

将图像输入编码器；

编码器第一层为输入层，输入层将图像尺寸缩放至(224,224,3)；

随后输入卷积块0，输入通道数为3，输出通道数为32，卷积核尺寸为7，卷积步长stride为1，卷积padding为3，特征图输出为(224，224,32)；

随后输入卷积块1，其结构和卷积层参数如图3所示，分别经过卷积层，实例归一化层和激活函数层，其中，输入通道为32，输出通道数64，输出尺寸为(112,112,64)；

随后输入卷积块2，输出尺寸为(56,56,128)；

随后输入空间注意力SA块SA1，其中，SA块结构如图6所示。空间注意力SA的输入为特征图，其用于对输入的特征图做平均池化和最大池化操作，并将两个池化结果按通道维度拼接，将拼接后的特征图做卷积处理；卷积层输入维度为2，输出维度为1，卷积核大小为3，卷积步长和padding默认为1；经卷积操作后，将其输入sigmoid层计算，得到注意力图；将注意力图与原始的输入特征图相乘，得到空间注意力模块的输出；此时输入输出SA块的特征图尺寸为(56,56,128)，未改变特征图尺寸；

在此之后，输入下一层卷积块3，输出尺寸为(28,28,256)；

再次经过SA模块SA2，同样不改变特征图尺寸；

输入卷积块4，输出尺寸为(14,14,512)；再次经过SA模块SA3，同样不改变特征图尺寸；此时输出的特征图为共同重建特征；

取三个SA模块后的输出，分别为尺寸为(56,56,128)的特征图F1，尺寸为(28,28,256)的特征图F2，尺寸为(14,14,512)的特征图F3；

将特征图F1输入卷积块e1，卷积块e1由两个卷积块组成，输出特征维度为128；

将特征图F2输入卷积块e2，卷积块e2结构如图3，输入特征维度为256，输出特征维度为128；

将特征图F3输入卷积块e3，卷积块e3结构如图3，但其卷积层中的参数进行调整，其输入特征维度为512，输出特征维度为128，卷积核大小为1，卷积步长为1，卷积padding为0；

将卷积块e1,e2,e3输出的特征图在通道维度拼接，得到鉴别特征；

鉴别特征(384)与共同重建特征(512)在通道维度进行拼接，得到影像重建特征(896)；

将影像重建特征输入解码器，其中，解码器由残差块，上采样层和输出层组成；

残差块结构如图5所示，依次为卷积层、实例归一化层、激活函数层、卷积层、实例归一化层；

编码器中连续使用3个残差块作为残差层；

上采样层结构如图4所示，依次为上采样、卷积层和激活层；

解码器中依次经历4个上采样层，特征图尺寸依次为输入(14,14,896)->(28,28，512)->(56,56,256)->(112,112,128)->(224,224,64)

之后，将特征图输入输出层，输出层由卷积层和激活层组成，卷积层参数为：输入特征维度64，输出特征维度3，卷积核尺寸7，卷积步长1，卷积padding＝3；激活层激活函数为tanh；由此可得到解码器输出的重建图像；

将卷积块e1，e2，e3输出的特征图分别输入通道注意力模块CA中；通道注意力模块CA结构如图7所示；通道注意力模块CA输入为特征图，其用于将特征图分别做最大池化和平均池化，并分别将池化结果送入MLP中进行处理；MLP依次为卷积核尺寸为1，卷积步长为1的卷积层(输入特征维度、输入特征维度/16)->ReLU激活函数层->卷积核尺寸为1，卷积步长为1的卷积层(输入特征维度/16、输入特征维度)；然后，将MLP层得到的两个输出相加，输入sigmoid层，得到通道注意力图；将通道注意力图与输入通道注意力模块的特征图相乘，得到通道注意力模块的输出；

将三个经过通道注意力模块的特征图展平，将得到三个长度为25088的特征向量；

将三个特征向量分别送入全连接层，全连接层由两个线性层组成，例如，Liner(25088,1024)->Liner(1024，128)；

将三个全连接层的输出进行拼接，得到特征向量，再次输入通道注意力模块，输出得到类别特征从而实现对鉴别特征的分类；

其中，分类器结构为Liner(384,64)->激活函数LeakyReLU(0.2)->Liner(64,2)。

在另一个实施例中，

以颈静脉球窝骨壁缺失任务为例，如下涉及利用正常和异常影像(含骨壁缺失病变)，进行医学影像扩充的方法：

例如，由异常样本产生正常样本：

(1)训练多监督特征解耦网络模型；

(2)获得目标类别的鉴别特征，即正常或异常的鉴别特征；获得方式例如如下两种：1)将训练样本中的正常影像输入编码器，获得各影像的鉴别特征，对应维度加权平均，得到正常训练样本的平均鉴别特征；获得方式2)：选择一例目标正常影像，输入编码器，获得其鉴别特征；

(3)将待转换的异常影像输入编码器，获得其共同重建特征，将其共同重建特征与②中获得的鉴别特征拼接(通道concate，拼接方式与训练中保持一致)，得到影像重建特征；能够理解，所述待转换的异常影像属于有限的医学影像中的影像，且反映了异常情况，此步骤意在利用其来扩充医学影像数量；

(4)将影像重建特征输入解码器，获得异常转换为正常的合成影像；进一步的，能够理解，由正常样本到异常样本的方法与之相反；

将获得的合成影像作为新影像数据，从而用于对下游任务进行数据扩充。

需要说明的是，实际分类时，不仅可以对原有的原始、且有限的医学影像进行分类，也可以对扩充出来的合成影像进行分类；如果仅进行类别预测，只需要编码器+分类器工作，不需要解码器工作。

在一个实施例中，关于分类器单元，

分类器单元由两层全连接层和一层激活层组成，分类器层数、全连接层节点数、激活函数可根据实际任务进行调整。

正如前文所述，发明人在实践中发现，在不同任务中，分类器层数、全连接层节点数，激活函数会影响分类性能；与任务难度、输入影像的尺寸、深度特征维度、鉴别特征的线性与非线性信息相关；同时，分类器层数的增加与减少、全连接层节点数的增加与减少等调试，均与实际任务的选择相关。

以颈静脉球窝骨壁此类医学影像的缺失任务所对应的具体实施情况为例，在另一个实施例中，发明人反复实践后，发现较好的分类器结构为：

分类器输入的特征维度为384；

全连接层Liner(384，64)->激活层LeakyReLU->全连接层Liner(64，2)；

结果表明：该网络结构在颈静脉球窝骨壁缺失检测(分类)实验中，取得了最佳的分类性能。

本发明的特点，以及与现有技术相比，具有以下明显的优势和有益效果：

本发明提出了一种可用于影像转换及影像分类任务的、基于监督的特征解耦模型，且最佳的实施例可以实现为基于三种监督的特征解耦网络模型。本发明充分利用影像重建任务中，编码器对影像深度特征的提取能力，借助获得包含重建特征和鉴别特征的深度特征。在影像重建任务的基础上，本发明利用影像类别信息进行分类任务，部分维度的深度特征受到类别信息的监督，从而引导编码器将部分维度的深度特征作为鉴别特征，实现鉴别特征与共同重建特征的解耦。由于不同类别影像之间的鉴别特征难以区分，本发明通过正交损失增加鉴别特征之间的距离，从而提升分类性能。由于本发明充分利用了影像信息、类别信息，因此本发明在只有少量训练数据的任务中，也依然具有出色的性能。本发明有效的提升了影像分类准确率，能够在临床诊断过程中为医生提供有效的参考信息，减轻医生工作负担。本发明能够高质量的生成类别转换后的影像，使用本发明进行影像样本合成，能够有效的扩充影像数据集，服务于其他下游任务。

需要说明的是，在本说明书的描述中，参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例/方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本发明，而并非是对本发明的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本发明的范围内。