融合ROI区域的图像合成方法、装置、电子设备及介质

技术领域

本发明涉及计算机视觉中的图像合成领域，尤其涉及一种融合ROI区域的图像合成方法、装置、电子设备及介质。

背景技术

近年来，基于深度学习的疾病诊断方法被广泛应用到医疗领域。这些基于深度学习网络的模型可以大批量地处理医疗图像、减少医生阅片时间，辅助医生进行诊断。但深度学习模型一般依赖大量的训练数据，可用的、高质量的、标注好的医疗图像数据明显不足，并且医疗图像存在不均衡性，有疾病的医疗图像十分匮乏，与无疾病图像的数量严重不匹配，制约了医疗诊断模型的性能。目前，生成对抗网络(Generative AdversarialNetworks，简称GAN网络)被用来解决图像数据不足与不均衡的问题，它是人工合成所需图像的重要手段。

许多研究基于深度卷积生成对抗性网络(Deep Convolutional GAN，简称DCGAN)和周期一致对抗性网络(Cycle-Consistent Adversarial Networks，简称cycleGAN)等完成图像合成。然而，大多数研究都是以整张图片作为输入，考虑全局信息，这种方法较适用于病灶区域面积较大的疾病，如果是针对病灶区域集中到某局部区域，这样会导致浪费计算机资源，并且大多数方法通过模型中合成一种类别标签的图像，造成了合成图像关注性差，重点部分的迁移和生成能力不足，生成图像的质量不够优质等问题，限制了图像的合成能力和对医疗诊断的有效辅助能力。故研究如何有效地提供高质量合成的图像，缓解医疗影像数据饥饿和不均衡的问题，具有十分重要的意义。

发明内容

本发明的目的是提供一种融合ROI区域的图像合成方法、装置、电子设备及介质，用以解决现有技术中存在的问题。

第一方面，本发明提供一种融合ROI区域的图像合成方法，包括：

获取医疗图像，并将所述医疗图像分类为具有对应类别信息的有病样本原始图像和无病样本原始图像；

使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域，输出类激活映射图，对所述类激活映射图进行阈值化处理，得到有病样本掩膜图像；以及通过相似度计算从所述有病样本原始图像中获取与所述无病样本原始图像对应的相似有病样本图像，并基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像；分别使用所述有病样本掩膜图像和所述无病样本掩膜图像对所述有病样本原始图像和所述无病样本原始图像进行遮挡，得到被掩膜遮挡的图像；

设计基于条件生成对抗性网络模型，并使用所述有病样本掩膜图像、所述无病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息对所述基于条件生成对抗性网络模型进行训练，从而得到合成医疗图像。

进一步地，所述使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域包括：

使用概率类激活网络对病变区域在整个图像中面积占比大于或等于预定值的所述有病样本原始图像进行处理以获取感兴趣区域；以及

使用金字塔定位网络对病变区域在整个图像中面积占比小于预定值的所述有病样本原始图像进行处理以获取感兴趣区域。

进一步地，所述通过相似度计算获取与所述无病样本原始图像相似的所述有病样本原始图像包括：

使用感知哈希算法获取与所述无病样本原始图像相似的所述有病样本原始图像。

进一步地，所述基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像包括：

通过图像配准的方式获得仿射变换，再将所述仿射变换应用于与所述相似有病样本图像对应的掩膜上，获取所述无病样本原始图像的感兴趣区域，从而得到所述无病样本掩膜图像。

进一步地，所述设计基于条件生成对抗性网络模型包括：

设计包括输入层、隐藏层和输出层的生成器网络，所述生成器网络的输入包括所述有病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息。

进一步地，所述设计基于条件生成对抗性网络模型还包括：

设计包括第一分支和第二分支的判别器，其中所述第一分支用于判别所述生成器网络输出的图片的真实程度，所述第二分支用于判别所述生成器网络输出的图片是否包括病变区域。

进一步地，所述医疗图像为具有关于病变区域的标签信息的计算机断层扫描图像。

第二方面，本发明提供一种融合ROI区域的图像合成装置，包括：

图像获取模块，用于获取医疗图像，将所述医疗图像分类为具有对应类别信息的有病样本原始图像和无病样本原始图像；

图像掩膜模块，用于使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域，输出类激活映射图，对所述类激活映射图进行阈值化处理，得到有病样本掩膜图像；以及通过相似度计算从所述有病样本原始图像中获取与所述无病样本原始图像对应的相似有病样本图像，并基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像；分别使用所述有病样本掩膜图像和所述无病样本掩膜图像对所述有病样本原始图像和所述无病样本原始图像进行遮挡，得到被掩膜遮挡的图像；

网络训练模块，用于设计基于条件生成对抗性网络模型，并使用所述有病样本掩膜图像、所述无病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息对所述基于条件生成对抗性网络模型进行训练，从而得到合成医疗图像。

第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现根据第一方面所述融合ROI区域的图像合成方法的步骤。

第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现根据第一方面所述融合ROI区域的图像合成方法的步骤。

由上面技术方案可知，本发明提供的融合ROI区域的图像合成方法、装置、电子设备及介质，通过获取医疗图像中的感兴趣区域以及使用基于条件生成对抗性网络模型，能够高效地合成指定种类的医疗图像，提高了合成图像的质量，缓解了医疗图像不足和不均衡的问题。

附图说明

图1是根据本发明实施例的融合ROI区域的图像合成方法的流程图；

图2是根据本发明实施例的融合ROIs和条件生成对抗网络的图像合成方法的流程图；

图3是根据本发明实施例的融合ROI区域的图像合成装置的结构示意图；

图4是根据本发明实施例的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出了一种融合ROIs区域的新型图像合成方法，针对实践生活中图像数据不足和不均衡的现状，在图像合成过程中，提取感兴趣区域(Region of Interest，简称ROI或ROIs)，重点关注图像的局部信息，建立局部迁移部分，并且基于条件生成对抗性网络，将ROIs和标签信息共同融合作为输入，在图像重建过程中添加反转标签，进行属性编辑。利用已有图像数据与类别等监督信息，指定合成相应类别的医疗影像，保证了医疗图像的重点关注性能以及数量扩充的效率，达到了提供更高质量的合成图像以及增广不平衡类别医疗数据的目的。

图1是根据本发明实施例的融合ROI区域的图像合成方法的流程图，参考图1，根据本发明实施例的融合ROI区域的图像合成方法包括：

步骤110：获取医疗图像，并将所述医疗图像分类为具有对应类别信息的有病样本原始图像和无病样本原始图像；

步骤120：使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域，输出类激活映射图，对所述类激活映射图进行阈值化处理，得到有病样本掩膜图像；以及通过相似度计算从所述有病样本原始图像中获取与所述无病样本原始图像对应的相似有病样本图像，并基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像；分别使用所述有病样本掩膜图像和所述无病样本掩膜图像对所述有病样本原始图像和所述无病样本原始图像进行遮挡，得到被掩膜遮挡的图像；

步骤130：设计基于条件生成对抗性网络模型，并使用所述有病样本掩膜图像、所述无病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息对所述基于条件生成对抗性网络模型进行训练，从而得到合成医疗图像。

具体地，本发明实施例提供的融合ROIs区域和条件生成对抗网络对图像进行补全增广的方法，用于合成高质量并且带有固定标签的医学图像。图2是根据本发明实施例的融合ROIs和条件生成对抗网络的图像合成方法的流程图，参考图2，本发明涉及的图像合成方案的整体流程分为两个阶段。第一阶段，使用基于类激活映射的方法来获得弱监督的病变区域，即所关注的局部信息。第二阶段采用条件生成对抗网络，重建特定类型的医学图像。根据本发明实施例的融合ROIs和条件生成对抗网络的图像合成方法的具体流程包括：

S1：根据专业放射科医生对计算机断层扫描(Computed Tomography，简称CT)图像的种类标签，对CT图像按照有病和无病进行数据分类，提取病变的ROIs，并在提取的病变ROIs进行上采样和可视化操作；

S11：首先根据放射科医生对CT图像的标签信息，将数据分类为有病样本和无病样本。

S12：对于有病样本，根据病变区域面积的大小，来分别送入不同的定位网络。如果图像中病变区域较大或者整个器官都需要重新合成，我们使用概率类激活网络(Probabilistic-Class Activation Map，简称PCAM)方法进行弱监督定位，即获取ROIs区域。PCAM是一个弱监督病变区域定位网络，该阶段包括一个全卷积基础网络首先处理输入的有病样本并生成特征图。然后，对于有病样本给定一个特定的标签，其次构建基于1*1卷积层实现的全连通层，将嵌入在特征图中的每个特征都通过全连通层，并生成类激活分数，测量每次嵌入的疾病可能性。对于疾病信息集中在图像的局部区域的样本，我们使用金字塔定位网络(Pyramid Localization Network，简称Pylon)进行定位。Pylon网络是一种高精度弱监督病变定位的模型，适用于病变区域面积占整个图像面积比例较小或者异常组织样式通常被大范围的正常组织而包裹的情形。该模型由两个部分组成：一个编码器和一个解码器。编码器利用ResNet、DenseNet或其他模型，用于分割疾病。设置输入大小为256*256。每个通道对应于不同的类，利用1*1卷积层和Relu函数调整最终的通道数目，匹配类的数量，然后每个通道通过全局最大化，获取分类的对数值，最后输出类激活映射图。最大的池化量设为0.5X。

S13：对于无病的图像，使用感知哈希算法(Perceptual hash algorithm，简称pHash算法)获取与其最为相似的有病图像，通过图像配准的方式获得仿射变换，再将仿射变换应用于有病图像的掩膜上，获得ROIs区域。pHash算法，即感知Hash算法，用于计算图片的相似度，寻找出与无病图片较高相似度的有病图片的遮罩，是通过离散余弦变换(Discrete Cosine Transform，简称DCT)获得图片哈希值从而进行比较的。首先将图像分割成32*32的小块，缩小图像尺寸，并将图片转化成灰度图像，然后分别对每个小块进行DCT变换，如下公式：

其中f(i)为原始的信号，F(u)是DCT变换后的系数，N为原始信号的点数，c(u)是补偿系数。其次计算DCT平均值，构造64位的长整型哈希值，最后通过哈希值序列，检索出与无病图片相似度较高的有病图片。根据Phash匹配的特征点对，可得到有病图像的遮罩坐标变换参数；最后基于仿射变换的方式由坐标变换参数进行将遮罩配准到无病图像上，保存为无病样本的正常遮罩。仿射变化可以保持原来的线共点、点供线的不变关系。公式如下所示：

其中，(t_x,t_y)表示平移量，参数a_i(i＝1,2,3,4)反映了图像旋转、缩放等变化，共同计算，则可得到有病图像和无病图像以及对应遮罩的坐标变换关系。

S2：设计基于条件生成对抗性网络(Conditional Generative AdversarialNetwork，简称CGAN)模型中，使用步骤S1得到的可视化图像进行训练，在指定位置上生成特定类型的合理医疗图像。

S21：设计生成器。

生成器网络设计为输入层、隐藏层和输出层。输入层部分，生成器部分采用了一层全连接的神经网络，重点关注病灶区域，学习有病和无病图像对应特征，获取数据分布。隐藏层部分，把输入图像和条件变量同时送进生成器，生成跨域向量，再通过非线性函数映射到数据空间。本发明涉及的生成网络隐藏层为3层反卷积，卷积核的大小选择3*3，选取RELU做激活函数。输出层部分，使用Tanh激活函数，对特征图进行加权挑选，最终输出合成图像。通过融入辅助信息可以使条件对抗生成网络重点关注发生异常的病灶区域，而不去直接处理整张图片，避免合成不必要的区域。

S22：设计判别器，包括两个分支。第一个分支用于预测图片是合成的还是真实的，检测生成图片的真实程度，通过真实与否的判别对抗生成网络，增强网络生成的图片的质量；第二个分支是一个多标签二分类的鉴别器，预测图片是否包含疾病，迫使网学习生成图片与疾病标签之间的对应关系，从而完成指定类别的补全。网络采用多层卷积进行堆叠提取特征，确保判别器判别真实图片和合成图片之间的性能。层与层之间使用Leaky_Relu激活函数。

S23：网络训练。

定义原始图像为I

判别器的第一分支为分类分支D

对于D

L

对于D

生成器的训练主要针对以下损失函数：

L

其中L

其中

其中L

其中Gram是一个由从预先训练好的网络中提取的特征图构造的Gram矩阵。我们将在图像网分类任务上训练的VGG-19网络调整为预先训练的网络。将Gram与这些损失函数一起进行训练。l

基于步骤S21-S23,在训练过程中，完成了图像的重建，使遮罩图片尽可能恢复，获得到和基础数据数量同倍的生成图像。在测试时生成对抗网络的过程中，添加反转标签，也就是将原有的标签中有病图片的标签1置为0，将原有的无病标签0置为1。通过更改标签，则可指定生成固定种类的合成图像。综合，本发明基于ROIs区域，完成了高质量的图像增广扩充。

图3为本发明实施例提供的融合ROI区域的图像合成装置的示意图，如图3所示，本发明实施例提供的融合ROI区域的图像合成装置包括：

图像获取模块310，用于获取医疗图像，将所述医疗图像分类为具有对应类别信息的有病样本原始图像和无病样本原始图像；

图像掩膜模块320，用于使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域，输出类激活映射图，对所述类激活映射图进行阈值化处理，得到有病样本掩膜图像；以及通过相似度计算从所述有病样本原始图像中获取与所述无病样本原始图像对应的相似有病样本图像，并基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像；分别使用所述有病样本掩膜图像和所述无病样本掩膜图像对所述有病样本原始图像和所述无病样本原始图像进行遮挡，得到被掩膜遮挡的图像；

网络训练模块330，用于设计基于条件生成对抗性网络模型，并使用所述有病样本掩膜图像、所述无病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息对所述基于条件生成对抗性网络模型进行训练，从而得到合成医疗图像。

由于本发明实施例提供的融合ROI区域的图像合成装置，可以用于执行上述实施例所述的融合ROI区域的图像合成方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行融合ROI区域的图像合成方法，该方法包括获取医疗图像，并将所述医疗图像分类为具有对应类别信息的有病样本原始图像和无病样本原始图像；使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域，输出类激活映射图，对所述类激活映射图进行阈值化处理，得到有病样本掩膜图像；以及通过相似度计算从所述有病样本原始图像中获取与所述无病样本原始图像对应的相似有病样本图像，并基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像；分别使用所述有病样本掩膜图像和所述无病样本掩膜图像对所述有病样本原始图像和所述无病样本原始图像进行遮挡，得到被掩膜遮挡的图像；设计基于条件生成对抗性网络模型，并使用所述有病样本掩膜图像、所述无病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息对所述基于条件生成对抗性网络模型进行训练，从而得到合成医疗图像。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的融合ROI区域的图像合成方法，该方法包括：获取医疗图像，并将所述医疗图像分类为具有对应类别信息的有病样本原始图像和无病样本原始图像；使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域，输出类激活映射图，对所述类激活映射图进行阈值化处理，得到有病样本掩膜图像；以及通过相似度计算从所述有病样本原始图像中获取与所述无病样本原始图像对应的相似有病样本图像，并基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像；分别使用所述有病样本掩膜图像和所述无病样本掩膜图像对所述有病样本原始图像和所述无病样本原始图像进行遮挡，得到被掩膜遮挡的图像；设计基于条件生成对抗性网络模型，并使用所述有病样本掩膜图像、所述无病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息对所述基于条件生成对抗性网络模型进行训练，从而得到合成医疗图像。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的融合ROI区域的图像合成方法，该方法包括：获取医疗图像，并将所述医疗图像分类为具有对应类别信息的有病样本原始图像和无病样本原始图像；使用弱监督定位网络获取所述有病样本原始图像的感兴趣区域，输出类激活映射图，对所述类激活映射图进行阈值化处理，得到有病样本掩膜图像；以及通过相似度计算从所述有病样本原始图像中获取与所述无病样本原始图像对应的相似有病样本图像，并基于所述无病样本原始图像及其对应的相似有病样本图像得到无病样本掩膜图像；分别使用所述有病样本掩膜图像和所述无病样本掩膜图像对所述有病样本原始图像和所述无病样本原始图像进行遮挡，得到被掩膜遮挡的图像；设计基于条件生成对抗性网络模型，并使用所述有病样本掩膜图像、所述无病样本掩膜图像、所述被掩膜遮挡的图像以及所述对应类别信息对所述基于条件生成对抗性网络模型进行训练，从而得到合成医疗图像。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。