基于异源特征融合的图像生成方法、可读存储介质

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于异源特征融合的图像生成方法、可读存储介质。

背景技术

近年来，深度学习成为了国内外各大领域关注的焦点，深度学习包括了监督学习和无监督学习两类。在计算机视觉领域，监督学习指的是通过图像和与图像一一对应的标注信息训练神经网络，使其能够完成分类、目标检测和语义分割等工作。无监督学习只需要图像，不需要额外的标注信息进行训练。

在大多数场景下，监督学习的效果比无监督学习更好，但由于监督学习需要大量的图像和标注信息，极大地限制了深度学习算法的验证和落地，因为：一方面，标注图像费时费力；另一方面，对于缺陷检测等工业场景，通常样本比较匮乏，尤其是缺陷样本，因此能够获得的缺陷图像数量少，难以收集到足够数量的样本。

为了弥补工业缺陷检测中缺陷图像样本不足的问题，当前主要是通过缺陷的剪切和拼接技术实现多种不同缺陷的融合，生成新的缺陷图像样本，但通过这种技术融合后的缺陷与真实样本之间差异较大，并且边缘差异明显。例如现有的基于抠图算法的图像合成技术，由于来自不同图像的图像块之间存在不一致的问题，导致合成的图像出现像素不连续、存在尖锐的边缘、光照不一致等情况。

发明内容

本发明主要解决的技术问题是现有的图像合成方法所生成的图像与真实图像之间差异较大的问题。

根据第一方面，一种实施例中提供一种基于异源特征融合的图像生成方法，包括：

获取源图像、目标图像和掩膜图，其中目标图像为一个或多个；

分别对所述源图像以及每个所述目标图像进行特征提取，获得所述源图像的第一特征图组以及每个所述目标图像的第一特征图组，其中第一特征图组包括多个不同分辨率的第一特征图；

选取所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图；

第一特征融合步骤，对于各第一待融合特征图上位置对应的像素点，根据所述掩膜图选取其中一个第一待融合特征图的像素点，作为融合特征图对应位置处的像素点，由各位置处选取的像素点组成融合特征图，其中掩膜图用于标识融合特征图中每个像素点的来源；

按预定顺序依次选取所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第二待融合特征图，执行第二特征融合步骤，直至所述源图像、每个所述目标图像的第一特征图组中的第一特征图都已执行过第二特征融合步骤；

第二特征融合步骤，将各第二待融合特征图分别与融合特征图进行特征融合，将特征融合得到的图像作为第一待融合特征图执行所述第一特征融合步骤，由第一特征融合步骤的结果得到新的融合特征图；

将最终得到的融合特征图经过卷积和非线性激活函数得到合成图像。

根据第二方面，一种实施例中提供一种基于异源特征融合的图像生成方法，包括：

获取源图像、目标图像和掩膜图，其中目标图像为一个或多个；

分别对所述源图像以及每个所述目标图像进行特征提取，获得所述源图像的第一特征图组以及每个所述目标图像的第一特征图组，其中第一特征图组包括多个不同分辨率的第一特征图；

选取所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图，对选取的所述目标图像的第一特征图和所述掩膜图进行相同的几何变换，之后将所选取的所述源图像、所述目标图像的第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图；

第一特征融合步骤，对于各第一待融合特征图上位置对应的像素点，根据所述掩膜图选取其中一个第一待融合特征图的像素点，作为融合特征图对应位置处的像素点，由各位置处选取的像素点组成融合特征图，其中掩膜图用于标识融合特征图中每个像素点的来源；

按预定顺序依次将所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第二待融合特征图，执行第二特征融合步骤，直至所述源图像、每个所述目标图像的第一特征图组中的第一特征图都已执行过第二特征融合步骤；

第二特征融合步骤，将各第二待融合特征图分别与融合特征图进行特征融合，将特征融合得到的图像作为第一待融合特征图执行所述第一特征融合步骤，由第一特征融合步骤的结果得到新的融合特征图；

将最终得到的融合特征图经过卷积和非线性激活函数得到合成图像。

一种实施例中，所述分别对所述源图像以及每个所述目标图像进行特征提取，获得所述源图像的第一特征图组以及每个所述目标图像的第一特征图组，包括：

分别将所述源图像以及每个所述目标图像输入特征提取网络，得到所述源图像以及每个所述目标图像N个分辨率递减的特征图，将这些特征图作为第一特征图组成第一特征图组；

其中所述特征提取网络包括N个下采样模块，每个下采样模块产生一个特征图，N为正整数且N≥2。

一种实施例中，每个所述下采样模块包括一个下采样层和若干个卷积-激活层。

一种实施例中，所述选取所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图，具体为：选取所述源图像、每个所述目标图像的第N个第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图；

所述按预定顺序依次将所述源图像、每个所述目标图像的第一特征图组中分辨率相同的第一特征图作为第二待融合特征图，执行第二特征融合步骤，具体为：从所述源图像、每个所述目标图像的第一特征图组的第N个第一特征图开始到第1个第一特征图为止，依次将所述源图像、每个所述目标图像的第一特征图组中的第一特征图作为第二待融合特征图，执行第二特征融合步骤；

所述由第一特征融合步骤的结果得到新的融合特征图具体为：将第一特征融合步骤的结果输入解码器网络的上采样模块得到新的融合特征图；

其中所述解码器网络对应的编码器网络为所述特征提取网络，所述解码器网络包括N个上采样模块，第n个上采样模块的输入为第N+1-n个第一特征图执行第二特征融合步骤时其中的第一特征融合步骤的结果，输出为与第N-n个第一特征图分辨率相同的特征图，其中第N个上采样模块的输出为与源图像、目标图像分辨率相同的特征图，n＝1,2…N。

一种实施例中，每个所述上采样模块包括一个上采样层和若干个卷积-激活层。

一种实施例中，所述编码器网络和所述解码器网络通过以下方式进行训练：

由所述编码器网络和所述解码器网络组成生成器，并与预先构建的判别器组成一生成对抗网络，交替训练所述生成器和所述判别器，得到所述生成器和所述判别器的参数；

其中，训练所述生成器的损失函数为：

p

训练所述判别器的损失函数为：

L

D(p

一种实施例中，所述将各第二待融合特征图分别与融合特征图进行特征融合，包括：

根据以下公式对融合特征图进行实例标准化：

其中a

获取各第二待融合特征图各通道的均值和标准差，将实例标准化后的融合特征图的各通道分别与各第二待融合特征图对应通道的标准差相乘，再与对应通道的均值相加。

一种实施例中，所述掩膜图每个像素点的像素值用于标识融合特征图对应位置处的像素点的来源；所述对于各第一待融合特征图上位置对应的像素点，根据所述掩膜图选取其中一个第一待融合特征图的像素点，作为融合特征图对应位置处的像素点，由各位置处选取的像素点组成融合特征图，包括：将所述掩膜图缩放至与第一待融合特征图相同的分辨率，对于缩放后的掩膜图的每个像素点，根据其像素值选取其中一个第一待融合特征图对应位置处的像素点，作为融合特征图对应位置处的像素点，由所选取的像素点组成融合特征图。

根据第三方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上述第一方面或第二方面所述的图像生成方法。

依据上述实施例的基于异源特征融合的图像生成方法，首先对源图像以及每个目标图像进行特征提取，获得源图像以及每个目标图像多个不同分辨率的第一特征图，从而得到了源图像以及每个目标图像多尺度的特征图；之后选取源图像、每个目标图像的分辨率相同的第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图，再按预定顺序依次选取源图像、每个目标图像的分辨率相同的第一特征图作为第二待融合特征图，执行第二特征融合步骤，在第一特征融合步骤中，根据预设的掩膜图从各第一待融合特征图中选取像素点组成融合特征图，在第二特征融合步骤中，将各第二待融合特征图分别与融合特征图进行特征融合，将特征融合得到的图像作为第一待融合特征图执行第一特征融合步骤，从而可以对来自不同图像的特征进行充分融合，并且实现多尺度的特征融合，相较于传统的剪切和拼接技术，所生成的图像更为真实，能够合成像素较连续、边缘较平滑、光照较连续的图像。

附图说明

图1为一种实施例的真实缺陷图像；

图2为采用传统抠图算法利用图1生成的缺陷图像；

图3为采用本发明的图像生成方法利用图1生成的缺陷图像；

图4为一种实施例的基于异源特征融合的图像生成方法的流程图；

图5为图4所示方法的执行过程示意图；

图6为一种实施例中的源图像、目标图像和掩膜图；

图7为一种实施例的下采样模块的结构示意图；

图8为一种实施例中第一特征图与融合特征图进行特征融合的过程示意图；

图9为一种实施例的上采样模块的结构示意图；

图10为一种实施例的GAN网络的训练流程图；

图11为构建损失函数的示意图；

图12为采用本发明的图像生成方法合成破损缺陷的效果示意图；

图13为采用本发明的图像生成方法合成孔洞缺陷的效果示意图；

图14为采用本发明的图像生成方法合成印刷缺陷的效果示意图；

图15为采用本发明的图像生成方法合成划痕缺陷的效果示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

传统的抠图算法是在图像上进行像素拼接，容易产生不连续的像素、尖锐的边缘等情况，造成失真。为此，本发明提出一种基于异源特征融合的图像生成方法，能够合成像素较连续、边缘较平滑、光照较连续的图像。本发明的图像生成方法灵活、可预训练，可以将目标特征迁移到任意图像上，同时生成对应的标注信息，用于合成供监督学习的训练图像及相应标注，可以应用在深度学习数据集的增广等方面。

本发明提供的基于异源特征融合的图像生成方法的效果可以参见图1～图3。图1为一真实的缺陷图像，可以看到在缺陷部分无尖锐边缘。图2为采用传统抠图算法利用图1生成的缺陷图像，可以看到所生成的图像在缺陷部分通常有尖锐的边缘，导致失真。图3为采用本发明的图像生成方法利用图1生成的缺陷图像，可以看到所合成的图像在缺陷部分并无尖锐边缘，更加逼近真实图像。

下面对本发明的基于异源特征融合的图像生成方法进行具体介绍，请参考图4，一种实施例中该方法包括步骤110～170，下面详细说明。

步骤110：获取源图像、目标图像和掩膜图，其中目标图像为一个或多个。

源图像、目标图像可以为任意图像。将图像分为源图像和目标图像，仅是为了在特定图像合成任务中加以区分。在某些图像合成任务中，目标图像通常指存在着感兴趣的目标特征的图像，这些目标特征将被迁移到源图像上，融合成新的图像。例如对于缺陷图像的合成，可以将真实的缺陷图像作为目标图像，其上存在着缺陷特征，将一无缺陷的图像作为源图像，经过本发明的图像生成方法的处理后，缺陷特征迁移到了源图像上，则生成一新的缺陷图像，如图12～图15所示。

掩膜图由用户预先设置，其决定了进行融合的两张或多张图像，选取哪张图像的哪个位置的像素组成融合后的图像。一般来说，掩膜图的设置应使目标图像中的目标特征在最终合成的图像中得以体现。

步骤120：分别对源图像以及每个目标图像进行特征提取，获得源图像的第一特征图组以及每个目标图像的第一特征图组，其中第一特征图组包括多个不同分辨率的第一特征图。

第一特征图的个数可依据实际需要确定，在此不做限定。对于特征提取，请参考图5，可采用预先构建的包括N个下采样模块的特征提取网络进行，其中N为正整数且N≥2。分别将源图像以及每个目标图像输入该特征提取网络，经过N个下采样模块进行连续N次的下采样处理，可以得到源图像以及每个目标图像N个分辨率递减的特征图，其中每个下采样模块产生一个特征图，将这些特征图作为第一特征图组成第一特征图组。

步骤130：选取源图像、每个目标图像的第一特征图组中分辨率相同的第一特征图执行步骤140得到融合特征图。

一种实施例中，可以直接将所选取的第一特征图作为第一待融合特征图执行步骤140。另一种实施例中，如图5所示，可以预设一种几何变换T(简称“T变换”)，对选取的目标图像的第一特征图以及掩膜图进行T变换，再将所选取的源图像的第一特征图、经T变换后的目标图像的第一特征图作为第一待融合特征图执行步骤140。通过对目标图像的第一特征图进行不同的T变换，可生成多种不同形态的合成图像，进一步丰富图像集的内容。

T变换可以包括角度旋转、平移、翻转变换、缩放、剪切的任意一种或多种，且变换前后图像的分辨率不变。例如T变换为将图像缩小至自身的0.5倍时，则将图像缩小至0.5倍并居中，在周围填充0像素，使其与原图像分辨率相同。

步骤140：第一特征融合步骤，具体地，对于各第一待融合特征图上位置对应的像素点，根据掩膜图选取其中一个第一待融合特征图的像素点，作为融合特征图对应位置处的像素点，由各位置处选取的像素点组成融合特征图，其中掩膜图用于标识融合特征图中每个像素点的来源。

一种实施例中，掩膜图每个像素点的像素值用于标识融合特征图对应位置处的像素点的来源。掩膜图的通道数和图像的张数有关，即通道数与第一待融合特征图的张数相同，每个通道对应一张第一待融合特征图；掩膜图的像素值为由0和1组成的数组，其中每个通道的像素值为0或1，且仅有一个通道的像素值为1，代表该通道对应的第一待融合特征图被选中。

该实施例中，第一特征融合步骤具体为：将掩膜图缩放至与第一待融合特征图相同的分辨率，对于缩放后的掩膜图的每个像素点，根据其像素值选取其中一个第一待融合特征图对应位置处的像素点，作为融合特征图对应位置处的像素点，由所选取的像素点组成融合特征图。

以2张第一待融合特征图为例，掩膜图的通道数为2，像素值为[1,0]或者[0,1]。执行第一特征融合步骤时，首先将掩膜图缩放至与第一待融合特征图相同的分辨率，之后对于掩膜图的每个像素点(i,j)，如果其像素值为[1,0]，则选取第1张第一待融合特征图的对应位置(i,j)处的像素点，作为融合特征图对应位置(i,j)处的像素点；如果其像素值为[0,1]则选取第2张第一待融合特征图的对应位置(i,j)处的像素点，作为融合特征图对应位置(i,j)处的像素点，由所选取的像素点组成融合特征图，其中i为横坐标，j为纵坐标。融合特征图的分辨率与第一待融合特征图一致。第一特征融合步骤可以用公式表示为：R(l,x

步骤150：按预定顺序依次选取源图像、每个目标图像的第一特征图组中分辨率相同的第一特征图作为第二待融合特征图，执行步骤160，直至源图像、每个目标图像的第一特征图组中的第一特征图都已执行过步骤160。

步骤160：第二特征融合步骤，具体地，将各第二待融合特征图分别与融合特征图进行特征融合，将特征融合得到的图像作为第一待融合特征图执行第一特征融合步骤，由第一特征融合步骤的结果得到新的融合特征图。

对于执行第二特征融合步骤的第一特征图的顺序本发明不做限定，在实际应用过程中可视实际需要和操作便利性而定。

一种实施例中，可以基于自编码器结构的神经网络实现本发明的图像生成方法，其中编码器进行特征提取，解码器进行图像重建，将特征图恢复到原图大小的分辨率。编码器可以是上文所述的包括N个下采样模块的特征提取网络，对应的解码器则可以由N个上采样模块组成。该实施例中，步骤120～160具体如下：

步骤120：分别将源图像以及每个目标图像输入特征提取网络，得到源图像以及每个目标图像N个分辨率递减的特征图，将这些特征图作为第一特征图组成第一特征图组。其中源图像和目标图像的分辨率相同，则源图像和目标图像在特征提取网络每个下采样模块得到的第一特征图的分辨率也相同。

步骤130：选取源图像、每个目标图像的第N个第一特征图(即分辨率最小的第一特征图)作为第一待融合特征图，执行步骤140得到融合特征图。

步骤140：第一特征融合步骤，具体地，对于各第一待融合特征图上位置对应的像素点，根据掩膜图选取其中一个第一待融合特征图的像素点，作为融合特征图对应位置处的像素点，由各位置处选取的像素点组成融合特征图，其中掩膜图用于标识融合特征图中每个像素点的来源。

步骤150：从源图像、每个目标图像的第一特征图组的第N个第一特征图开始到第1个第一特征图为止，依次将源图像、每个目标图像的第一特征图组中的第一特征图作为第二待融合特征图，执行步骤160。即按分辨率从小到大选取第一特征图执行步骤160。

步骤160：第二特征融合步骤，具体地，将各第二待融合特征图分别与融合特征图进行特征融合，将特征融合得到的图像作为第一待融合特征图执行第一特征融合步骤，将第一特征融合步骤的结果输入解码器网络的上采样模块得到新的融合特征图。

其中解码器网络的第n个上采样模块的输入为第N+1-n个第一特征图执行第二特征融合步骤时其中的第一特征融合步骤的结果，输出为与第N-n个第一特征图分辨率相同的特征图，第N个上采样模块的输出为与源图像、目标图像分辨率相同的特征图，n＝1,2…N。

即解码器网络交替进行特征融合和上采样，使特征图的分辨率逐层递增，恢复至原图大小，得到融合了多尺度特征的特征图。例如第一特征图组中有3个分辨率递减的第一特征图，则解码器包括3个上采样模块。首先将第3个第一特征图执行第二特征融合步骤，其中的第一特征融合步骤的结果输入第1个上采样模块进行上采样，获得与第2个第一特征图相同分辨率的新的融合特征图；然后将第2个第一特征图执行第二特征融合步骤，其中的第一特征融合步骤的结果输入第2个上采样模块进行上采样，获得与第1个第一特征图相同分辨率的新的融合特征图；最后将第1个第一特征图执行第二特征融合步骤，其中的第一特征融合步骤的结果输入第3个上采样模块进行上采样，获得与源图像、目标图像相同分辨率的融合特征图。

对于第二待融合特征图与融合特征图的特征融合，可以采用现有的特征融合方式。本发明一种实施例中，首先对融合特征图进行实例标准化，再将实例标准化后的融合特征图的各通道分别与各第二待融合特征图对应通道的标准差相乘，再与对应通道的均值相加，完成第二待融合特征图与融合特征图的特征融合。

具体地，首先计算第二待融合特征图和融合特征图每个通道的均值和标准差。例如对于一个通道数256、分辨率128×128的特征图，计算其每个通道的均值和标准差，则获得的均值可以形成一个长度为256的向量，获得的标准差也可以形成一个长度为256的向量。特征图的均值和标准差的计算方法如下：

其中M

按上述计算方法获得第二待融合特征图和融合特征图每个通道的均值和标准差后，对融合特征图进行实例标准化，使其每个通道的均值为0，标准差为1，用公式表示为：

其中a

之后将实例标准化后的融合特征图的各通道分别与各第二待融合特征图对应通道的标准差相乘，再与对应通道的均值相加，完成第二待融合特征图与融合特征图的特征融合。例如，实例标准化后的融合特征图和第二待融合特征图都有256个通道，则将实例标准化后的融合特征图第1个通道的每个像素都乘上第二待融合特征图第1个通道的标准差，再加上第二待融合特征图第1个通道的均值；将实例标准化后的融合特征图第2个通道的每个像素都乘上第二待融合特征图第2个通道的标准差，再加上第二待融合特征图第2个通道的均值，依此类推，完成256个通道的计算。特征融合后的图像的张数与第二待融合特征图的张数相同。

步骤170：将最终得到的融合特征图经过卷积和非线性激活函数得到合成图像。

下面结合图5，通过一个具体的例子说明本发明提供的基于异源特征融合的图像生成方法，该例子利用生成式对抗网络(Generative Adversarial Network，简称GAN)实现。GAN是一种深度学习模型，由两部分组成：一个是生成器，另一个是判别器。生成器的任务是产生接近真实图像的输出，判别器的任务是判断输入图像是生成器生成的图像或者是真实的图像。训练时，通过交替训练生成器和判别器，获得输出的图像接近真实图像的生成器。生成图像时，只需使用生成器合成图像。

如图5所示，生成器可以由编码器和解码器组成，编码器包括3个下采样模块，解码器包括3个上采样模块。判别器是一个二分类网络，负责判断输入的图像是真实图像还是生成器生成的图像，可以采用ResNet50、VGG等经典分类网络结构。

下面以输入源图像和一个目标图像为例对整个工作流程进行说明。

首先获取源图像、目标图像和掩膜图。图6为一种实施例中的源图像、目标图像和掩膜图，三者分辨率相同，其中源图像为无缺陷的图像，目标图像为存在缺陷的图像，掩膜图标记出了目标图像中缺陷的位置，即在进行特征融合时，保留目标图像的缺陷部分，其余部分则选取源图像的像素。图像合成的目标是将掩膜图标记的目标图像的部分移动到源图像的任意位置。

请参考图5，源图像和目标图像分别经过编码器进行特征提取，获得3个分辨率递减的第一特征图组成第一特征图组。源图像的第一特征图组记为(f

编码器的每个下采样模块输出一个第一特征图。下采样模块可缩小输入其中的特征图的分辨率。请参考图7，一种实施例中，每个下采样模块包括一个下采样层和若干个卷积-激活层，卷积-激活层指相连的卷积层和激活层。其中下采样层具体可用于进行最大池化(Max pooling)或者平均池化(Average pooling)处理，卷积层用于进行卷积处理，激活层用于进行非线性激活函数处理。示例性地，此处下采样层可以是一个池化窗口为2×2，步长为2×2的最大池化层，每经过一个下采样模块，特征图的长、宽均缩小为原来的0.5倍。

对第一特征图f′

选取第一特征图f

后续依次将第一特征图f

定义如下公式表示融合特征图与各第二待融合特征图进行融合得到第五特征图的过程：

V(x

其中V(x

则

f

f

f

其中Up()表示上采样，l

解码器的上采样模块可放大输入其中的特征图的分辨率。请参考图9，一种实施例中，每个上采样模块包括一个上采样层和若干个卷积-激活层。示例性地，此处上采样层可以将特征图的长、宽均放大为原来的2倍。

下面对整个GAN网络的训练过程进行介绍。

请参考图10，首先获取一张训练图像p

对第一特征图f

f

T的逆变换是与T变换相反的操作，且同样变换前后分辨率不变，例如T变换是将图像长和宽缩小到自身的0.5倍并填充边缘像素，则T的逆变换是将图像的长和宽放大到自身的2倍并去除多余的边缘像素。

然后根据以下方程得到最终的融合特征图f

f

f

f

根据合成图像和训练图像构建损失函数，交替训练生成器和判别器，得到生成器和判别器的参数。损失函数的构建可参考图11。其中，训练生成器的损失函数为：

G(p

训练判别器的损失函数为：

L

D(p

根据以上损失函数交替训练生成器和判别器，通过反向传播更新生成器和判别器的参数，直至最后判别器无法有效区分真实图像和合成图像，即：输入真实图像或者合成图像，判别器都输出0.5左右的数值时，训练完成。

图12～图15给出了本发明的基于异源特征融合的图像生成方法用于合成缺陷图像时的效果，其中图12为合成破损缺陷的效果，图13为合成孔洞缺陷的效果，图14为合成印刷缺陷的效果，图15为合成划痕缺陷的效果。所合成的缺陷图像可以作为缺陷样本图像，用于扩充进行缺陷检测训练的深度学习数据集，弥补实际中缺陷样本图像数量少的不足。由于掩膜图标记出了缺陷位置，因此可将掩膜图作为相应的标注信息，若进行了T变换，则将T变换后的掩膜图作为标注信息。

本发明提供的基于异源特征融合的图像生成方法，首先对源图像以及每个目标图像进行特征提取，获得源图像以及每个目标图像多个不同分辨率的第一特征图，从而得到了源图像以及每个目标图像多尺度的特征图；之后选取源图像、每个目标图像的分辨率相同的第一特征图作为第一待融合特征图，执行第一特征融合步骤得到融合特征图，再按预定顺序依次选取源图像、每个目标图像的分辨率相同的第一特征图作为第二待融合特征图，执行第二特征融合步骤，在第一特征融合步骤中，根据预设的掩膜图从各第一待融合特征图中选取像素点组成融合特征图，在第二特征融合步骤中，将各第二待融合特征图分别与融合特征图进行特征融合，将特征融合得到的图像作为第一待融合特征图执行第一特征融合步骤，从而可以对来自不同图像的特征进行充分融合，并且实现多尺度的特征融合，相较于传统的剪切和拼接技术，所生成的图像更为真实，能够合成像素较连续、边缘较平滑、光照较连续的图像。

本发明的基于异源特征融合的图像生成方法是一种通用的、非特定数据相关的图像融合技术，当通过构建神经网络实现本发明的图像生成方法时，在一个大型的通用数据集训练收敛后，无需重新训练就可以用于新增的其他类数据的合成。

本发明一种实施例提供一种基于GAN的轻量级图像合成网络，其网络权重较少，运行速度快，可快速地进行深度学习训练数据的合成。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。