一种基于宽松空间结构对齐样本的增强方法及系统

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种基于宽松空间结构对齐样本的增强方法及系统。

背景技术

目前，生成对抗网络(GANs)在各种计算机视觉场景中取得了很好的结果，如自然图像合成、图像到图像的转换和图像修复等。同时，GANs是出了名的难以训练，其训练一个图像生成模型通常需要数千张图像和几十个小时的训练时间。如果没有足够的训练数据，GANs很容易发生过拟合和崩溃。

为了解决这一问题，研究人员开始关注有限样本有效GAN训练。一个简单有效的方案就是将大规模预训练的模型适配到包含少量数据的目标域上，然而，现有方法在给定少量样本(如少于10个样本)的时候，容易发生模型过度拟合和崩溃现象。另一个方案是对训练数据进行数据增强从而提升模型的鲁棒性，然而这类方法通常也只适用于训练数据大于100个样本的场景。

发明内容

本发明的第一目的在于提出一种基于宽松空间结构对齐样本的增强方法，能够在少量样本的情况下生成有着极佳效果的适应模型，其通过跨域空间结构一致性损失可以很好地保存源域图像的固有结构信息和空间变化趋势，并传递到目标域，潜在空间压缩能加快模型的收敛速度。

本发明的第二目的在于提出一种基于宽松空间结构对齐样本的增强系统。

为达此目的，本发明采用以下技术方案：

一种基于宽松空间结构对齐样本的增强方法，包括以下步骤：

S1、对源域输入噪声，以噪声为圆心半径为r的领域中采集一批向量样本；

S2、将这批向量样本从源域转移到目标域，获取这批向量在源域与目标域之间的空间相似性和干扰相关一致性损失；

S3、构建源域和目标域相同层的每一对自相关矩阵，并对源域和目标域相同层的每一对自相关矩阵进行损失约束，获得源域和目标域之间的自相关一致性损失；

S4、通过干扰相关一致性损失和自相关一致性损失，获取这批向量之间的空间结构一致性损失；

S5、将源域中原始潜在空间压缩到靠近目标域的一个子空间，获得最终目标域；

S6、使用StyleGANv2模型分别在不同的源域进行预训练；

S7、将预训练好的StyleGANv2模型进行不同场景的最终目标域的匹配，获得最终的StyleGANv2模型。

优选的，在S2中，所述获取这批向量在源域与目标域之间的空间相似性，具体通过如下公式获取：

其中

所述获取这批向量在源域与目标域之间的干扰相关一致性损失，具体通过如下公式获取：

其中L

优选的，在S3中，所述每一对自相关矩阵的计算方法如下：

式中，f

所述获得源域和目标域之间的自相关一致性损失，具体通过如下公式获取：

式中，Lscc(Gt,Gs)表示源域G

优选的，在S4中，所述获取这批向量之间的空间结构一致性损失，具体通过如下公式获取：

其中ɑ和β均为比值参数，L

优选的，在S5中，所述将潜在空间压缩到靠近目标域的一个子空间，获得最终目标域，具体通过如下公式获取：

/>

式中，

一种基于宽松空间结构对齐样本的增强系统，采用如上述所述的一种基于宽松空间结构对齐样本的增强方法，包括：

样本采集模块，用于执行对源域输入噪声，以噪声为圆心半径为r的领域中采集一批向量样本；

第一获取模型，用于执行将这批向量样本从源域转移到目标域，获取这批向量在源域与目标域之间的空间相似性和干扰相关一致性损失；

第二获取模块，用于执行构建源域和目标域相同层的每一对自相关矩阵，并对源域和目标域相同层的每一对自相关矩阵进行损失约束，获得源域和目标域之间的自相关一致性损失；

第三获取模块，用于执行通过干扰相关一致性损失和自相关一致性损失，获取这批向量之间的空间结构一致性损失；

第四获取模块，用于执行通过潜在空间压缩算法将源域中原始潜在空间压缩到靠近目标域的一个子空间，获得最终目标域；

预训练模块，用于执行使用StyleGANv2模型分别在不同的源域进行预训练；

匹配模块，用于执行将预训练好的StyleGANv2模型进行不同场景的最终目标域的匹配，获得最终的StyleGANv2模型。

优选的，所述第二获取模块包括空间相似性子模块和干扰相关一致性损失子模块；

所述空间相似性子模块用于执行所述获取这批向量在源域与目标域之间的空间相似性，具体通过如下公式获取：

其中

所述干扰相关一致性损失子模块用于执行所述获取这批向量在源域与目标域之间的干扰相关一致性损失，具体通过如下公式获取：

其中L

优选的，所述第二获取模块包括自相关矩阵子模块和自相关一致性损失子模块；

所述自相关矩阵子模块用于执行所述每一对自相关矩阵的计算方法如下：

式中，f

所述自相关一致性损失子模块用于执行所述获得源域和目标域之间的自相关一致性损失，具体通过如下公式获取：

式中，Lscc(Gt,Gs)表示源域G

优选的，所述第三获取模块包括空间结构一致性损失子模块；

所述空间结构一致性损失子模块用于执行所述获取这批向量之间的空间结构一致性损失，具体通过如下公式获取：

其中ɑ和β均为比值参数，L

优选的，所述第四获取模块包括潜在空间压缩子模块；

所述潜在空间压缩子模块用于执行所述将潜在空间压缩到靠近目标域的一个子空间，获得最终目标域，具体通过如下公式获取：

式中，

上述技术方案中的一个技术方案具有以下有益效果：具体使用了宽松空间对齐(RSSA)方法，通过跨域空间结构一致性损失对源域和目标域的生成分布进行对齐，可以很好地保存源域图像的固有结构信息和空间变化趋势，并将其传递到目标域。随后通将原始潜在空间压缩到靠近目标域的一个子空间，从而减少了跨域对比，加快了目标域生成器的收敛速度。

附图说明

图1是本发明一种基于宽松空间结构对齐样本的增强方法的过程示意图；

图2是本发明一种基于宽松空间结构对齐样本的增强系统的结构示意图；

图3是本发明一种基于宽松空间结构对齐样本的增强方法在10-shot场景的效果对比图；

图4是本发明一种基于宽松空间结构对齐样本的增强方法在5-shot场景的效果对比图；

图5是本发明一种基于宽松空间结构对齐样本的增强方法在1-shot场景的效果对比图；

附图中：样本采集模块1、第一获取模型2、第二获取模块3、第三获取模块4、第四获取模块5、预训练模块6、匹配模块7。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

如图1所示，一种基于宽松空间结构对齐样本的增强方法，包括以下步骤：

S1、对源域G

S2、将这批向量样本从源域G

S3、构建源域G

S4、通过干扰相关一致性损失和自相关一致性损失，获取这批向量之间的空间结构一致性损失；

S5、由于空间结构一致性损失会减慢模型的适应速度，这里我们将潜在空间压缩到靠近目标域G

S6、使用StyleGANv2模型分别在不同的源域G

S7、将预训练好的StyleGANv2模型进行不同场景的最终目标域G

本发明的基于宽松空间结构对齐样本增强方法，具体使用了宽松空间对齐(RSSA)方法，通过跨域空间结构一致性损失对源域和目标域的生成分布进行对齐，可以很好地保存源域图像的固有结构信息和空间变化趋势，并将其传递到目标域。随后通将原始潜在空间压缩到靠近目标域的一个子空间，从而减少了跨域对比，加快了目标域生成器的收敛速度。

如图3-5所示的效果对比图，本发明在少量训练样本(不超过100)的训练集中和TGAN、Freeze、MineGAN、IDC等方法对比都取得了比较好的效果。

更进一步的说明，在S6中，预训练为现有技术，即给StyleGANv2模型一些源域的图片数据去学习训练，生成一个含有模型参数的权重文件。在S7中，不同场景的最终目标域的匹配也为现有技术，即预训练好的StyleGANv2模型参数权重不可能满足所有的任务需要，这里将预训练的权重应用于本文提到的6个不同的目标域进行重新训练，对预训练的权重文件进行更新，获得新的权重文件。

更进一步的说明，在S2中，所述获取这批向量在源域G

其中

所述获取这批向量在源域G

其中L

更进一步的说明，在S3中，所述每一对自相关矩阵

式中，f

所述获得源域G

式中，Lscc(Gt,Gs)表示源域G

更进一步的说明，在S4中，所述获取这批向量之间的空间结构一致性损失，具体通过如下公式获取：

其中ɑ和β均为比值参数，L

更进一步的说明，在S5中，所述将潜在空间压缩到靠近目标域G

式中，

一种基于宽松空间结构对齐样本的增强系统，采用如上述所述的一种基于宽松空间结构对齐样本的增强方法，包括：

样本采集模块1，用于执行对源域G

第一获取模型2，用于执行将这批向量样本从源域G

第二获取模块3，用于执行构建源域G

第三获取模块4，用于执行通过干扰相关一致性损失和自相关一致性损失，获取这批向量之间的空间结构一致性损失；

第四获取模块5，用于执行通过潜在空间压缩算法将源域G

预训练模块6，用于执行使用StyleGANv2模型分别在不同的源域G

匹配模块7，用于执行将预训练好的StyleGANv2模型进行不同场景的最终目标域Gt’的匹配，获得最终的StyleGANv2模型。

本发明的基于宽松空间结构对齐样本增强系统，采用如上述所述的一种基于宽松空间结构对齐样本的增强方法，具体使用了宽松空间对齐(RSSA)方法，通过跨域空间结构一致性损失对源域和目标域的生成分布进行对齐，可以很好地保存源域图像的固有结构信息和空间变化趋势，并将其传递到目标域。随后通将原始潜在空间压缩到靠近目标域的一个子空间，从而减少了跨域对比，加快了目标域生成器的收敛速度。

更进一步的说明，所述第二获取模块包括空间相似性子模块和干扰相关一致性损失子模块；

所述空间相似性子模块用于执行所述获取这批向量在源域G

其中

所述干扰相关一致性损失子模块用于执行所述获取这批向量在源域G

其中L

更进一步的说明，所述第二获取模块包括自相关矩阵子模块和自相关一致性损失子模块；

所述自相关矩阵子模块用于执行所述每一对自相关矩阵

式中，f

所述自相关一致性损失子模块用于执行所述获得源域G

式中，Lscc(Gt,Gs)表示源域G

更进一步的说明，所述第三获取模块包括空间结构一致性损失子模块；

所述空间结构一致性损失子模块用于执行所述获取这批向量之间的空间结构一致性损失，具体通过如下公式获取：

其中ɑ和β均为比值参数，L

更进一步的说明，所述第四获取模块包括潜在空间压缩子模块；

所述潜在空间压缩子模块用于执行所述将潜在空间压缩到靠近目标域G

式中，

以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。