一种基于融合变异的图像对抗样本生成方法

技术领域

本发明属于计算机领域，涉及到图像识别模型的训练中对抗样本数据集的生成，具体为一种基于融合变异的图像对抗样本生成方法。

背景技术

目前航空航天领域图像识别信息服务能够有效辅助用户快速识别图像信息，但对于测评机构而言，军用信息服务的测试图像较少，部分测试数据可能还依赖于厂家的训练数据的问题，导致测试结果可信度受到影响，缺陷发现能力不高。

然而对于这样软件可靠性要求较高的领域，人们不仅需要能够高效的识别出不加干扰的图像信息，也要能以较高置信度的得到加以干扰后的图像信息，所以需要得到原始数据集的一系列对抗样本。如何对原始数据集进行变异测试并得到可靠的对抗样本数据集成为关键问题。

发明内容

发明目的：针对现有技术的不足，本发明提出一种基于融合变异的图像对抗样本生成方法，解决在测试数据不足的情况下如何生成足够多且高质量的测试数据的问题。

技术方案：一种基于融合变异的图像对抗样本生成方法，利用分割变异技术通过对数据进行变异，从而实现测试数据的生成，包括以下步骤：

(1)获取原始图像与干扰图像；

(2)分别建立原始图像与干扰图像的高斯金字塔，在高斯金字塔的运算过程中，用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的重构图像，得到每一层损失信息，建立拉普拉斯金字塔存储这些损失信息；

(3)提取生成的两个高斯金字塔顶层的图像，用像素选择函数对两个图像进行融合；

(4)对融合后的图像进行上采样操作，再加上相应层次的原始图片拉普拉斯金字塔中的损失信息，重复进行上述操作，最终得到一个与原始图像相同大小的变异图像，形成图像对抗样本。

其中，所述步骤(2)中高斯金字塔的建立包括：将原图视为第1层图像，对第N层图像G(N)进行低通滤波，再进行下采样，得到第N+1层图像G(N+1)，G(N+1)的长与宽均为G(N)的1/2，则G(N+1)尺寸为G(N)尺寸的1/4，G(1),G(2)······G(N)组成高斯金字塔。

所述步骤(2)中建立拉普拉斯金字塔包括：对G(N+1)层图像进行上采样，得到与G(N)的尺寸相同的T(N)，计算T(N)与G(N)的差L(N)，L(1),L(2)······L(N)组成拉普拉斯金字塔。

所述步骤(3)中用像素选择函数对两个图像进行融合包括：

记原始图像的高斯金字塔顶层图像为G

G

其中，G

有益效果：本发明通过对原始图像进行融合变异，从而实现对抗样本的生成。在高斯金字塔的运算过程中，图像经过卷积和下采样操作会损失部分高频细节信息，本发明用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的重构图像可得到每一层损失信息，利用拉普拉斯金字塔来存储这些信息，在图像融合中对损失信息进行有效补偿。利用本方法能够在测试数据不足的情况下生成足够多且高质量的测试数据。

附图说明

图1是本发明实施例提供的基于融合变异的图像对抗样本生成方法流程图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

参照图1，本发明所提出的基于融合变异的图像对抗样本生成方法，包括以下步骤：

步骤(1)，准备好原始图像与干扰图像。

原始图像需结合被测模型的应用领域，应具备代表性。干扰图像可任意选择。

步骤(2)，分别建立原始图像与干扰图像的高斯金字塔，并用拉普拉斯金字塔来存储损失信息。

在高斯金字塔的运算过程中，图像经过卷积和下采样操作会损失部分高频细节信息，为描述这些高频信息，用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的重构图像可得到每一层损失信息，利用拉普拉斯金字塔来存储这些信息。

高斯金字塔的建立具体包括：将原图视为第1层图像，对第N层图像G(N)进行高斯内核卷积，若G(N)的行数/列数为奇数，则利用区域插值法将G(N)的行数/列数调整为向下最近的偶数，再进行下采样，去除所有的偶数行和偶数列，得到第N+1层图像G(N+1)，G(N+1)的长与宽均为G(N)的1/2，则G(N+1)尺寸为G(N)尺寸的1/4，G(1),G(2)······G(N)组成高斯金字塔。

拉普拉斯金字塔的建立方式如下：对G(N+1)层图像进行上采样，在每一列的右边新增一列，每一行的下边新增一行，新增的行列以0填充，使用先前下采样时的高斯核(大小不变，数值乘以4)进行卷积后利用线性插值法得到与G(N)的尺寸相同的T(N)，计算T(N)与G(N)的差L(N)，L(1),L(2)······L(N)组成拉普拉斯金字塔。

步骤(3)，提取生成的两个高斯金字塔顶层的图像，用像素选择函数对两个图像进行融合。

图像融合(Image Fusion)是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。

本发明中，在进行图像融合时，先建立高斯金字塔与拉普拉斯金字塔，得到原图高斯金字塔顶层图像G

G

其中，G

步骤(4)，对融合后的图像进行上采样操作，加上相应层次的原始图像拉普拉斯金字塔中的损失信息，重复上述操作，最终得到一个与原始图像相同大小的变异图像，形成图像对抗样本。

以高斯金字塔有s层，拉普拉斯金字塔有s-1层为例，将干扰图像高斯金字塔顶层图像G

具体而言，根据G

G

其中σ(G+L)表示将G与L逐像素相加，并对255取模，确保每个像素值在[0,255]间，得到中间图像TMP，在TMP偶数行和列插入0，公式如下：

其中m,n分别表示像素的行坐标和列坐标，之后对TMP

基于上述步骤(1)-(4)所描述的基于融合变异的图像对抗样本生成方法，构建了如下的算法：

1)算法的输入

A、原始目标图像G

B、干扰图像G

C、干扰比例ρ。

2)算法的输出：图像对抗样本G

3)初始化，将G

4)分别建立G

从G

得到初始融合图像G

5)将G

6)重复5)，直到得到G

本发明通过对原始图像进行融合变异，从而实现对抗样本的生成。在高斯金字塔的运算过程中，图像经过卷积和下采样操作会损失部分高频细节信息，本发明用高斯金字塔的每一层图像减去其上一层图像上采样并高斯卷积之后的重构图像可得到每一层损失信息，利用拉普拉斯金字塔来存储这些信息，在图像融合中对损失信息进行有效补偿。利用本方法能够在测试数据不足的情况下生成足够多且高质量的测试数据。