基于深度生成模型的高保真全方位SAR图像生成方法

技术领域

本发明属于图像生成技术领域，具体涉及一种基于深度生成模型的高保真全方位SAR图像生成方法。

背景技术

目前深度生成模型发展迅速，基于深度生成模型的图像数据扩充为当前发展的主流。GAN(Generative Adversarial Networks，生成对抗网络)是广泛用于图像生成的一种模型，由生成器和判别器组成，通过对抗训练的方法使生成器和判别器共同优化，最终达到纳什平衡，最终达到生成数据与真实数据难以区分的效果。

随着GAN在光学图像数据生成领域的良好表现与不断发展，基于GAN的SAR图像扩充方法发展迅速。现有的SAR图像扩充方法包括：端对端的SAR图像生成方法，并且使用杂波正则化方法以提高训练稳定性；基于Stack GAN的SAR图像生成方法；基于MulticonstraintGAN的SAR图像生成方法。

但是，现有的SAR图像生成方法仍存在不足：第一，上述方法使用的生成对抗网络在训练过程中忽略了特征图的全局信息；第二，上述方法对SAR本身成像机理特点的利用还有待加强；第三，上述方法提出的网络在训练过程中存在不稳定的问题。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于深度生成模型的高保真全方位SAR图像生成方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供一种基于深度生成模型的高保真全方位SAR图像生成方法，包括：

将待生成SAR图像的预设类别、预设方位角和预设噪声向量输入图像生成模型；所述图像生成模型包括依次连接的线性层、第一生成残差模块、自注意力模块、第二生成残差模块和生成模块；

所述线性层对所述噪声向量进行维度扩展后，所述第一生成残差模块对维度扩展后的噪声向量进行特征提取，并生成第一特征图；

所述自注意力模块根据所述第一特征图生成自注意力特征图；

基于所述自注意力特征图，所述生成模块利用预设激活函数生成预设类别和预设方位角下的SAR图像。

在本发明的一个实施例中，所述自注意力模块根据所述第一特征图生成自注意力特征图的步骤，包括：

所述自注意力模块利用3个1*1的卷积核分别对所述第一特征图进行卷积，得到第一子图、第二子图和第三子图；

将所述第一子图与所述第二子图点乘后输入Softmax函数，生成注意力图；

将所述注意力图与所述第三子图点乘后进行卷积，得到自注意力特征图。

在本发明的一个实施例中，所述图像生成模型按照如下步骤训练得到：

获取训练数据集，所述训练数据集包括多个训练样本，各训练样本包括样本图像、样本图像对应的真实类别以及真实方位角，所述样本图像为SAR图像；

生成噪声向量，并将生成的噪声向量输入至待训练的生成对抗网络，以使所述待训练的生成对抗网络中的待训练生成器网络基于所述第二预设噪声向量，生成与所述真实类别和真实方位角对应的假图像；

生成实例噪声并将所述实例噪声分别添加至所述假图像和所述样本图像；

将添加有实例噪声的假图像和添加有实例噪声的样本图像分别输入所述待训练的生成对抗网络中的待训练判别器网络，并根据所述待训练判别器网络的判别结果、所述真实类别和所述真实方位角确定预设损失函数的损失值；

根据所述损失值判断所述待训练的生成对抗网络是否收敛；若是，则将所述待训练的生成对抗网络中的待训练生成器网络作为图像生成模型；若否，则通过反向传播交替调整待训练生成器网络的网络参数和待训练判别器网络的网络参数之后，返回所述生成噪声向量，并将生成的噪声向量输入至待训练的生成对抗网络的步骤。

在本发明的一个实施例中，所述预设损失函数包括待训练生成器网络的第一预设损失函数和待训练判别器网络的第二预设损失函数。

在本发明的一个实施例中，所述将添加有实例噪声的假图像和所述样本图像分别输入所述待训练的生成对抗网络中的待训练判别器网络，并根据所述待训练判别器网络的判别结果、所述真实类别和所述真实方位角确定预设损失函数的损失值的步骤，包括：

将添加有实例噪声的假图像输入至待训练的判别器网络，并根据所述待训练的判别器网络的第一判别结果、所述真实类别、所述真实方位角和所述第一预设损失函数，确定第一损失值；

将添加有实例噪声的样本图像输入至待训练的判别器网络，并根据所述待训练的判别器网络的第二判别结果、所述真实类别、所述真实方位角和第二预设损失函数，确定第二损失值；

计算所述第一损失值与所述第二损失值之和，得到预设损失函数的损失值。

在本发明的一个实施例中，所述获取训练数据集的步骤，包括：

将训练数据集中的样本图像裁剪为128*128大小；

获取裁剪后的样本图像的像素值，所述像素值为浮点数据；

将裁剪后的样本图像中大于0.5的像素值置为0.5，并将位于0-0.5的像素值变换至0-255，获得灰度处理及量化后的样本图像。

在本发明的一个实施例中，所述预设噪声向量为一维向量且服从高斯分布。

与现有技术相比，本发明的有益效果在于：

(1)在本发明提供的基于深度生成模型的高保真全方位SAR图像生成方法中，图像生成模型包括依次连接的线性层、第一生成残差模块、自注意力模块、第二生成残差模块和生成模块，网络结构简单、参数量较少，因此有利于降低过拟合的风险，并且自注意力模型引入了自注意力机制，能够改善特征图的表达能力，进而改善生成的SAR图像的质量。

(2)本发明提供的SAR图像生成方法利用了SAR成像的机理特点，训练过程中将SAR图像所包含目标的方位角度信息及类别信息使用条件批量归一化添加到待训练生成器中，经训练后得到的图像生成模型能够生成任意方位角和类别的SAR图像，具有更加宽广的应用范围。

(3)本发明通过添加实例噪声可以增加假图像和真实SAR图像(样本图像)两个分布之间的交集，并且使用了谱范数归一化后可以使得网络训练更加稳定。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的基于深度生成模型的高保真全方位SAR图像生成方法的一种流程图；

图2是本发明实施例提供的自注意力模块的结构示意图；

图3是本发明实施例提供的图像生成模型训练过程的示意图；

图4是本发明实施例提供的待训练生成对抗网络的结构示意图；

图5是本发明实施例提供的生成残差模块的结构示意图；

图6是本发明实施例提供的图像生成模型的实例图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

图1是本发明实施例提供的基于深度生成模型的高保真全方位SAR图像生成方法的一种流程图。如图1所示，本发明实施例提供一种基于深度生成模型的高保真全方位SAR图像生成方法，包括：

S1、将待生成SAR图像的预设类别、预设方位角和预设噪声向量输入图像生成模型；图像生成模型包括依次连接的线性层、第一生成残差模块、自注意力模块、第二生成残差模块和生成模块；

S2、线性层对噪声向量进行维度扩展后，第一生成残差模块对维度扩展后的噪声向量进行特征提取，并生成第一特征图；

S3、自注意力模块根据第一特征图生成自注意力特征图；

S4、基于自注意力特征图，生成模块利用预设激活函数生成预设类别和预设方位角下的SAR图像。

本实施例中，预设噪声向量为一维向量且服从高斯分布。

图2是本发明实施例提供的自注意力模块的结构示意图。如图2所示，上述步骤S3中，自注意力模块根据所述第一特征图生成自注意力特征图的步骤，包括：

S301、自注意力模块利用3个1*1的卷积核分别对第一特征图进行卷积，得到第一子图、第二子图和第三子图；

S302、将第一子图与第二子图点乘后输入Softmax函数，生成注意力图；

S303、将注意力图与第三子图点乘后进行卷积，得到自注意力特征图。

需要说明的是，自注意力模块对第一特征图进行卷积时，所利用的3个卷积核的参数并不相同。

获得第一子图、第二子图和第三子图后，基于第一子图及第二子图按照如下公式生成注意力图：

其中，s

步骤S303，根据注意力图和第三子图计算注意层的输出，得到自注意特征图o，本实施例中

示例性地，计算注意力模块最终输出y：

y＝γo+x

其中，γ表示输出自注意力特征图的尺度参数。

图3是本发明实施例提供的图像生成模型训练过程的示意图，图4是本发明实施例提供的待训练生成对抗网络的结构示意图。如图3-4所示，本实施例中，图像生成模型可以按照如下步骤训练得到：

获取训练数据集，训练数据集包括多个训练样本，各训练样本包括样本图像、样本图像对应的真实类别以及真实方位角，样本图像为SAR图像；

生成噪声向量，并将生成的噪声向量输入至待训练的生成对抗网络，以使待训练的生成对抗网络中的待训练生成器网络基于所述第二预设噪声向量，生成与真实类别和真实方位角对应的假图像；

生成实例噪声并将所述实例噪声分别添加至所述假图像和所述样本图像；

将添加有实例噪声的假图像和添加有实例噪声的样本图像分别输入所述待训练的生成对抗网络中的待训练判别器网络，并根据所述待训练判别器网络的判别结果、所述真实类别和所述真实方位角确定预设损失函数的损失值；

根据损失值判断待训练的生成对抗网络是否收敛；若是，则将待训练的生成对抗网络中的待训练生成器网络作为图像生成模型；若否，则通过反向传播交替调整待训练生成器网络的网络参数和待训练判别器网络的网络参数之后，返回上述生成噪声向量，并将生成的噪声向量输入至待训练的生成对抗网络的步骤。

具体而言，本实施例选取MSTAR数据集作为训练数据集，表1所示为训练数据集的训练样本数量、类别信息和方位角信息：

表1

应当理解，在本发明提供的基于深度生成模型的高保真全方位SAR图像生成方法中，类别是指SAR图像中所包含目标的类别，方位角指的则是生成该SAR图像的合成孔径雷达的方位角。

可选地，获取训练数据集的步骤，包括：

将训练数据集中的样本图像裁剪为128*128大小；

获取裁剪后的样本图像的像素值，所述像素值为浮点数据；

将裁剪后的样本图像中大于0.5的像素值置为0.5，并将位于0-0.5的像素值变换至0-255，获得灰度处理及量化后的样本图像。

本实施例中，为保证所有样本图像的分辨率相同，可以将原始样本图像中心裁剪为128*128大小，并且由于MSTAR样本图像的像素值为尺寸不同的浮点数据，因此裁剪后的样本图像中像素值大于0.5的部分置为0.5、将像素值为浮点数据0-0.5变换至整数0-255范围，完成样本图像的灰度处理以及量化，有利于确保样本图像的背景亮度相同。

可选地，获取样本图像的真实类别和真实方位角之后，将真实类别和真实方位角连同随机生成的一维数组作为噪声向量输入到待训练生成器中，以使待训练生成器生成假图像；具体来说，如图5所示，本实施例使用条件批量归一化CBN将样本图像的真实类别和真实方位角添加到待训练生成器网络的生成残差模块中，每个生成残差模块均有两个条件批量归一化操作，这样就可以将生成残差模块结合到类别和方位角信息，x是前一层网络提取的特征图，label是指类别或方位角这类条件信息，使用嵌入层embed将条件信息编码为两个向量σ和β，将特征图用σ和β转化为输出out，这样特征图中就包含了条件信息，其表达式为：

CBN(b)＝σ·BN(b)+β

其中，b为特征图信息，BN(b)为批归一化的结果。

待训练GAN网络引入谱范数归一化后，谱范数归一化作用在待训练生成器和待训练判别器每一层的权重矩阵上，避免了生成器的参数过多导致梯度异常，使整个训练过程更加平稳高效。

在每一次迭代训练的过程中，需要生成服从高斯分布、分布均值为0且方差

其中，σ

进一步地，在第i次迭代时，先将实例噪声添加至输入判别器的假图像和样本图像，为了便于表示，这里将待训练判别器网络的输入图像即添加有实例噪声的假图像和添加有实例噪声的样本图像均表示为t，则添加实例噪声可表示为：

t

进一步地，将添加有实例噪声的假图像和添加有实例噪声的样本图像分别输入待训练的生成对抗网络中的待训练判别器网络，并根据待训练判别器网络的判别结果、真实类别和真实方位角确定预设损失函数的损失值的步骤，包括：

将添加有实例噪声的假图像输入至待训练的判别器网络，并根据待训练的判别器网络的第一判别结果、真实类别、真实方位角和第一预设损失函数，确定第一损失值；

将添加有实例噪声的样本图像输入至待训练的判别器网络，并根据待训练的判别器网络的第二判别结果、真实类别、真实方位角和第二预设损失函数，确定第二损失值；

计算第一损失值与所述第二损失值之和，得到预设损失函数的损失值。

本实施例中，将添加实例噪声的假图像连同真实类别和真实方位角输入到待训练判别器中，通过待训练判别器网络的输出结果来计算出预设函数的损失值，并进行反向传播。

本实施例中，预设损失函数包括待训练生成器网络的第一预设损失函数和待训练判别器网络的第二预设损失函数。示例性地，预设损失函数为：

其中，t表示输入待训练判别器网络的添加有实例噪声的假图像和添加有实例噪声的样本图像，G(z)代表待训练生成器假图像，y表示类别，a表示方位角，使用Adam优化器对判别器进行参数优化。

为了稳定模型训练过程，本实施例在训练过程中给予待训练生成器和待训练判别器不同的学习率，分别为0.0001和0.0004。

图6是本发明实施例提供的图像生成模型的实例图。如图6所示，本发明提供的基于深度生成模型的高保真全方位SAR图像生成方法可以生成指定类型及方位角的SAR图像。

通过上述各实施例可知，本发明的有益效果在于：

(1)在本发明提供的基于深度生成模型的高保真全方位SAR图像生成方法中，图像生成模型包括依次连接的线性层、第一生成残差模块、自注意力模块、第二生成残差模块和生成模块，网络结构简单、参数量较少，因此有利于降低过拟合的风险，并且自注意力模型引入了自注意力机制，能够改善特征图的表达能力，进而改善生成的SAR图像的质量。

(2)本发明提供的SAR图像生成方法利用了SAR成像的机理特点，训练过程中将SAR图像所包含目标的方位角度信息及类别信息使用条件批量归一化添加到待训练生成器中，经训练后得到的图像生成模型能够生成任意方位角和类别的SAR图像，具有更加宽广的应用范围。

(3)本发明通过添加实例噪声可以增加假图像和真实SAR图像(样本图像)两个分布之间的交集，并且使用了谱范数归一化后可以使得网络训练更加稳定。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。