基于生成对抗网络的SAR图像自动彩色化方法

技术领域

本发明涉及遥感技术领域，尤其是涉及一种基于生成对抗网络的SAR图像自动彩色化方法。

背景技术

目前，各种星载和机载遥感平台不断出现，遥感技术成为大范围、快速感知和获取地面信息的重要手段，大量遥感图像被获取。遥感技术的应用领域十分广泛，对遥感数据的统计和分析利用中，主要应用场景包括军事、地质矿产勘探、环境监测、城市建设管理等。

基于主动微波成像机理的合成孔径雷达(Synthetic Aperture Radar，SAR)具有全天时、全天候、不受恶劣天气影响的观测特点，能穿透云层，在空间对地观测和军事侦察等方面具有独特优势。但与常见的光学成像(RGB)原理不同，SAR图像中的灰度级对应的是不同材料不同结构的物体对微波的电磁散射强度，没有直接的颜色信息，因此SAR图像的理解和解译具有较高的难度。目前，SAR遥感影像已成为观测海洋与陆地的重要数据源，如何提升SAR图像的解译和信息提取功能，提高SAR数据的利用率是关键所在。考虑到人眼对彩色图像的敏感性，对SAR图像进行自动彩色化处理，对于解译判读具有重要意义。

目前对于SAR灰度图像处理多为伪彩色化方法，生成的伪彩色化图像还无法有效真实反映数据信息。神经网络是近年的研究热点，而生成对抗网络是2014年被提出的深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一，多用于图像生成领域，因此GAN的图像彩色化方法对于SAR图像彩色化处理具有重要参考价值。本发明以生成对抗网络为基础，针对SAR遥感待处理数据的特殊性和不同地区(陆地、海洋)的差别，搭建一个基于生成对抗网络的SAR图像自动彩色化训练模型。

发明内容

本发明的目的在于提供具有对SAR数据处理的普适性，对于SAR遥感数据的信息获取具有重要意义，使得SAR色彩信息更为丰富，突破原先的灰度图像应用局限的一种基于生成对抗网络的SAR图像自动彩色化方法。

本发明包括以下步骤：

1)搭建风格转换配对数据集；

2)进行多尺度的生成对抗网络搭建，并从中嵌入风格转换网络：所述生成对抗网络具有四个连接层，每层都包括生成器(G)和判别器(D)，每层的输入图像经过卷积后逐渐减小，在前一层向后层传递中加入随机噪声；

3)生成器(G)的模型在无监督模型基础上设计为U-net结构，进行图像轮廓特征提取；

4)判别器(D)选择PatchGAN结构，将生成图像分块，对每一部分进行真实概率的判别；

5)在传统条件生成对抗网络(CGAN)的损失函数基础上，加入L1正则项，生成对抗网络模型目标函数；

6)对输入图像进行增强预处理；

7)所得模型进行训练，当损失函数达到收敛时，训练结束，得到RGB三通道彩色影像。

在步骤1)中，所述搭建风格转换配对数据集是利用欧空局(ESA)发射的Sentinel-1和Sentinel-2卫星影像进行相同经纬度的匹配建立关联数据集；所述关联数据集包括Sentinel-1VV极化SAR数据和Sentinel-2的B2、B3、B4波段合成的光学数据。

在步骤3)中，所述U-net结构用于获取图像的边缘特征，保证SAR图像的底层轮廓信息不变及上色色彩的真实性。

在步骤4)中，所述对每一部分进行真实概率的判别的具体方法可为：将原图像分割为n块同样大小的图像块，设输入的图像块为x

在步骤5)中，所述传统条件生成对抗网络中，定义损失函数如下：

Loss(G,D)＝E

为防止模型过拟合，在该函数中加入L1正则项，改进后损失函数如下：

L

生成对抗网络模型目标函数如下：

G＝argmin(G)max(D)L

其中，λ为权重。

在步骤6)中，所述对输入图像进行增强预处理的步骤可为：对陆地遥感数据，经过旋转、翻转、局部放大等过程进行特征的完全提取；对海洋遥感数据，由于海洋数据受湍流影响成像差异大，采用维纳滤波恢复图像，恢复过程的描述如下：

其中，Q为常数，G为原始图像的傅立叶变换，

其中，k为湍流系数；

同时，考虑到Sentinel-1和Sentinel-2的拍摄周期不同，由于光线照射角度及方向不同，会造成图像成像的略微差异，选取2年周期内的色彩均值合成图像消除周期性干扰。

在步骤7)中，所述得到RGB三通道彩色影像，在训练结束，得到自动彩色化模型，通过该自动彩色化模型将需要上色的图像转换为三通道RGB彩色图像。

本发明提升SAR图像的解译和信息提取功能，将SAR灰度图像彩色化，利用生成对抗网络的无监督训练的特点，提供基于生成对抗网络的SAR图像自动彩色化方法，具有对SAR数据处理的普适性，对于SAR遥感数据的信息获取具有重要意义，使得SAR色彩信息更为丰富，突破原先的灰度图像应用局限。

与现有技术相比，本发明具有以下技术效果或突出优点：

1)模型中判别器选择PatchGAN结构，将整体图像块判定为真实的概率均值作为整体的概然，大幅度提升了模型的收敛速度，模型优化效果明显；

2)本发明改进了损失函数，加入L1正则项，可防止模型过拟合；

3)输入图像进行不同区域(陆地、海洋)的分类增强预处理，考虑海洋环境的特殊性，得到较好的海洋图像恢复效果，使得数据集的质量大幅度提升；

4)本发明所搭建模型对于SAR遥感图像彩色化上结果有效性突出，待上色图像输入模型后所生成的图像与真实RGB三通道彩色影像差别很小。

附图说明

图1为进行配对的Sentinel-1卫星VV波段的单通道图像和Sentinel-2卫星b2,b3,b4波段组成三波段的图像。

图2为陆地原图像与数据增强后的图像比较图。

图3为海洋原图像与海洋预处理恢复图像比较图。

图4为待上色图像。

图5为添加L1正则项前训练的生成图像结果。

图6为最终模型生成图像。

图7为真实彩色图像。

具体实施方式

为了进一步说明本发明的发明内容、功效以及创新之处，以下实施例将结合附图详细说明本发明，但本发明的实施方式不限于此。

本发明一种基于生成对抗网络的SAR图像彩色化方法实施例，具体包括以下步骤：

1)搭建风格转换配对数据集。本实施例实现的目标为VV波段图像的真实彩色化，对于所述目标需要有对应配对数据进行风格迁移；故选用Sentinel-1卫星VV波段的单通道图像和Sentinel-2卫星b2,b3,b4波段组成三波段伪色彩图像进行配对。得到配对数据集如图1所示。

2)构建多尺度的生成对抗网络框架，并从中嵌入风格转换网络。所述网络框架包括四个连接层，每个层包括生成器(G)和判别器(D),每个层的输入图像经过卷积后图像大小逐渐减小，同时上一层向下一层的传递过程中加入随机噪声用于提升模型的泛化性能。

3)判断训练过程。对于彩色化问题，需要同时保证SAR图像的底层轮廓信息不变和上色色彩的真实性。因此首先改进无监督上色模型。使生成器(G)的模型具有U-net结构，生成器使用U-net结构便于获取图像的边缘特征，保证SAR图像的底层轮廓信息不变及上色色彩的真实性，从而能够进行图像轮廓特征的提取，防止过拟合造成的图像形状失真；其次，判别器选择PatchGAN的结构，对生成图像的每一块部分进行真实概率的判别。对于输入图像x，输出图像判定为真实的概率为D(x),将原图像分割为同样大小的Patch，再对D(x)求均值作为整体的概然，大幅度提升模型的收敛速度,优化模型。

4)在传统条件生成对抗网络中，定义损失函数如下：

Loss(G,D)＝E

为防止模型过拟合，在该函数中加入L1正则项，改进后损失函数如下：

L

生成对抗网络模型目标函数如下：

G＝argmin(G)max(D)L

5)输入图像预处理。对于遥感数据由于其数据获取难度较高，首先对数据进行增强，对于陆地的遥感数据而言，通过旋转、翻转、局部放大等手段进行特征的完全提取，图2为陆地原图像与处理图像比较图；对于海洋数据而言，由于其受到海洋湍流影响，成像差异较大，故本实施例通过维纳滤波恢复海洋数据图像；其恢复过程的描述如下：

其中，Q为常数，G为原始图像的傅立叶变换，

其中,k为湍流系数，利用G中的傅里叶反变换可以得到湍流的恢复图像。本实施例取湍流系数k＝0.0012，得到较好的恢复效果，图3为海洋原图像与恢复图像比较图。

6)模型训练过程。首先设置200个epoch进行模型训练，发现损失函数在第27个epoch训练时已经达到收敛，截取中间结果进行查看，图4为待上色图像，上色效果如图5所示，色彩过于艳丽，减少L1 Loss后，明显改进，最终效果如图6所示，与真实彩色图像图7及待上色图像图4对比，最终效果图与真实光学影像图的色彩分布较为一致，相较待上色图像有了更丰富且基于真实光学影像的色彩信息，SAR图像彩色化效果明显。

本发明对欧空局发射的Sentinel-1和Sentinel-2卫星进行相同经纬度的匹配建立风格转换关联数据集(Sentinel-1VV极化SAR数据和Sentinel-2的B2，B3，B4波段合成的光学数据)；搭建有四个连接层的生成对抗网络框架，改进cyclegan无监督上色模型，使生成器模型具有U-net结构从而进行图像轮廓特征提取，判别器选取PatchGAN结构以提升模型收敛速度，在损失函数中加入正则项以防止模型过拟合；输入图像预处理，即对陆地数据进行局部放大等特征完全提取，对海洋数据通过维纳滤波恢复图像；输入SAR图像进行训练即可获得RGB三通道彩色影像。本发明利用生成对抗网络方法，对SAR图像进行自动彩色化处理，有效提升SAR数据的解译和信息提取功能。