一种星地联合多光谱遥感影像压缩方法及系统

技术领域

本发明属于多光谱遥感影像压缩领域，特别涉及到了一种星地联合的多光谱遥感影像压缩方案，提出了一种基于变分自编码器的多光谱遥感影像压缩方案来实现高倍率、高保真图像压缩任务。

背景技术

随着遥感技术的发展，高分辨率遥感卫星面临着数据量大、星上存储能力弱、星地传输带宽小等问题，导致星上数据出现积压的现象，星地数据下传不及时。这些都会导致遥感卫星服务出现大的延迟现象，严重影响了卫星的即时服务。遥感影像压缩技术可以将影像数据编码成存储空间更少的码流数据，不仅可以减少所需要的存储空间，还可以提高星地数传效率。

光学遥感卫星通常搭载多个谱段的相机，可以获得具有丰富信息的多光谱图像。如，我国的高分7号卫星(GF7)具有四个谱段影像，海丝2号卫星(HS2)具有10个谱段，高分多模卫星(GFDM)具有8个谱段影像。由于多光谱图像具有丰富的光谱和空间信息，已广泛应用于土地管理、城市建设以及军事侦察等多个领域。然而，多光谱遥感图像丰富的信息就需要更多的存储空间和更高的带宽。给定一个大小为1,000×1,000像素的8谱段图像，数据类型为16bits/像素，大约占15MB存储空间。对于RGB影像，只需要不到3MB存储空间。为此，利用图像压缩来降低遥感影像的数据量是一种非常有效的方法。目前，传统的图像压缩方法有JPEG、JPEG2000、JPEG-LS、CCSDS等。但是，它们的压缩比通常较低，一般小于10:1。虽然，这些方法可以达到更高的压缩比，但可能会造成影像的严重失真，影响正常使用。

随着深度学习技术的发展，基于变分自编码器的图像压缩方法比标准压缩方法如JPEG、JPEG2000具有更好的压缩性能。基于变分自编码器的压缩模型由编码器和解码器组成。编码器的目的是通过参数非线性变换将输入图像映射到编码空间，然后利用量化函数和熵编码得到码流；解码时，需要利用熵解码将码流解码成潜在表征特征图，然后利用解码器将潜在表征图重建回图像。虽然，当前基于变分自编码器的压缩方法在自然影像中已经取得了很好效果，但是对于多光谱遥感影像的压缩编码依旧存在一些问题，尤其是在卫星上有限计算资源很难为基于深度学习的压缩模型提供足够的算力。在国内外期刊上，还没有相关论文提出关于在轨环境下的高倍率多光谱遥感影像压缩方法。目前，国内也没有相关解决办法以及授权专利。

发明内容

本发明针对在轨多光谱遥感影像高效压缩问题，提供了一种星地联合多光谱遥感影像压缩方案来实现在轨高倍率压缩任务。

本发明提供的技术方案为一种星地联合多光谱遥感影像压缩方法，包括以下步骤：

步骤1，进行多光谱遥感影像数据集构建；

步骤2，设置星地联合多光谱遥感影像压缩模型，所述星地联合多光谱遥感影像压缩模型基于变分自编码器实现，包括编码层g

步骤3，设置语义信息重构模块，所述语义信息重构模块用于生成高斯分布模型的均值和方差以及偏置特征图，所述高斯分布模型的均值和方差用于构建高斯分布模型为熵编码解码提供概率模型，所述偏置特征图用于重构出量化后丢失的语义信息，并与量化后的表征信息融合，用于解码层图像重构；

步骤4，进行多头解码器构建，包括根据需要重构的多光谱影像的波段数，设置相应解码器；

步骤5，训练星地联合多光谱遥感影像压缩模型；

步骤6，进行星地联合多光谱遥感影像压缩，压缩分为两个部分，第一部分是在轨压缩部分，包括编码层、超先验编码层、超先验解码层和熵编码；第二部分是地面重构部分，包括熵解码、语义信息重构、解码层以及多头解码器。

而且，步骤1中，进行多光谱遥感影像数据集构建时，采用高分多模卫星数据源构建8谱段高分多模卫星数据集。

而且，星地联合多光谱遥感影像压缩模型中，超先验编码和解码模块的实现方式是采用卷积神经网络主动学习表征特征图中每个像素的高斯分布信息，为熵编码解码提供每个元素准确的概率分布，以便更好地对量化后表征特征图进行编码。

而且，步骤3中，语义信息重构实现如下，

1)利用超先验解码层生成的特征信息

2)利用生成的均值方差构建高斯分布模型，利用熵解码来对码流进行解码恢复量化后的表征信息

3)利用1)所得偏置信息与量化后的表征信息

4)利用3)生成的语义特征s与量化后的表征信息

而且，步骤4中，多头解码器构建实现如下，

1)利用解码层g

2)利用通道分离方法将

3)利用n个解码头分别将n组特征图映射到1个通道的空间，用于生成n波段图像。

而且，星上压缩实现过程包括以下步骤，

1)利用编码层g

2)对1)中获得的y进行量化，获得量化后的潜在表征

3)利用超先验编码层g

4)对量化后表征

5)利用超先验解码层g

6)根据5)生成的Mean和Variance构建

7)将4)中的码流z_bits-stream和码流y_bits-stream发送到星地传输链路，下传到地面。

而且，地面解码包括以下步骤，

1)地面接收到码流z_bits-stream和码流y_bits-stream，将z_bits-stream进行熵解码获得

2)将1)中获得的

3)将

4)然后利用

5)将4)生成的

6)将5)中生成的

另一方面，本发明提供一种星地联合多光谱遥感影像压缩系统，用于实现如上任一项所述的一种星地联合多光谱遥感影像压缩方法。

而且，包括以下模块，

第一模块，用于进行多光谱遥感影像数据集构建；

第二模块，用于设置星地联合多光谱遥感影像压缩模型，所述星地联合多光谱遥感影像压缩模型基于变分自编码器实现，包括编码层g

第三模块，用于设置语义信息重构模块，所述语义信息重构模块用于生成高斯分布模型的均值和方差以及偏置特征图，所述高斯分布模型的均值和方差用于构建高斯分布模型为熵编码解码提供概率模型，所述偏置特征图用于重构出量化后丢失的语义信息，并与量化后的表征信息融合，用于解码层图像重构；

第四模块，用于进行多头解码器构建，包括根据需要重构的多光谱影像的波段数，设置相应解码器；

第五模块，用于训练星地联合多光谱遥感影像压缩模型；

第六模块，用于进行星地联合多光谱遥感影像压缩，压缩分为两个部分，第一部分是在轨压缩部分，包括编码层、超先验编码层、超先验解码层和熵编码；第二部分是地面重构部分，包括熵解码、语义信息重构、解码层以及多头解码器。

或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种星地联合多光谱遥感影像压缩方法。

本发明提供了一种星地联合多光谱遥感影像压缩框架，解决了星上数据存储和星地带宽受限导致的数据传输延迟问题，有效保证了在高压缩比下的高保真影像重构，该方案具有简单、有效、精度高、易于实现的特点。

和现有技术相比，本发明具有如下优势，

(1)本发明提出的语义特征重构模块和多头解码器是在地面解码端使用的，不会影响星上压缩编码端的计算效率。

(2)本发明基于卷积神经网络模型设计的星地联合多光谱遥感影像压缩具有高压缩比、高保真的压缩效果，将现有压缩方法的压缩比从2～10倍提高到40倍。

(3)具有很强的实用性和通用性，本发明充分考虑了波段间的相关性，可以适应任何波段的多光谱遥感影像压缩任务。

本发明方案实施简单方便，实用性强，解决了相关技术存在的实用性低及实际应用不便的问题，能够提高用户体验，具有重要的市场价值。

附图说明

图1为本发明实施例的网络模型配置示意图。

图2为本发明实施例的语义表征重构示意图。

图3为本发明实施例的多头解码器示意图。

图4为本发明实施例的星上压缩编码端示意图。

图5为本发明实施例的地面解码端示意图。

图6为本发明实施例的压缩结果对比展示图。

图7为本发明实施例的不同压缩方法率失真曲线对比展示示意图。

具体实施方式

以下结合附图和实施例具体说明本发明的技术方案。

本发明技术方案针对所需解决的技术问题，提供星地联合多光谱遥感影像压缩框架设计。具体实施时，本发明技术可利用Python编程语言进行实验，也可以采用C/C++编程语言进行工程化应用。

本发明实施例提供了一种星地联合多光谱遥感影像压缩方法，包括以下步骤：

步骤1，多光谱遥感影像数据集构建，包括构建8谱段高分多模卫星数据集，所述8谱段数据集用于模型训练、验证和测试使用；

本实施例构建了一个8谱段数据集，以用来训练压缩模型。该数据集采用了我国高分多模遥感卫星数据源。首先所获取的影像数据空间分辨率为2米多光谱影像，大小为10000×10000，总共包括40张多光谱影像。受到内存的限制，本发明实施例将影像分块成500×500大小，总共16000张影像，其中10000张影像作为训练集，3000张影像作为验证集，3000张影像作为测试集。

步骤2，星地联合多光谱遥感影像压缩模型设置，所述星地联合多光谱遥感影像压缩模型基于变分自编码器实现，包括编码层g

编码层主要是将输入影像映射到潜在表征空间，便于对量化后的表征信息进行熵编码AE以及熵解码AD；其中量化Q是为了消除潜在表征层中冗余度较高的信息；熵编解码是将量化后的表征信息编码成二进制码流，或者将二进制码流解码为表征特征图；

超先验编码和解码模块是通过学习编码层输出的潜在表征信息，利用高斯混合模型来实现对潜在表征的建模，主要实现方式是采用卷积神经网络主动学习表征特征图中每个像素的高斯分布信息，为熵编码解码提供每个元素准确的概率分布，以便更好地对量化后表征特征图进行编码；

解码层是根据熵解码后的表征特征图，重建回原影像。

进一步的实施建议是：

星地联合多光谱遥感影像压缩模型中，采用卷积层进行特征提取；

编码层包括若干卷积层和激活层，编码层的输入为原始图像，输出潜在表征特征图；

量化采用添加均匀噪声或取整函数的形式，均匀噪声用于模型训练时使用，取整函数用于模型推理时使用；

熵编码解码包括对量化后的潜在表征进行熵编码和熵解码；

超先验编码包括对潜在表征信息的编码，同时利用量化和熵编码来生成边缘信息的码流；超先验解码层根据边缘信息来学习潜在表征服从高斯分布的均值和方差两个参数，并用于构建高斯分布概率模型；

解码层包括若干反卷积层和激活函数层，输出为压缩后的图像。

实施例步骤2中编码层、解码层、超先验编码层和超先验解码层均采用卷积层和反卷积层进行特征提取和重构，参见图1。

编码层g

解码层g

超先验编码层g

超先验解码层g

步骤3，设置语义信息重构模块，所述语义信息重构模块包括生成高斯分布模型的均值和方差以及偏置特征图，所述高斯分布模型的均值和方差用于构建高斯分布模型为熵编码解码提供概率模型，所述偏置特征图用于重构出量化后丢失的语义信息，并与量化后的表征信息融合，用于解码层图像重构；

实施例步骤3包括生成高斯分布模型的均值和方差以及重构语义信息，参见图2；Conv1×1表示1×1的卷积层，RELU表示激活函数，Abs表示绝对值模块，D表示差分，⊕表示求和；上方三个Conv1×1的输入是量化后的表征

通过步骤2中超先验解码模块输出的特征

第一部分是由三个1×1的卷积层和三个激活层组成，用于生成高斯分布的均值Mean和方差Variance，以及用于重构语义表征的偏置特征Offset。

第二分部分包括一个差分模块(D)，一个绝对值模块(Abs)，以及三个1×1的卷积层和三个激活层组成。先利用第一部分构建的高斯分布模块对码流y_bits_stream进行解码获得

具体实施时，语义信息重构实现可采用如下子步骤，

1)利用超先验解码层生成的特征信息

2)利用生成的均值方差构建高斯分布模型，利用熵解码来对码流进行解码恢复量化后的潜在表征

3)利用1)所得偏置信息与量化后的表征信息

4)利用3)生成的语义特征s与量化后的表征信息

步骤4，多头解码器构建，所述多头解码器是根据需要重构的多光谱影像的波段数，设置解码器，如8谱段数据需要设置8个解码器；

实施例步骤4包括通道分离以及多头解码器，参见图3；图中s表示通道分离操作，每个解码头具有相同的模块结构，如解码头1是由三个Conv1×1/RELU组成；解码层g

通道分离是将解码层输出的特征图

多头解码器是由三个卷积层和两个激活层组成，为了捕获不同视野下的特征，本发明实施例优选三种卷积核，分别是1×1，3×3，5×5；每一组特征图分别输入到各自的解码头中用于生成每个光谱影像。

具体实施时，多头解码器构建可采用如下子步骤，

1)利用解码层g

2)利用通道分离方法将

3)利用n个解码头分别将n组特征图映射到1个通道的空间，用于生成n波段图像。

步骤5，设置并训练图像压缩模型，包括在8谱段数据集上的压缩模型参数训练；

设置并训练图像压缩模型，所述模型训练是在8谱段数据集上的对模型进行训练、参数更新、模型收敛。

具体实施时，在步骤1上构建的多光谱数据集的训练集中对步骤2设置的星地联合多光谱遥感影像压缩模型进行训练，并在验证集上进行验证模型的率失真精度。总共训练300个周期，初始学习率设置为0.0001，每100个周期降低一次学习率，学习率降低为之前的1/10。目标模型在训练时，需要Ubuntu 20.04LTS系统，软件环境需要Pytorch 1.7,Python3.6，主要计算平台为NVIDIA RTX2080Ti显卡。压缩模型的损失函数采用率失真优化，公式如下：

Loss＝R+λ×D(1)

其中，R表示估计的码率，D表示失真度，λ表示平衡系数，用于平衡R和D的影响，λ越大则D对模型训练的影响越大，反之R对模型训练的影响越大。

R的计算公式如下：

/>

其中

D的计算公式如下：

其中，x表示输入的多光谱影像，

步骤6，星地联合多光谱遥感影像压缩，所述星地联合多光谱遥感影像压缩将压缩模型分为两个部分，第一部分是在轨压缩部分，包括编码层、超先验编码层、超先验解码层、熵编码；第二部分是地面重构部分，包括熵解码、语义信息重构、解码层以及多头解码器。

具体实施时，根据星地联合压缩的任务需求，实施例中将星地联合压缩分为两个部分如下：

参见图4，图中Q表示量化操作，AE表示熵编码操作；第一部分是星上编码，分为以下步骤：

1)利用编码层g

2)对1)中获得的y进行量化，获得量化后的潜在表征

3)利用超先验编码层g

4)对量化后表征

5)利用超先验解码层g

6)根据5)生成的Mean和Variance构建

7)将4)中的码流z_bits-stream和码流y_bits-stream发送到星地传输链路，下传到地面。

参见图5，图中AD表示熵解码，bitstreams表示星上传输到地面的二进制数据流，

1)地面接收到码流z_bits-stream和码流y_bits-stream，将z_bits-stream进行熵解码获得

2)将1)中获得的

3)将

4)然后利用

5)将4)生成的

6)将5)中生成的

通过上述步骤6可以有效地实现高倍率的星地联合图像压缩。

为便于理解本发明的技术效果，提供本发明和传统方法的应用对比参见图6和图7。图6展示了本发明提出的方法在较低码率(bpp)时，可以实现更高的峰值信噪比(PSNR)以及更好的多尺度相似性(MS-SSIM)，根据人工目视的结果也可以看出本发明提出的一种星地联合多光谱遥感影像压缩方法具有更好的压缩性能。图7展示了三种方法的率失真曲线，曲线越靠左上，性能越好，可以看到本发明提出的方法相比于常规的JPEG2000压缩方法具有更强的压缩性能。

具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。

在一些可能的实施例中，提供一种星地联合多光谱遥感影像压缩系统，包括以下模块，

第一模块，用于进行多光谱遥感影像数据集构建；

第二模块，用于设置星地联合多光谱遥感影像压缩模型，所述星地联合多光谱遥感影像压缩模型基于变分自编码器实现，包括编码层g

第三模块，用于设置语义信息重构模块，所述语义信息重构模块用于生成高斯分布模型的均值和方差以及偏置特征图，所述高斯分布模型的均值和方差用于构建高斯分布模型为熵编码解码提供概率模型，所述偏置特征图用于重构出量化后丢失的语义信息，并与量化后的表征信息融合，用于解码层图像重构；

第四模块，用于进行多头解码器构建，包括根据需要重构的多光谱影像的波段数，设置相应解码器；

第五模块，用于训练星地联合多光谱遥感影像压缩模型；

第六模块，用于进行星地联合多光谱遥感影像压缩，压缩分为两个部分，第一部分是在轨压缩部分，包括编码层、超先验编码层、超先验解码层和熵编码；第二部分是地面重构部分，包括熵解码、语义信息重构、解码层以及多头解码器。

在一些可能的实施例中，提供一种星地联合多光谱遥感影像压缩系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种面向任务的遥感影像压缩方法。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。