面向图像语义通信的联合信源信道编码方法

技术领域

本发明属于语义通信技术领域，涉及面向图像语义通信的联合信源信道编码方法。

背景技术

近年来，随着5G技术和边缘计算的飞速发展，通信环境正经历着前所未有的变革。数据量呈爆炸式增长，而通信环境的复杂性也给传统通信方式带来了前所未有的挑战。这主要体现在两个方面：(1)如何在低信噪比条件下确保通信的鲁棒性；(2)如何有效缓解海量数据传输中的带宽压力。

传统通信方式多采用分离信源信道编码方法。这种方法主要考虑物理层的准确性和高保真度，因此需要传输完整的原始数据，而不考虑内容的相关性。这导致了通信效率的低下，尤其是在面对海量数据传输时，带宽压力问题更加突出。此外，这种传统方法容易受到“悬崖效应”的影响，即在具有挑战性的通信条件下，如低信噪比环境，通信失败的风险增大。这使得在低信噪比环境中满足高精度任务要求变得极具挑战性。

为了解决这些问题，基于深度学习的语义通信提供了一种新颖的方法。这种方法采用联合源信道编码，将重点放在传递语义信息而非所有数据上。通过这种方式，不仅提高了通信的可靠性，还有效地降低了数据量。初步研究表明，语义通信在解决传统通信中的两个主要挑战方面具有巨大的潜力。

目前的研究表明，虽然非局部注意力机制已被证明能够自适应地调整特征表示并提高模型性能，但它同时也产生了相当大的计算开销。为了解决这一问题，窗口注意力机制提供了一种有效的替代方案。它能够在有限的范围内应用注意力，从而大大减少了模型的计算需求。

本发明针对单个模型在不同信噪比条件下语义通信性能差的问题，提出了一种基于注意力的自适应编码模块用于语义通信。在此基础上，还设计了一种新的联合信源信道编码方法。该方法结合了深度学习与传统的通信技术，旨在实现高效、可靠的通信传输。

发明内容

有鉴于此，本发明的目的在于提供面向图像语义通信的联合信源信道编码方法，解决单个模型在不同信噪比条件下语义通信性能差的技术问题。

为达到上述目的，本发明提供如下技术方案：

面向图像语义通信的联合信源信道编码方法，该方法包括以下步骤：

S1：建立基于卷积神经网络和注意力机制的联合信源信道编码系统模型；

S2：将图像输入联合信源信道编码系统模型发送端的语义编码器，所述语义编码器从输入图像中提取图像的语义信息；

S3：将所述S2中提取图像的语义信息转发给发送端的信道编码器进行编码，所述信道编码器根据当前信道状态和带宽压缩比动态调整系统输出的语义信息；

S4：将所述S3中编码后的信息通过功率归一化后的无线信道发送到接收端的信道解码器，所述信道解码器根据当前信道状态和带宽压缩比动态调整系统重建的语义信息；

S5：接收端的语义解码器根据所述S4中动态调整系统重建的语义信息，来恢复图像的语义信息，从而重构图像。

进一步的，所述S1中，建立的基于卷积神经网络和注意力机制的联合信源信道编码系统模型，具体为：系统包括一个发送端、通过功率归一化后的无线信道和一个接收端；

发送端将输入的图像记为：

其中，N为样本个数，

进一步的，所述S2中，语义编码器包含若干个语义信息提模块，用

二维卷积层卷积层的局部感知能力能提取语义信息，所述语义信息包括：颜色、纹理、形状和图像内容；

广义分割归一化层提供非线性操作，能从输入图像中提取更复杂的语义信息，确保空间自适应归一化；

若干个SIE模块的连续使用能有效提取图像的语义信息，语义编码器输出的语义信息，即第M个SIE模块的输出，记为

当M＝1时，

进一步的，所述S3中，信道编码器包括：基于注意力机制的自适应编码ACC模块和二维卷积层，记为

所述AAC模块：动态地调整模型输出的语义信息，根据当前信道的状态来提高编码质量；所述

AAC模块包含两个部分：语义增强和语义调整部分；

所述语义增强部分包括：窗口注意力模块WAB和若干个残差模块RB

所述窗口注意力模块对输入特征图中的关键区域进行加权，允许模型更详细地处理图像的特定区域，而不是均匀地处理整个图像；

所述残差模块聚焦于系模型需要改进的区域；

所述语义增强具体为：

AAC模块的输入信息，标记为F

其中，W

在窗口注意力模块之后使用三个残差模块，然后使用一个卷积层，接着是Sigmoid函数，生成权重因子ξ∈[0，1]；最后通过加权和残差运算得到更加详细的语义信息

所述语义调整：改进了信道注意机制，使其能够根据不断变化的无线信道的信道状态信息，即信噪比μ动态地调整更多被关注的信息；

语义调整具体为：使用标准差和均值的和SDM(·)来捕获

将得到的全局信息沿特征通道维度与μ连接，用两个卷积层

其中，Concat(·)表示连接操作，

进一步的，所述S4中的无线信道为加性高斯白噪声信道。

进一步的，所述S4中，信道解码器，一旦接收到来自无线信道传输的语义信息y后，信道解码器

信道解码器

AAC模块能动态地调整模型重构的语义信息，根据当前信道的状态来提高解码质量；

用于按照带宽压缩率调整接收语义信息的维度；信道解码器和信道编码器中的AAC模块结构相同，但参数不同。

进一步的，所述S5中，语义解码器

语义解码具体表述为：

其中，

本发明的有益效果在于：

本发明提出的面向图像语义通信的联合信源信道编码方法，提出了一个灵活的基于注意力的自适应编解码模块。考虑到资源有限性，该方法能够在不牺牲太多计算资源的情况下捕获空间相邻元素之间的相关性，动态加权关键的局部语义信息，并能够根据当前信道状态信息动态调整模型输出，使单个模型能够适应大范围的信噪比训练。实验结果表明，即使在信道不匹配的情况下，与对比方案1(基于卷积神经网络的联合信源信道编码模型)相比，本发明所提方案更具鲁棒性，能确保在恶劣环境中的稳健通信并有效减轻大量数据传输带来的带宽压力。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明面向图像语义通信的联合信源信道编码方法的流程示意图；

图2为本发明面向图像语义通信的联合信源信道编码方法的系统模型图；

图3为本发明面向图像语义通信的联合信源信道编码方法的神经网络结构图；

图4为本发明面向图像语义通信的联合信源信道编码方法的基于注意力的自适应编码模块图；图4(a)为AAC模块结构图；图4(b)为残差块的结构图；图4(c)为注意力计算单元图；

图5为本发明面向图像语义通信的联合信源信道编码方法在

图6为本发明面向图像语义通信的联合信源信道编码方法在

图7为本发明面向图像语义通信的联合信源信道编码方法在

图8为本发明面向图像语义通信的联合信源信道编码方法在

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1～图8，为面向图像语义通信的联合信源信道编码方法，如图1所示：该方法包括以下步骤：

S1：建立基于卷积神经网络和注意力机制的联合信源信道编码系统模型；

建立的基于卷积神经网络和注意力机制的联合信源信道编码系统模型，如图2、图3所示，其内容包括：该系统包括一个发送端和一个接收端。发送端使用语义编码器从输入图像中提取语义信息。为了保证信息的有效性，在传输前将其转发给信道编码器。编码后的信息通过功率归一化后的无线信道(例如加性高斯白噪声信道)发送到接收端。接收到信息后，接收端按顺序通过信道解码器和语义解码器处理信息，以重建图像。

具体来说，发送端的输入图像记为

其中，N为样本个数，

S2：将图像输入联合信源信道编码系统模型发送端的语义编码器，所述语义编码器从输入图像中提取图像的语义信息；

其内容包括：为了有效提取图像语义信息，发送端的语义编码器

当M＝1时，

S3：将所述S2中提取图像的语义信息转发给发送端的信道编码器进行编码，所述信道编码器根据当前信道状态和带宽压缩比动态调整系统输出的语义信息，如图4所示；

其内容包括：在发送端的信道编码器

C1.语义增强：语义增强部分由一个窗口注意力模块(Window Attention Block，WAB)和多个残差模块(Residual Blocks，RBs)组成。在本发明中，窗口注意力模块对输入特征图中的关键区域进行加权。这种方法允许模型更详细地处理图像的特定区域，如特定的纹理或边缘，而不是均匀地处理整个图像。这种机制增强了特征表示，特别是在内容丰富或细节不同的场景中。随后，残差模块聚焦于系模型需要改进的区域，因为它们在训练期间被优化以解决重建差异。详细的过程如下所述。

首先，AAC模块的输入信息(标记为F

其中，W

C2.语义调整：为了有效减少信道对模型的不利影响，提高模型在一定范围内信噪比的鲁棒性，本发明改进了信道注意机制，使其能够根据不断变化的无线信道的信道状态信息(即信噪比μ)动态地调整更多被关注的信息。具体而言，首先使用标准差和均值的和SDM(·)来捕获

之后，将得到的全局信息沿特征通道维度与μ连接，用两个卷积层(记为

其中Concat(·)表示连接操作，

S4：将所述S3中编码后的信息通过功率归一化后的无线信道发送到接收端的信道解码器，所述信道解码器根据当前信道状态和带宽压缩比动态调整系统重建的语义信息；

其内容包括：在接收端一旦接收到来自无线信道传输的语义信息y后，信道解码器

S5：接收端的语义解码器根据所述S4中动态调整系统重建的语义信息，来恢复图像的语义信息，从而重构图像；

其内容包括：在S4的基础上，语义解码器

其中，/>

如图5、6、7、8所示，本发明给出了所提模型在

本发明提出的面向图像语义通信的联合信源信道编码方法，提出了一个灵活的基于注意力的自适应编解码模块。考虑到资源有限性，该方法能够在不牺牲太多计算资源的情况下捕获空间相邻元素之间的相关性，动态加权关键的局部语义信息，并能够根据当前信道状态信息动态调整模型输出，使单个模型能够适应大范围的信噪比训练。实验结果表明，即使在信道不匹配的情况下，与对比方案1相比，本发明所提方案更具鲁棒性，能确保在恶劣环境中的稳健通信并有效减轻大量数据传输带来的带宽压力。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。