一种基于语义加权的图像信息隐藏方法

技术领域

本发明属于信息隐藏技术领域，具体是一种基于语义加权的图像信息隐藏方法。

背景技术

随着计算机网络技术的发展和智能设备的普及，大量涉及个人隐私或组织机密的秘密信息在公开信道传输，极容易被第三方窃取并攻击，带来严重的安全问题。信息隐藏技术将秘密信息嵌入到自然载体中，同时不改变载体的感知特性，通过载密载体在公开信道上的传输完成秘密信息的传输，被认为是保障信息安全的有效手段。其中，以图像为载体的信息隐藏称为图像信息隐藏，是目前应用最广泛的信息隐藏技术。

早期的图像信息隐藏方法直接将载体图像像素值的最低比特位修改为秘密信息，该方法对载体图像的视觉效果影响小，复杂度低，但生成的载密图像具有明显的直方图统计特征，容易被第三方使用隐写分析技术破解。较成熟的自适应图像信息隐藏方法首先分析载体图像中每个像素点的嵌入代价，再由此选择纹理和内容复杂的区域，利用STC(Syndrome-Trellis Codes)编码嵌入秘密信息，该方法安全性好，但依赖于对载体图像的人工处理，复杂度高。

深度神经网络的发展和边端设备的智能化使得利用深度神经网络进行图像信息隐藏的方法兴起，主要包括基于自动编码器(Autoencoder，AE)的图像信息隐藏方法和基于生成对抗网络(Generative Adversarial Network，GAN)的图像信息隐藏方法。基于AE的图像信息隐藏方法通过编码器和解码器的端到端训练，实现与载体图像同等大小秘密图像的嵌入和重建，该方法负载量大，但生成载密图像的视觉效果有待进一步提升。基于GAN的图像信息隐藏方法引入第三方的隐写分析技术进行对抗训练，安全性好，但载体图像的负载量较小。

面对海量的秘密信息安全传输需求和强大的第三方隐写分析技术，需要负载量大且隐藏效果更好、更安全的图像信息隐藏方法。现有方法均未考虑秘密信息的局部语义重要性变化，以秘密图像为例，仅从低阶像素级别处理，并将其提取出的所有特征完整嵌入载体图像中。然而秘密图像的不同区域具有不同的语义重要程度：纹理和内容复杂的区域有更高的语义重要性，需要保留更多特征以便重建；纹理和内容简单的区域的语义重要性较低，只需部分特征已经能够实现较好的重建效果。由于冗余的秘密图像特征嵌入会影响载体图像的感知特性，因此，有必要从高阶特征级别处理秘密图像，考虑基于语义加权的图像信息隐藏方法。

发明内容

本发明为解决上述问题，结合自动编码器，提供了一种基于语义加权的图像信息隐藏方法，根据秘密图像语义重要性对提取出的秘密图像特征作语义裁剪，再将裁剪后的秘密图像特征嵌入与秘密图像同等大小的载体图像中生成载密图像，在保障重建秘密图像质量的前提下，减小嵌入秘密图像对载体图像感知特性的影响，实现了较大的负载量和更好的隐藏效果，提升信息隐藏的安全性。

具体步骤包括：

步骤一、构建图像信息隐藏系统模型；

系统模型包括发送端和接收端。

整个系统的处理过程如下：1)发送端随机选择载体图像和秘密图像，对秘密图像进行特征提取和语义重要性分析，生成表示秘密图像不同区域语义重要程度的语义重要性图，再根据语义重要性图裁剪秘密图像特征，仅保留影响接收端重建秘密图像质量的关键特征；2)发送端将语义加权，即语义裁剪后的秘密图像特征与载体图像进行通道上的连接，利用深度神经网络实现深度融合与嵌入，并生成与载体图像有相近感知特性的载密图像，通过公开信道将载密图像传输到接收端；3)接收端接收载密图像，利用深度神经网络从中提取出秘密图像特征，恢复得到重建秘密图像。

该系统的主要评价指标包括载体图像和载密图像的感知特性相似程度，以及秘密图像和重建秘密图像的感知特性程度。

步骤二、构建基于语义加权的图像信息隐藏方法的网络模型；

网络模型包括语义预处理网络、隐藏网络和解密网络。其中，发送端利用语义预处理网络和隐藏网络实现秘密图像到载体图像的嵌入，生成载密图像，接收端利用解密网络从载密图像中恢复得到重建秘密图像。详细的网络模型建模步骤如下：

步骤201、构建语义预处理网络模型；

语义预处理网络的目的如下：1)放大或缩小秘密图像，保障其与载体图像具有同等大小，在本发明中，秘密图像和载体图像大小均以64×64×3为例，其中64分别表示图像宽与高的像素数，3表示图像的RGB通道数；2)提取秘密图像特征；3)生成表示秘密图像不同区域语义重要程度的语义重要性图，根据语义重要性图裁剪秘密图像特征，用于与载体图像进行通道上的连接并嵌入。

其网络模型包括特征提取模块、语义重要性分析模块和特征裁剪模块。

特征提取模块以大小为64×64×3的秘密图像为输入，输出64×64×65的秘密图像特征，网络结构由两个卷积模块(Conv Block)构成。Conv Block是多尺度特征融合网络，通过多个不同卷积核提取图像不同尺度的特征，再进行特征融合。具体选取得卷积核大小分别为3×3、4×4和5×5，卷积核通道数分别为50、10和5，卷积步长均为1，激活函数均为ReLU函数，在完成此三个尺度得特征提取后，将提取出的特征在通道维度连接起来。

语义重要性分析模块以特征提取模块输出的大小为64×64×65的秘密图像特征为输入，输出大小为64×64×1的秘密图像语义重要性图。网络结构由两个Conv Block和一个卷积层构成，该卷积层的卷积核大小为3×3，卷积核通道数和卷积步长均为1，激活函数为Sigmoid函数。先通过Conv Block分析秘密图像每个像素点的语义信息，再由卷积层计算每个像素点的语义重要程度，并由Sigmoid函数映射为0到1之间的值，得到秘密图像的语义重要性图。在某像素点处的语义重要性图值越大，表示该像素点越重要，需要保留并嵌入到载体图像以便于重建的特征通道数越多。

特征裁剪模块以特征提取模块输出的大小为64×64×65的秘密图像特征和语义重要性分析模块输出的大小为64×64×1的秘密图像语义重要性图为输入，输出大小为64×64×65经过语义加权裁剪后的秘密图像特征。此模块由掩码生成和点乘裁剪构成，先由秘密图像语义重要性图生成与秘密图像特征同大小的语义重要性掩码，再将此掩码和秘密图像特征进行点乘，保留重建秘密图像需要的关键特征，裁剪冗余特征，即将该特征值置为0，以此保障在取得很好重建秘密图像效果的同时，减小嵌入秘密图像特征对载体图像感知特性的影响。

假设特征提取模块输出的秘密图像特征为F(W,H,C)，语义重要性分析模块输出的秘密图像语义重要性图为M(W,H,1)，则特征裁剪模块输出的秘密图像特征各特征值应表示为：

其中，W和H分别表示图像或特征的宽与高，C表示特征的通道数，F′表示经过特征裁剪模块语义加权裁剪后的秘密图像特征，(w,h,c)表示特征图中某位置，w＝1,...,W，h＝1,...H，c＝1,...,C。

具体地，掩码生成首先需对语义重要性图做量化近似，分为L个量化等级：

其中，Q表示量化操作，l表示某量化等级，l＝1,...,L。

掩码生成再将语义重要性图M(W,H,1)拓展为与秘密图像特征同大小的语义重要性掩码M′(W,H,C)，语义重要性掩码每个位置取值为0或1，0表示该位置对应的秘密图像特征点需要裁剪，1表示该位置对应的秘密图像特征点需要保留。某像素点的语义重要性图权重越大，该像素点的语义重要性掩码取值为1的通道数越多，保留并嵌入到载体图像的秘密图像特征越多。语义重要性掩码各位置取值可表示为：

点乘裁剪将语义重要性掩码与秘密图像特征进行点乘，实现语义加权，保留影响重建秘密图像效果的关键特征，舍弃冗余特征，得到裁剪后秘密图像特征各特征值可表示为：

F′(w,h,c)＝F(w,h,c)*M(w,h,c)

步骤202、构建隐藏网络模型；

隐藏网络的目的是实现秘密图像特征和载体图像的嵌入与深度融合，生成与载体图像具有相似感知特性的载密图像，用于在公开信道传输，并避免被第三方察觉、窃取与攻击。由于人类感官系统对图像高频或纹理和内容复杂区域的细微改变不敏感，隐藏网络负责分析确定这部分区域，并嵌入秘密图像特征。

隐藏网络首先需要将语义预处理网络输出的大小为64×64×65的语义加权裁剪后的秘密图像特征以及大小为64×64×3的载体图像在通道上进行连接，得到大小为64×64×68的秘密图像和载体图像初步联合，再以此为输入，输出大小为64×64×3的载密图像。其网络模型的结构由五个Conv Block和一个卷积层构成，该卷积层的卷积核大小为3×3，卷积核通道数为3，卷积步长为1，激活函数为Tanh函数。先通过Conv Block确定载体图像中适合嵌入秘密图像特征的区域并实现两者的深度融合，再通过Tanh函数将融合结果映射为-1到1之间的值，得到载密图像。

步骤203、构建解密网络模型；

解密网络的目的是对接收到的载密图像进行处理，从中提取嵌入的秘密图像特征，并恢复重建秘密图像。恢复出的重建秘密图像应与发送方原始秘密图像有相似感知特性，以便接收方利用该秘密图像进行后续任务，实现信息隐藏本的通信功能。

解密网络以接收到大小为64×64×3的载密图像为输入，输出大小为64×64×3的重建秘密图像。其网络结构由五个Conv Block和一个卷积层构成，该卷积层的卷积核大小为3×3，卷积核通道数为3，卷积步长为1，激活函数为Tanh函数。先通过Conv Block分析载密图像特征，从中提取出嵌入的经过语义加权裁剪后的秘密图像特征并进行填充与恢复，再通过Tanh函数将提取结果映射为-1到1之间的值，得到载密图像。

确定载体图像中适合嵌入秘密图像特征的区域并实现两者的深度融合，再通过Tanh函数将融合结果映射为-1到1之间的值，得到重建秘密图像。

步骤三、构建基于语义加权的图像信息隐藏方法的反向梯度传播模型；

实现图像信息隐藏需要端到端训练网络模型，网络模型的训练需要反向梯度传播不断迭代。网络模型中隐藏网络和解密网络都可以实现反向梯度传播，但因为语义预处理网络的掩码生成模块中量化和语义重要性图通道拓展不可导，导致反向梯度传播中断，在此模块之前的梯度处处为零，无法迭代。为解决此问题，将掩码生成重新表示为：

其中，

掩码生成的反向梯度可表示为：

注意在前向传播中仍然采用未重新表示的方式，此重新表示仅用于反向梯度传播中。由此，网络模型处处可导，反向梯度可完成传输，能够进行端到端训练。

步骤四、构建损失函数模型；

网络模型训练依靠损失函数模型，需要考虑载体图像和载密图像的感知特性相似程度，以及秘密图像和重建秘密图像的感知特性程度。载体图像和载密图像的感知特性相似程度决定信息隐藏效果和安全性，相似程度越高，安全性越好，隐藏效果越好。秘密图像和重建秘密图像的感知特性程度决定通信功能实现程度，相似程度越高，秘密图像传输效果越好，接收端后续任务处理精度越高。如果只考虑一方，则网络会愈加倾向于保证此感知特性相似程度，而忽略另一方，极端情况下生成的载密图像可能不包含秘密图像，导致通信失败，也可能仅包含秘密图像，导致第三方察觉、窃取与攻击。

因此，损失函数模型包含两部分，以两张图像的均方误差(Mean Square Error，MSE)衡量其感知特性相似程度，MSE越小，相似程度越高。MSE计算公式如下：

其中，x和y分别表示待比较感知特性相似程度的两张图像。

假设C和C′分别表示载体图像和载密图像，S和S′分别表示秘密图像和重建秘密图像，则损失函数可表示为：

Loss(C,C′,S,S′)＝Loss_C+β*Loss_S＝MSE(C,C′)+β*MSE(S,S′)

其中，Loss_C和Loss_S分别表示载体图像和载密图像相似程度的损失函数，以及秘密图像和重建秘密图像相似程度的损失函数，β表示两者权重，用于权衡载密图像和重建秘密图像质量。β越大，表示重建秘密图像质量越关键。

步骤五、在基于语义加权的图像信息隐藏方法的网络模型和损失函数模型的基础上，构建深度神经网络训练模型；

步骤501、构建数据集；

选用Tiny-ImageNet数据集。该数据集共有200个图像类，每个图像类有500张训练图像、50张验证图像以及50张测试图像，是目前计算机视觉领域最常用的数据集之一。

为保障网络模型有合理且统一的输入，首先将所有图像都随机裁剪成64×64×3大小，再将RGB通道0到255的取值范围映射为0到1的取值范围，对图像进行标准化，使其符合均值为0且标准差为1的标准正态分布，加快网络模型收敛速度。标准化可表示为：

其中，x表示图像数据，μ

从处理后的Tiny-ImageNet数据集中随机选取10000张训练图像作为训练集，将训练集均分为两组，组成秘密图像-载体图像对，从而进行网络模型的训练。

步骤502、设置超参数；

基于UBUNTU操作系统和NVIDIA GTX1080显卡搭建训练环境，利用PyTorch框架实现网络模型，其主要超参数设置如下：1)批尺寸(Batch Size)设置为64，训练轮数(Epoch)设置为300；2)语义预处理网络、隐藏网络和解密网络均使用Adam优化器进行优化，学习率设置为0.001；3)语义重要性图量化等级L设置为13；4)损失函数权重β设置为0.75、1和1.25。

步骤六、在基于语义加权的图像信息隐藏方法的网络模型和训练模型的基础上，构建深度神经网络测试与系统性能评估模型；

步骤601、构建网络测试模型；

利用处理后的Tiny-ImageNet数据集10000张测试图像作为测试集，将测试集均分为两组，组成秘密图像-载体图像对，从而进行网络模型的测试。测试模型超参数与训练时相同。

步骤602、构建系统性能评估模型；

图像信息隐藏系统性能包括载体图像负载量，载体图像和载密图像的感知特性相似程度，以及秘密图像和重建秘密图像的感知特性程度。

载体图像负载量有客观性能指标绝对嵌入容量与相对嵌入容量。绝对嵌入容量指载体图像含有秘密图像的字节数，相对嵌入容量指载体图像平均每像素含有的秘密图像字节数。

两张图像感知特性相似程度有客观性能指标平均每像素偏差(Average PixelDeviation，APD)、平均每像素平方偏差(Average Pixel Square Deviation，APSD)、峰值信噪比(Peak Signal to Noise Ratio，PSNR)和结构相似度指标(Structural SimilarityIndex，SSIM)。

APD指两张图像平均每像素每RGB通道值偏差，APSD指两张图像平均每像素每RGB通道值偏差平方。APD和APSD值越小，两张图像感知特性相似程度越高。

PSNR指信号最大功率与信号噪声功率之比，嵌入载体图像的秘密图像可视为影响载体图像质量的噪声，秘密图像嵌入的载体图像可视为影响秘密图像质量的噪声。PSNR值越大，两张图像感知特性相似程度越高，其计算公式如下：

其中，n表示每像素比特数。

SSIM从亮度、对比度和结构三个方面比较衡量图像不同区域间的相关性。SSIM值越大，两张图像感知特性相似程度越高，其计算公式如下：

SSIM(x,y)＝[l(x,y)

其中，x和y分别表示两张图像，l(x,y)表示亮度比较，c(x,y)表示对比度比较，s(x,y)表示结构比较，μ

两张图像感知特性相似程度有主观性能指标两图像残差和直方图统计特征对比。两图像残差评估是否存在色差与伪影等，残差越小，视觉效果越好。直方图统计特征评估抗第三方隐写分析能力，直方图统计特征越接近，抗隐写分析能力越好。

本发明的优点在于：

(1)一种基于语义加权的图像信息隐藏方法，网络模型包括语义预处理网络、隐藏网络和解密网络，在保障重建秘密图像质量的前提下，实现了较大的负载量和更好的隐藏效果，提升信息隐藏的安全性；

(2)一种从高级特征级别处理秘密图像的语义预处理网络，不同于仅从低阶像素级别处理的现有方法，该网络考虑秘密图像局部语义重要性变化，对于纹理和内容复杂的区域保留更多特征以便重建，对于纹理和内容简单的区域裁剪冗余特征，避免嵌入对载体图像质量的影响；

(3)一种基于语义加权的图像信息隐藏方法，考虑载体图像和载密图像的感知特性相似程度，以及秘密图像和重建秘密图像的感知特性程度构建损失函数，并通过Tiny-ImageNet数据集进行训练与测试，提供多种客观与主观指标评估系统性能。

附图说明

图1为本发明构建的图像信息隐藏系统模型示意图；

图2为本发明构建的基于语义加权的图像信息隐藏方法网络模型示意图；

图3为本发明构建网络模型中卷积模块的网络结构示意图；

图4为本发明损失函数权重β取值为1时训练轮数收敛性能与收敛结果图；

图5为本发明损失函数权重β取值为1时隐藏及重建效果和训练轮数性能与结果图；

图6为本发明损失函数权重β取值为1时载体图像与载密图像，以及秘密图像与重建秘密图像的残差；

图7为本发明损失函数权重β取值为1时载体图像与载密图像，以及秘密图像与重建秘密图像的直方图统计特征对比。

具体实施方式

为了能够更加清楚地理解本发明的技术原理，下面结合附图，具体、详细地阐述本发明实施例。

一种基于语义加权的图像信息隐藏方法(A Semantic-Based ImageSteganography Method)应用于图像信息隐藏系统中，包括发送端和接收端。发送端将秘密图像嵌入载体图像中，通过传输载密图像，将秘密图像传输到接收端，避免引起第三方察觉，接收端从接收到的载密图像中恢复重建秘密图像，以进行后续任务。现有方法难以同时满足海量的秘密图像高效传输需求和面对强大第三方隐写分析技术的安全传输需求，仅从低阶像素级别处理秘密图像，未考虑秘密图像的局部语义重要性变化，将所有秘密图像特征均嵌入载体图像中。本发明从高阶特征级别处理秘密图像，考虑秘密图像的局部语义重要性，纹理和内容复杂的区域保留更多特征以便重建，纹理和内容简单的区域裁剪冗余特征以避免对载体图像的影响。

根据上述方法思路，本发明面临的挑战包括：1)不同图像不同区域的语义重要性不同，需要考虑合理与通用的图像语义重要性提取方法，并设计根据局部语义重要性变化保留和裁剪特征的具体实现；2)由于网络模型的端到端训练依靠处处可导的条件，在不可导的情况下，梯度无法进行反向传播，为防止训练失败，对于不可导的操作需要设计反向梯度传播模型。

整体流程包括构建图像信息隐藏系统模型，构建基于语义加权的图像信息隐藏方法的网络模型，构建反向梯度传播模型，构建损失函数模型，依据网络模型和损失函数进行训练，依据网络模型和训练结果进行测试六个步骤。其中，构建基于语义加权的图像信息隐藏方法的网络模型包括构建语义预处理网络模型、构建隐藏网络模型和构建解密网络模型，依据网络模型和损失函数进行训练包括构建数据集和设置超参数，依据网络模型和训练结果进行测试包括构建测试机和构建系统性能评估模型。

具体步骤包括：

步骤一、构建图像信息隐藏系统模型；

如图1所示，系统模型包括发送端和接收端。

整个系统的处理过程如下：1)发送端随机选择载体图像和秘密图像，对秘密图像进行特征提取和语义重要性分析，生成表示秘密图像不同区域语义重要程度的语义重要性图，再根据语义重要性图裁剪秘密图像特征，仅保留影响接收端重建秘密图像质量的关键特征；2)发送端将语义加权，即语义裁剪后的秘密图像特征与载体图像进行通道上的连接，利用深度神经网络实现深度融合与嵌入，并生成与载体图像有相近感知特性的载密图像，通过公开信道将载密图像传输到接收端；3)接收端接收载密图像，利用深度神经网络从中提取出秘密图像特征，恢复得到重建秘密图像。

该系统的主要评价指标包括载体图像和载密图像的感知特性相似程度，以及秘密图像和重建秘密图像的感知特性程度。

步骤二、构建基于语义加权的图像信息隐藏方法的网络模型；

如图2所示，网络模型包括语义预处理网络、隐藏网络和解密网络。其中，发送端利用语义预处理网络和隐藏网络实现秘密图像到载体图像的嵌入，生成载密图像，接收端利用解密网络从载密图像中恢复得到重建秘密图像。详细的网络模型建模步骤如下：

步骤201、构建语义预处理网络模型；

语义预处理网络的目的如下：1)放大或缩小秘密图像，保障其与载体图像具有同等大小，在本发明中，秘密图像和载体图像大小均以64×64×3为例，其中64分别表示图像宽与高的像素数，3表示图像的RGB通道数；2)提取秘密图像特征；3)生成表示秘密图像不同区域语义重要程度的语义重要性图，根据语义重要性图裁剪秘密图像特征，用于与载体图像进行通道上的连接并嵌入。

其网络模型包括特征提取模块、语义重要性分析模块和特征裁剪模块。

特征提取模块以大小为64×64×3的秘密图像为输入，输出64×64×65的秘密图像特征，网络结构由两个卷积模块(Conv Block)构成。如图3所示，Conv Block是多尺度特征融合网络，通过多个不同卷积核提取图像不同尺度的特征，再进行特征融合。具体选取得卷积核大小分别为3×3、4×4和5×5，卷积核通道数分别为50、10和5，卷积步长均为1，激活函数均为ReLU函数，在完成此三个尺度得特征提取后，将提取出的特征在通道维度连接起来。

语义重要性分析模块以特征提取模块输出的大小为64×64×65的秘密图像特征为输入，输出大小为64×64×1的秘密图像语义重要性图。网络结构由两个Conv Block和一个卷积层构成，该卷积层的卷积核大小为3×3，卷积核通道数和卷积步长均为1，激活函数为Sigmoid函数。先通过Conv Block分析秘密图像每个像素点的语义信息，再由卷积层计算每个像素点的语义重要程度，并由Sigmoid函数映射为0到1之间的值，得到秘密图像的语义重要性图。在某像素点处的语义重要性图值越大，表示该像素点越重要，需要保留并嵌入到载体图像以便于重建的特征通道数越多。

特征裁剪模块以特征提取模块输出的大小为64×64×65的秘密图像特征和语义重要性分析模块输出的大小为64×64×1的秘密图像语义重要性图为输入，输出大小为64×64×65经过语义加权裁剪后的秘密图像特征。此模块由掩码生成和点乘裁剪构成，先由秘密图像语义重要性图生成与秘密图像特征同大小的语义重要性掩码，再将此掩码和秘密图像特征进行点乘，保留重建秘密图像需要的关键特征，裁剪冗余特征，即将该特征值置为0，以此保障在取得很好重建秘密图像效果的同时，减小嵌入秘密图像特征对载体图像感知特性的影响。

假设特征提取模块输出的秘密图像特征为F(W,H,C)，语义重要性分析模块输出的秘密图像语义重要性图为M(W,H,1)，则特征裁剪模块输出的秘密图像特征各特征值应表示为：

其中，W和H分别表示图像或特征的宽与高，C表示特征的通道数，F′表示经过特征裁剪模块语义加权裁剪后的秘密图像特征，(w,h,c)表示特征图中某位置，w＝1,...,W，h＝1,...H，c＝1,...,C。

具体地，掩码生成首先需对语义重要性图做量化近似，分为L个量化等级：

其中，Q表示量化操作，l表示某量化等级，l＝1,...,L。

掩码生成再将语义重要性图M(W,H,1)拓展为与秘密图像特征同大小的语义重要性掩码M′(W,H,C)，语义重要性掩码每个位置取值为0或1，0表示该位置对应的秘密图像特征点需要裁剪，1表示该位置对应的秘密图像特征点需要保留。某像素点的语义重要性图权重越大，该像素点的语义重要性掩码取值为1的通道数越多，保留并嵌入到载体图像的秘密图像特征越多。语义重要性掩码各位置取值可表示为：

点乘裁剪将语义重要性掩码与秘密图像特征进行点乘，实现语义加权，保留影响重建秘密图像效果的关键特征，舍弃冗余特征，得到裁剪后秘密图像特征各特征值可表示为：

F′(w,h,c)＝F(w,h,c)*M(w,h,c)

步骤202、构建隐藏网络模型；

隐藏网络的目的是实现秘密图像特征和载体图像的嵌入与深度融合，生成与载体图像具有相似感知特性的载密图像，用于在公开信道传输，并避免被第三方察觉、窃取与攻击。由于人类感官系统对图像高频或纹理和内容复杂区域的细微改变不敏感，隐藏网络负责分析确定这部分区域，并嵌入秘密图像特征。

隐藏网络首先需要将语义预处理网络输出的大小为64×64×65的语义加权裁剪后的秘密图像特征以及大小为64×64×3的载体图像在通道上进行连接，得到大小为64×64×68的秘密图像和载体图像初步联合，再以此为输入，输出大小为64×64×3的载密图像。其网络模型的结构由五个Conv Block和一个卷积层构成，该卷积层的卷积核大小为3×3，卷积核通道数为3，卷积步长为1，激活函数为Tanh函数。先通过Conv Block确定载体图像中适合嵌入秘密图像特征的区域并实现两者的深度融合，再通过Tanh函数将融合结果映射为-1到1之间的值，得到载密图像。

步骤203、构建解密网络模型；

解密网络的目的是对接收到的载密图像进行处理，从中提取嵌入的秘密图像特征，并恢复重建秘密图像。恢复出的重建秘密图像应与发送方原始秘密图像有相似感知特性，以便接收方利用该秘密图像进行后续任务，实现信息隐藏本的通信功能。

解密网络以接收到大小为64×64×3的载密图像为输入，输出大小为64×64×3的重建秘密图像。其网络结构由五个Conv Block和一个卷积层构成，该卷积层的卷积核大小为3×3，卷积核通道数为3，卷积步长为1，激活函数为Tanh函数。先通过Conv Block分析载密图像特征，从中提取出嵌入的经过语义加权裁剪后的秘密图像特征并进行填充与恢复，再通过Tanh函数将提取结果映射为-1到1之间的值，得到重建秘密图像。

步骤三、构建基于语义加权的图像信息隐藏方法的反向梯度传播模型；

实现图像信息隐藏需要端到端训练网络模型，网络模型的训练需要反向梯度传播不断迭代。网络模型中隐藏网络和解密网络都可以实现反向梯度传播，但因为语义预处理网络的掩码生成模块中量化和语义重要性图通道拓展不可导，导致反向梯度传播中断，在此模块之前的梯度处处为零，无法迭代。为解决此问题，将掩码生成重新表示为：

其中，

掩码生成的反向梯度可表示为：

注意在前向传播中仍然采用未重新表示的方式，此重新表示仅用于反向梯度传播中。由此，网络模型处处可导，反向梯度可完成传输，能够进行端到端训练。

步骤四、构建损失函数模型；

网络模型训练依靠损失函数模型，需要考虑载体图像和载密图像的感知特性相似程度，以及秘密图像和重建秘密图像的感知特性程度。载体图像和载密图像的感知特性相似程度决定信息隐藏效果和安全性，相似程度越高，安全性越好，隐藏效果越好。秘密图像和重建秘密图像的感知特性程度决定通信功能实现程度，相似程度越高，秘密图像传输效果越好，接收端后续任务处理精度越高。如果只考虑一方，则网络会愈加倾向于保证此感知特性相似程度，而忽略另一方，极端情况下生成的载密图像可能不包含秘密图像，导致通信失败，也可能仅包含秘密图像，导致第三方察觉、窃取与攻击。

因此，损失函数模型包含两部分，以两张图像的均方误差(Mean Square Error，MSE)衡量其感知特性相似程度，MSE越小，相似程度越高。MSE计算公式如下：

其中，x和y分别表示待比较感知特性相似程度的两张图像。

假设C和C′分别表示载体图像和载密图像，S和S′分别表示秘密图像和重建秘密图像，则损失函数可表示为：

Loss(C,C′,S,S′)＝Loss_C+β*Loss_S＝MSE(C,C′)+β*MSE(S,S′)

其中，Loss_C和Loss_S分别表示载体图像和载密图像相似程度的损失函数，以及秘密图像和重建秘密图像相似程度的损失函数，β表示两者权重，用于权衡载密图像和重建秘密图像质量。β越大，表示重建秘密图像质量越关键。

步骤五、在基于语义加权的图像信息隐藏方法的网络模型和损失函数模型的基础上，构建深度神经网络训练模型；

步骤501、构建数据集；

选用Tiny-ImageNet数据集。该数据集共有200个图像类，每个图像类有500张训练图像、50张验证图像以及50张测试图像，是目前计算机视觉领域最常用的数据集之一。

为保障网络模型有合理且统一的输入，首先将所有图像都随机裁剪成64×64×3大小，再将RGB通道0到255的取值范围映射为0到1的取值范围，对图像进行标准化，使其符合均值为0且标准差为1的标准正态分布，加快网络模型收敛速度。标准化可表示为：

其中，x表示图像数据，μ

从处理后的Tiny-ImageNet数据集中随机选取10000张训练图像作为训练集，将训练集均分为两组，组成秘密图像-载体图像对，从而进行网络模型的训练。

步骤502、设置超参数；

基于UBUNTU操作系统和NVIDIA GTX1080显卡搭建训练环境，利用PyTorch框架实现网络模型，其主要超参数设置如下：1)批尺寸(Batch Size)设置为64，训练轮数(Epoch)设置为300；2)语义预处理网络、隐藏网络和解密网络均使用Adam优化器进行优化，学习率设置为0.001；3)语义重要性图量化等级L设置为13；4)损失函数权重β设置为0.75、1和1.25。

步骤六、在基于语义加权的图像信息隐藏方法的网络模型和训练模型的基础上，构建深度神经网络测试与系统性能评估模型；

步骤601、构建网络测试模型；

利用处理后的Tiny-ImageNet数据集10000张测试图像作为测试集，将测试集均分为两组，组成秘密图像-载体图像对，从而进行网络模型的测试。测试模型超参数与训练时相同。

步骤602、构建系统性能评估模型；

图像信息隐藏系统性能包括载体图像负载量，载体图像和载密图像的感知特性相似程度，以及秘密图像和重建秘密图像的感知特性程度。

载体图像负载量有客观性能指标绝对嵌入容量与相对嵌入容量。绝对嵌入容量指载体图像含有秘密图像的字节数，相对嵌入容量指载体图像平均每像素含有的秘密图像字节数。

两张图像感知特性相似程度有客观性能指标平均每像素偏差(Average PixelDeviation，APD)、平均每像素平方偏差(Average Pixel Square Deviation，APSD)、峰值信噪比(Peak Signal to Noise Ratio，PSNR)和结构相似度指标(Structural SimilarityIndex，SSIM)。

APD指两张图像平均每像素每RGB通道值偏差，APSD指两张图像平均每像素每RGB通道值偏差平方。APD和APSD值越小，两张图像感知特性相似程度越高。

PSNR指信号最大功率与信号噪声功率之比，嵌入载体图像的秘密图像可视为影响载体图像质量的噪声，秘密图像嵌入的载体图像可视为影响秘密图像质量的噪声。PSNR值越大，两张图像感知特性相似程度越高，其计算公式如下：

其中，n表示每像素比特数。

SSIM从亮度、对比度和结构三个方面比较衡量图像不同区域间的相关性。SSIM值越大，两张图像感知特性相似程度越高，其计算公式如下：

SSIM(x,y)＝[l(x,y)

其中，x和y分别表示两张图像，l(x,y)表示亮度比较，c(x,y)表示对比度比较，s(x,y)表示结构比较，μ

两张图像感知特性相似程度有主观性能指标两图像残差和直方图统计特征对比。两图像残差评估是否存在色差与伪影等，残差越小，视觉效果越好。直方图统计特征评估抗第三方隐写分析能力，直方图统计特征越接近，抗隐写分析能力越好。

以损失函数权重β取值1为例，训练轮数(Epoch)收敛性能与收敛结果如图4所示。网络模型的损失函数值随训练轮数增加而减小，约在150个Epoch后达到收敛。

以损失函数权重β取值1为例，隐藏及重建效果和训练轮数性能与结果如图5所示。网络模型的损失函数值随训练轮数增加而减小，约在150个Epoch后达到收敛。其中，(a)的网络模型仅初始化，未进行训练，生成载密图像和重建秘密图像均为空；(b)网络模型经过1个Epoch的训练，生成载密图像和重建秘密图像初见雏形；(c)网络模型经过20个Epoch的训练，生成载密图像和重建秘密图像已有较好的效果，但载密图像中隐约可见秘密图像，秘密图像和重建秘密图像存在明显色差，细节丢失；(d)网络模型训练完成，载体图像与载密图像、秘密图像与重建秘密图像高度相似，从视觉效果上已察觉不出区别，实现图像信息隐藏功能。

本发明目的是在保障重建秘密图像质量的前提下，减小嵌入秘密图像对载体图像感知特性的影响，实现了较大的负载量和更好的隐藏效果，提升信息隐藏的安全性。为体现本发明优点，从载体图像负载量、载体图像与载密图像感知特性相似程度、秘密图像与重建秘密图像感知特性相似程度三方面与未考虑语义加权的现有图像信息隐藏方法进行客观性能指标对比。

本发明将大小为64×64×3的秘密图像嵌入大小为64×64×3的载体图像中，绝对嵌入容量为12288字节，相对嵌入容量为1字节每像素每通道，与未考虑语义加权的现有基于自动编码器的图像信息隐藏方法相同，优于基于生成对抗网络的图像信息隐藏方法，具有较大的载体图像负载量。

本发明与未考虑语义加权的现有图像信息隐藏方法在图像感知特性相似程度客观比较结果如表1所示，其中β表示损失函数权重。随着β取值的减小，载体图像与载密图像感知特性相似程度在损失函数中占比越大，网络模型越倾向于生成隐藏效果更好的载密图像，信息隐藏越安全。相较于未考虑语义加权的现有图像信息隐藏方法，本发明生成的载密图像在所有β取值和所有客观性能指标上都有更好的质量，与载体图像感知特性相似程度更高。当β取值为0.75和1.25时，本发明生成的重建秘密图像质量在所有客观性能坐标上优于未考虑语义加权的现有图像信息隐藏方法。

为直观体现本发明效果，从载体图像与载密图像、秘密图像与重建秘密图像的残差，以及载体图像与载密图像、秘密图像与重建秘密图像的直方图统计特征对比两方面进行主观性能指标评估。

图6表示本发明载体图像与载密图像、秘密图像与重建秘密图像的残差，自左向右分别载体图像、载密图像、载体图像与载密图像残差、载体图像与载密图像残差放大五倍、秘密图像、重建秘密图像、秘密图像与重建秘密图像残差和秘密图像与重建秘密图像残差放大五倍。载体图像与载密图像、秘密图像与重建秘密图像视觉效果相近，色差较小，载体图像与载密图像的残差与秘密图像无关，秘密图像与重建秘密图像随机分布于所有像素点。

图7表示本发明载体图像与载密图像、秘密图像与重建秘密图像的直方图统计特性对比，自左向右分别载体图像、载密图像、载体图像直方图统计特性、载密图像直方图统计特性、秘密图像、重建秘密图像、秘密图像直方图统计特性和重建秘密图像直方图统计特性。载体图像和载密图像直方图统计特性、秘密图像和重建秘密图像直方图统计特性相似，差异均匀分布于所有RGB通道，由此本发明具备抵御第三方隐写分析的能力。

表1

综上所述，通过实施本发明一种基于语义加权的图像信息隐藏方法，可以在保障重建秘密图像质量的前提下，减小嵌入秘密图像对载体图像感知特性的影响，实现了较大的负载量和更好的隐藏效果，提升信息隐藏的安全性，解决海量的秘密信息安全传输需求，并应对强大的第三方隐写分析技术。相较于仅从低阶像素级别处理、未考虑语义加权的现有图像信息隐藏方法，本发明根据秘密图像局部语义重要性变化，从高阶特征级别处理秘密图像特征，对于纹理和内容复杂的区域保留更多特征以便重建，对于纹理和内容简单的区域裁剪冗余特征避免影响载体图像的感知特性。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，例如更改网络模型基础结构，将卷积模块替换为U-Net、稠密网络等其他网络结构，或者将本发明语义预处理网络应用于视频或文本信息隐藏中，这些改进和润饰也视为本发明的保护范围。