一种基于教师模型和渐进式训练的工控信息对抗图像隐写术

技术领域

本发明涉及计算机视觉与图像处理领域，特别是涉及一种基于教师模型和渐进式训练的工控信息对抗图像隐写术。

背景技术

工业控制系统由原始的封闭独立走向开放、由单机走向互联、由自动化走向智能化。也正因如此，在工业企业获得巨大发展的环境背景下，也滋生了大量安全隐患。随着越来越多的工业控制系统与互联网连接，传统相对封闭的工业生产环境被打破，工业设备、数据库等存在的端口开放、漏洞未修复、接口未认证等安全问题。同时工业数据跨境流动安全风险也较为突出，多起跨境数据泄露敏感事情涉及钢铁、石油、天然气等众多行业，包括研发设计、生产制造参数等重要敏感数据。工业企业的数据由于高价值的特点促使工业企业成为黑客的主要攻击目标之一，尤其是能源、制造等领域的工业数据。

工控系统加密技术是保护工业控制系统免受网络威胁的方法之一，传统的工业控制系统在数据保护上选用加密算法和密钥管理，如AES和DES等加密标准，利用密钥进行加密和解密。密码学是一种将正常的、可识别的信息转变为无法识别的信息，但密码学存在容易被攻击、无法保证高可用性、由加密技术所导致的信息延迟等问题。而工业数据在传输过程中，工业数据实时性强，传统加密传输等安全技术难以胜任，数据传输面临泄露、监听等多重风险。隐写术是一种通过在不同媒体中隐藏人类视觉无法识别的信息从而保护秘密信息安全传输的技术，作为实现隐蔽通信的重要方法，是信息安全领域中一个热门的研究方向，应用于私人通信、军事、工业等常用的需要保护机密数据的场景。隐写术将秘密信息通过特定编码算法嵌入到载体(图像、文本、音频、视频等)中，再由信息接收方通过特定解码算法实现秘密信息的提取。

隐写术将秘密信息通过特定编码算法嵌入到载体(图像、文本、音频、视频等)中，再由信息接收方通过特定解码算法实现秘密信息的提取。传统隐写术可分为经典隐写算法和自适应隐写算法两种，经典隐写算法包括基于空域的最低有效位替换、随机调制隐写等和基于变换域的JSteg、OutGuess等算法。如最低有效位替换算法将秘密信息嵌入至自然图像的最低有效位中，该方法原理简单、嵌入成本低，但容易出现视觉伪影及“值对”效应。随机调制隐写将秘密信息调制成具有特定概率分布的噪声，并将经过调制后的噪声与载体图像进行叠加实现信息隐藏，提取时将载密图像和载体图像的差值(噪声值)通过解调解析出秘密信息。自适应隐写根据载体图像的纹理复杂度自适应的调节嵌入的信息容量，如STC编码等，自适应隐写算法相对于经典隐写算法具有较强的安全性及鲁棒性，但仍存在图像隐写质量不佳、统计特征改变过大等问题。

近年来，随着深度学习引入隐写分析领域，使得隐写分析的检测准确率快速提升且缩减了模型的训练时间，而传统的图像隐写方案无法抵抗基于深度学习的隐写分析检测。2014年由Goodfellow提出的生成对抗网络为图像隐写与深度学习网络结合提供了契机。Volkhonskiy等人提出SGAN，利用深度卷积生成对抗网络将随机噪声作为输入用于生成适合隐写的自然图像，但存在网络训练不稳定且生成的载体图像质量较差、语义混乱等问题。研究者们针对此提出了基于编码-解码网络的图像隐写方案，将信息(图像、文本、二进制数据等)与载体(图像、视频、音频等)通过神经网络进行融合，再通过神经网络进行信息提取或抽离。相对于其他隐写模式不需要先验知识，可以通过神经网络自动学习并实现秘密信息的融合和提取，能达到更大的隐写容量。Hayes等人提出的SteGAN隐写模型定义了编码、解码和隐写分析三方对抗游戏，为隐写领域开辟了新的研究方向，其隐写图像可以欺骗隐写分析网络。后续研究者们关注隐写图像的隐写质量、容量、安全性，对隐写任务采用对抗性训练提升隐写图像的安全性。但对抗性训练的隐写模型研究仍存在隐写图像质量不佳、信息提取精度降低等问题。

发明内容

本发明目的：为了构建隐写质量更优、解码准确率更高的图像隐写模型，利用课程学习算法实现加速多方网络的对抗性训练收敛及提升隐写图像的不可感知性，构建基于多个教师模型的难度评估算法和混合加强的渐进式训练策略实现课程学习算法优化模型训练。

为实现上述描述的方法，本发明提供一种基于教师模型和渐进式训练的工控信息对抗图像隐写术，该方法包括以下步骤：

Step1：获取工业控制系统所涉及的生产参数机密数据，将其通过ASCII码将其映射为二进制数据，再转化为张量，与自然图像在通道上进行拼接组成拼接图像。

Step2：单独训练多个不同级别的教师网络，将图像输入到教师网络下生成对应隐写图像，以多个教师模型生成的隐写图像质量一致性作为难度评估指标，将数据集划分为难度递增的训练子集；

Step3：将拼接图像输入编码网络生成载密图像，将载密图像输入解码网络和隐写分析网络，解码网络从中恢复机密信息，隐写分析网络生成隐写分析分数；

Step4：通过基于结构相似性指数、均方误差和二值交叉熵的复合损失函数，构建考虑原始图像和载密图像间的相似性、秘密信息的恢复准确率以及抵抗隐写分析检测概率的总体损失函数，并依据此对网络结构进行对抗训练；

Step5：初始选用简单子集开始训练模型，训练至模型性能快速进步与趋于平稳的曲折点处停止训练，加入难度递增的子集至训练集中，直至加入最困难子集后，模型在完整数据集上训练至收敛；

Step6：训练中期关注隐写质量反复振荡的图像，将其单独抽取组成加强子集，在训练的最后阶段进行模型微调。

在上述基于教师模型和渐进式训练的工控信息对抗图像隐写术中，Step1的实现包括以下步骤：

Step1.1.获取工业控制系统所需要加密的生产参数等数据，将其英文字符及数字依据标准ASCII码转化为二进制数组合；

Step1.2.将二进制数组合转化为与自然图像大小尺寸相同的多通道张量；

Step1.3.将机密数据张量与自然图像在通道上进行拼接，组成拼接图像。

在上述基于教师模型和渐进式训练的工控信息对抗图像隐写术中，Step2的实现包括以下步骤：

Step2.1.构建N个教师模型，采用完整的训练集分别训练C

Step2.2.将样本输入不同级别的教师模型网络，获得N张含密图像；

Step2.3.构建基于结构相似性指数、多尺度结构相似性指数和峰值信噪比的复合函数进行含密图像质量评估，得到样本在每个教师模型上生成的含密图像质量分数；

Step2.4.依据每个样本的含密图像质量分数将训练集分为简单、中等、困难子集，其中简单子集包含的样本在多个教师模型上表现良好且一致，分数均位于同一高分区间，困难子集包含的样本在多个教师模型下表现不一，且至少一个分数位于低分区间内。

在上述基于教师模型和渐进式训练的工控信息对抗图像隐写术中，Step3的实现包括以下步骤：

Step3.1.将Step2生成的含密图像输入解码网络，得到重构秘密信息，判断其与原始秘密信息的距离；

Step3.2.将Step2生成的含密图像输入隐写分析辅助网络，隐写分析网络输出该图像包含秘密信息的概率。

在上述基于教师模型和渐进式训练的工控信息对抗图像隐写术中，Step4的实现包括以下步骤：

Step4.1.计算基于图像像素值均值方差和多尺度结构相似性指数的复合损失函数：

L

其中L

Step4.2.构建考虑原始图像和含密图像间相似性以及秘密信息和重构信息差异性及隐写分析分数的总体损失函数：

L

其中，L

在上述基于教师模型和渐进式训练的工控信息对抗图像隐写术中，Step5的实现包括以下步骤：

Step5.1.训练第一阶段：模型初期在简单子集上进行训练，令模型训练至性能快速进步与趋于平稳收敛的曲折点，保存权重文件并停止训练，降低模型在小训练集上过拟合可能性，同时缩短训练时间加速收敛。

Step5.2.训练第二阶段：将中等子集加入训练集，令模型在此训练集上训练至模型性能快速进步与趋于平稳的曲折点。

Step5.3.训练第三阶段：将困难子集加入训练集，令模型在完整数据集上训练至收敛，使模型在前期的学习得到补偿。

在上述基于教师模型和渐进式训练的工控信息对抗图像隐写术中，Step6的实现包括以下步骤：

Step6.1.在模型训练的第二、第三阶段模型停止训练前10epoch内计算当前训练集上所有样本的隐写图像与原始图像的相似性损失，将隐写质量反复振荡的图像单独抽取组成加强子集。

Step6.2.训练第四阶段：令模型在加强子集上进行训练至收敛，提升模型的泛化能力及在困难子集上的隐写性能。

在上述基于教师模型和渐进式训练的工控信息对抗图像隐写术中，选择加强子集的过程中评估原始图像与含密图像的相似性损失选用结构相似性与峰值信噪比两个指标，当该图像与隐写图像的相似性同时满足结构相似性和峰值信噪比都较低时，被选择加入加强子集。

本发明有益效果：

1、本发明在编码-解码-隐写分析三方对抗网络的框架下，引入课程学习算法用于加速三方网络的对抗性训练收敛，构建基于多个教师模型的难度评估方法，模拟图像在不同的训练阶段所表现的性能一致性作为难度分数，构建难度递增的训练子集，降低人工对图像依据对象或纹理进行难度分类和打分的工作量。

2、本发明设计一个基于混合加强的渐进式训练调度策略，初始采用简单子集用于模型训练，给予模型一个好的初始化起点，逐渐加入难度递增的样本进行训练，提升了模型图像的不可感知性和模型的泛化能力；在训练前期令模型训练至性能快速进步与趋于平稳收敛的曲折点处，模型此时接近模型收敛时性能，降低模型在小数据集上过拟合可能性，同时大大缩短训练时间，加速模型训练进程，未得到充足学习的样本在后期模型在完整数据集上训练至收敛得到补偿和复习，提升了模型的泛化能力；在训练中后期关注隐写性能反复振荡的图像组成加强子集用于模型微调，提升了模型在中难度图像上的隐写性能。

3、本发明使用一个复合函数来指导图像训练，提高了原始图像和隐写图像在像素级、亮度、对比度和结构性上的相似度，提升了隐写图像的不可感知性；添加了解码和抗隐写分析检测误差项，提高了模型重构信息的准确率及模型的安全性。

附图说明

图1整体方法步骤图；

图2基于教师模型的难度评估方法；

图3难度分类结果；

图4模型网络结构；

图5基于混合加强的训练调度策略；

图6原始图像和隐写图像对比效果图；

图7直方图；

具体实施方式

本方法采用基于多个教师模型的难度评估方法实现对图像隐写数据集的难度评估，构建由易至难的训练子集。针对难度递增的训练子集，采用混合策略进行渐进式训练，初始使用简单子集，逐渐将难度递增的图像加入训练集；为降低模型在小数据集上过拟合可能性，前期令模型训练至性能快速进步与趋于平稳的曲折点；为提升模型在中难度图像上的隐写性能，在训练中后期关注隐写性能反复振荡的图像用于模型微调。

总的来说，这一过程可以用如图1所示：

Step1：获取工业控制系统所涉及的生产参数机密数据，将其通过ASCII码将其映射为二进制数据，再转化为张量，与自然图像在通道上进行拼接组成拼接图像。

Step2：单独训练多个不同级别的教师网络，将图像输入到教师网络下生成对应隐写图像，以多个教师模型生成的隐写图像质量一致性作为难度评估指标，将数据集划分为难度递增的训练子集；

Step3：将拼接图像输入编码网络生成载密图像，将载密图像输入解码网络和隐写分析网络，解码网络从中恢复机密信息，隐写分析网络生成隐写分析分数；

Step4：通过基于结构相似性指数、均方误差和二值交叉熵的复合损失函数，构建考虑原始图像和载密图像间的相似性、秘密信息的恢复准确率以及抵抗隐写分析检测概率的总体损失函数，并依据此对网络结构进行对抗训练；

Step5：初始选用简单子集开始训练模型，训练至模型性能快速进步与趋于平稳的曲折点处停止训练，加入难度递增的子集至训练集中，直至加入最困难子集后，模型在完整数据集上训练至收敛；

Step6：训练中期关注隐写质量反复振荡的图像，将其单独抽取组成加强子集，在训练的最后阶段进行模型微调。

首先，获取工业控制系统所需要加密的生产参数等数据，将其英文字符及数字依据标准ASCII码转化为二进制数组合，将二进制数组合转化为大小为D×W×H的多通道张量，将机密数据张量与自然图像在通道上进行拼接，组成拼接图像：

I

采用基于多个教师模型的难度评估方法将原始数据集进行处理，如图2，对原始图像进行分析，对图像进行难度评估。

采用完整训练集用于训练不同级别的教师模型，如教师模型T

其中是判断难度的阈值，当某个样本结构相似性指数和峰值信噪比同时高于阈值a

难度评估方法在各类图像上的分类结果如图3所示。将其分为简单、中等、困难三个训练子集。其中简单子集包含的图像在多个不同级别的教师模型上表现较好且一致，分数都位于同一高分区间内，反之，困难子集包含的图像在不同级别的教师模型上表现不一，且至少一个分数位于低分区间内。

采用简单子集开始训练，将拼接图像输入至以卷积神经网络为基础模型的编码网络EncoderNet(.)生成载密图像x′，表示如下：

x′＝EncoderNet(Cat(x，m))

将载密图像输入至解码网络，恢复机密信息，表示如下：

m′＝DncoderNet(x′)

将载密图像输入至隐写分析网络，得到隐写分析分数，表示如下：

s＝StelysisNet(x′)

通过以下步骤对上述三个子网络组成的模型进行整体训练，如图4所示：

Step1通过基于图像像素值均方误差和多尺度结构相似性构建的编码复合损失函数，构建了考虑原始图像和载密图像间相似性，表示如下：

L

其中L

Step2通过基于二值交叉熵构建解码损失函数，构建了考虑原始机密信息和重构机密信息的误差项，表示如下：

L

Step3通过基于载密图像的抗隐写分析检测分数与0和1的误差项，表示如下：

L

Step4进一步地，总体损失函数表示为：

L

其中，L

采用基于混合加强的渐进式训练调度策略及上述损失复合函数用于模型训练，如图5所示，具体步骤如下：

Step1模型在简单子集的图像上训练，依据上述所提复合损失函数进行参数更新，令模型训练至模型性能快速进步与趋于平稳收敛的曲折点处，保存权重文件并停止训练。在该点停止训练可以令模型大致掌握基础的数据结构知识的同时，降低模型在小数据集上过拟合可能性及缩短训练时间，给予模型一个好的初始化起点。

Step2将中等子集加入训练集，令模型在包含简单和中等图像的新训练集上开始训练，依据上述所提复合损失函数进行参数更新，令模型训练至模型性能快速进步与趋于平稳收敛的曲折点处，保存权重文件并停止训练；该阶段训练令模型从中等图像中学习到更具有辨识力和多元素的特征来提高图像隐写性能，同时对简单图像进行重新复习；在停止训练前10epoch内依据多个隐写指标计算每批次样本的隐写质量，表示如下：

SSIM

将隐写质量反复振荡的图像单独抽取组成加强子集。

Step3将困难子集加入训练集，令模型在完整数据集上开始训练，依据上述所提复合损失函数进行参数更新，令模型训练至完全收敛；在停止训练前10epoch依据多个隐写指标计算每批次样本的隐写质量，表示如下：

SSIM

将隐写质量反复振荡的图像单独抽取组成加强子集，并令模型训练至收敛。

Step4采用在Step2、Step3收集的加强子集用于模型微调，令模型在该加强子集上训练至收敛，提升其在困难图像上的隐写性能。

通过结构相似性指标和峰值信噪比计算载密图像和原始图像间相似度验证模型性能。如图6所示，为模型在不同类型图像上的隐写结果示例图，可以看到载密图像和原始图像相似度极高。我们验证了在原始图像和载密图像的直方图表现，结果如图7所示，可以观察到原始图像与载密图像的直方图差异很小，表明该模型不会破坏图像的视觉完整性。

以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。