基于数据分析的网络信息安全维护方法及系统

技术领域

本发明属于数据处理技术领域，具体是基于数据分析的网络信息安全维护方法及系统。

背景技术

基于数据分析的网络信息安全维护是一种利用数据分析技术来实现、分析和应对网络安全威胁的方法，旨在通过对大量网络日志、流量数据和安全事件数据进行深入分析，从中提取有用的信息和模式，识别潜在的威胁、行为异常和漏洞，快速采取相应措施进行防御。但是现有的基于数据分析的网络信息安全维护，存在难以从海量数据中收集异常数据，导致对网络中的异常行为发现不及时，造成安全事件损失严重的技术问题；存在网络安全系统学习和适应新的攻击方式较慢，无法进行快速响应，且占用太多内存的技术问题；存在网络特征提取不准确，入侵检测模型难以处理复杂的网络数据，检测能力较低的技术问题。

发明内容

针对上述情况，为克服现有技术的缺陷，本发明提供了基于数据分析的网络信息安全维护方法及系统，针对存在难以从海量数据中收集异常数据，导致对网络中的异常行为发现不及时，造成安全事件损失严重的技术问题，采用半监督式数据异常检测，适应不同规模的数据集，并有较强的扩展性和泛化能力，及时发现网络中的异常行为，减少损失；针对存在网络安全系统学习和适应新的攻击方式较慢，无法进行快速响应，且占用太多内存的技术问题，采用计算确定性函数，将数据逐渐映射到隐藏层，重建隐藏层数据，计算梯度和梯度平方的指数加权平均值，更新参数直至调整到最佳状态，获得更好的特征表示，挖掘数据中的潜在信息，更好的学习和适应新的攻击方式，进行快速响应；针对存在网络特征提取不准确，入侵检测模型难以处理复杂的网络数据，检测能力较低的技术问题，采用数字化处理、小批量模型训练、堆叠两个模型进行深度学习，增强特征提取和表示学习能力，加快模型的训练速度，处理复杂的网络数据，提高网络安全系统对潜在威胁和异常行为的检测能力。

本发明采取的技术方案如下：本发明提供的基于数据分析的网络信息安全维护方法，该方法包括以下步骤：

步骤S1：网络数据收集；

步骤S2：半监督式数据异常检测，进行数据增强，采用锐化函数调节类分布的温度实现熵最小化，减少过拟合，利用MixUp技术对标记数据和未标记数据进行混合，增强泛化能力，定义统一损失函数；

步骤S3：特征学习，计算确定性函数，将数据逐渐映射到隐藏层，并重建隐藏层数据，学习输入数据的特征，通过最小化重建误差优化参数，计算梯度和梯度平方的指数加权平均值，更新参数直至调整到最佳状态；

步骤S4：建立网络入侵检测模型，进行数字化处理、小批量模型训练和堆叠两个模型进行深度学习，训练网络入侵检测模型，并进行部署和维护，增强特征提取和表示学习能力，加快模型训练速度；

步骤S5：安全响应与管理。

进一步地，在步骤S1中，所述网络数据收集，具体为收集网络流量数据、日志数据、事件数据。

进一步地，在步骤S2中，所述数据异常检测，包括以下步骤：

步骤S21：进行数据增强，对标记数据和未标记数据分别进行数据增强，使具有不同增强的未标记样本生成相同的输出，更好的泛化到目标领域，提高鲁棒性；

步骤S22：计算平均预测概率分布，每个未标记的样本在数据增强后产生增强样本，增强样本被发送到同一分类器进行预测，生成不同的预测类别，计算未标记数据的平均预测概率分布，所用公式如下：

；

式中，

步骤S23：实现熵最小化，通过锐化函数调节分类分布的温度达到理想的决策边界，协调预测的平均化和一致性正则化，计算锐化函数值，所用公式如下：

；

式中，a表示第a个类别，L表示类别的总数，p是平均分类分布，Sharpen（p，T）

步骤S24：混合数据，用MixUp技术来混合标记数据和未标记数据，对于标记数据，MixUp充当正则化项，通过将两个标记数据点及其对应的标签进行线性插值生成一个新的训练样本和标签，这种插值过程增加训练数据的多样性，减轻过拟合问题，对于未标记的数据，MixUp作为一种额外的强数据增强技术丰富输入空间；

步骤S25：统一损失函数，保持一致性的同时，将预测熵降至最低，达到超过传统正则化技术的性能，所用公式如下：

L1=L

式中，L1是综合损失函数，L

进一步地，在步骤S3中，所述特征学习，包括以下步骤：

步骤S31：计算确定性函数，将输入向量逐渐映射到隐藏层，所用公式如下：

；

式中，h

步骤S32：定义激活函数，所用公式如下：

；

式中，r是输入的线性变换结果，e是自然常数的底数，激活函数σ（r）将输入的线性变换结果r映射到一个取值范围在0到1之间的非线性输出；

步骤S33：重建隐藏层数据，仅使用一次解码操作重建隐藏层数据，通过重建误差学习数据中的有用特征，计算重建的隐藏层数据，所用公式如下：

；

式中，

步骤S34：最小化重建误差，所用公式如下：

；

式中，L（θ）是参数θ下的重建误差，J是样本数，x

步骤S35：梯度优化，通过计算梯度的指数加权平均值和梯度平方的指数加权平均值，计算出参数m

；

；

式中，m

步骤S36：更新参数，所用公式如下：

；

式中，θ’是更新后的参数，α是学习率，ε是趋近于0的无穷小量；

步骤S37：重复步骤，重复步骤S31至S36，直至参数θ被调整到最佳状态，更好地识别网络入侵行为。

进一步地，在步骤S4中，所述建立网络入侵检测模型，包括以下步骤：

步骤S41：数据处理，对网络数据进行数字化处理，将分类特征转换为二进制表示，对数值特征进行标准化，使数据符合标准正态分布；

步骤S42：数据分割，将处理后的网络数据分为训练集和测试集；

步骤S43：小批量训练，采用小批量训练来获得理想的模型权重，所述小批量训练是将整个训练集分割成小批次，每次使用一个小批次进行参数更新，提高训练效率和模型泛化能力；

步骤S44：进行第一次特征提取，用训练好的模型对测试集的整体数据进行第一次特征提取；

步骤S45：进行第二次特征提取，利用第一次提取的数据作为输入，堆叠两个模型，创建一个深层的深度学习结构，学习不同特征之间的复杂和非线性关系，第二次特征提取优化第一次特征提取结果；

步骤S46：进一步训练网络入侵检测模型，使用第二次特征提取的数据作为输入，对模型进行训练，调整模型参数；

步骤S47：网络入侵检测模型部署与维护，将训练好的网络入侵检测模型部署到实际应用场景中，实时检测网络入侵行为，并根据实际应用的反馈对模型进行更新和维护，保持模型的良好性能和适应能力。

进一步地，在步骤S5中，所述安全响应与管理，具体为对发现的安全事件进行响应和处理，包括隔离受感染的系统、修复漏洞和追踪攻击来源，对安全维护过程进行管理和优化。

本发明提供的基于数据分析的网络信息安全维护系统，包括网络数据收集模块、半监督式数据异常检测模块、特征学习模块、建立网络入侵检测模型模块和安全响应与管理模块；

所述网络数据收集模块，具体为收集网络流量数据、日志数据、事件数据；

所述半监督式数据异常检测模块，具体为进行数据增强，采用锐化函数调节类分布的温度实现熵最小化，减少过拟合，利用MixUp技术对标记数据和未标记数据进行混合，增强泛化能力，定义统一损失函数；

所述特征学习模块，具体为计算确定性函数，将数据逐渐映射到隐藏层，并重建隐藏层数据，学习输入数据的特征，通过最小化重建误差优化参数，计算梯度和梯度平方的指数加权平均值，更新参数直至调整到最佳状态；

所述建立网络入侵检测模型模块，具体为进行数字化处理、小批量模型训练和堆叠两个模型进行深度学习，训练网络入侵检测模型，并进行部署和维护，增强特征提取和表示学习能力，加快模型训练速度；

所述安全响应与管理模块，具体为对发现的安全事件进行响应和处理，包括隔离受感染的系统、修复漏洞和追踪攻击来源，对安全维护过程进行管理和优化。

采用上述方案本发明取得的有益成果如下：

（1）针对存在难以从海量数据中收集异常数据，导致对网络中的异常行为发现不及时，造成安全事件损失严重的技术问题，采用半监督式数据异常检测，用锐化函数调节类分布的温度实现熵最小化，减少过拟合，利用MixUp技术对标记数据和未标记数据进行混合，增强泛化能力，适应不同规模的数据集，并有较强的扩展性和泛化能力，及时发现网络中的异常行为，减少损失；

（2）针对存在网络安全系统学习和适应新的攻击方式较慢，无法进行快速响应，且占用太多内存的技术问题，采用计算确定性函数，将数据逐渐映射到隐藏层，重建隐藏层数据，计算梯度和梯度平方的指数加权平均值，更新参数直至调整到最佳状态，获得更好的特征表示，挖掘数据中的潜在信息，更好的学习和适应新的攻击方式，进行快速响应；

（3）针对存在网络特征提取不准确，入侵检测模型难以处理复杂的网络数据，检测能力较低的技术问题，采用数字化处理、小批量模型训练、堆叠两个模型进行深度学习，增强特征提取和表示学习能力，加快模型的训练速度，处理复杂的网络数据，提高网络安全系统对潜在威胁和异常行为的检测能力。

附图说明

图1为本发明提供的基于数据分析的网络信息安全维护方法的流程示意图；

图2为本发明提供的基于数据分析的网络信息安全维护系统的示意图；

图3为步骤S2的流程示意图；

图4为步骤S3的流程示意图；

图5为步骤S4的流程示意图。

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

实施例一，参阅图1，本发明提供的基于数据分析的网络信息安全维护方法，该方法包括以下步骤：

步骤S1：网络数据收集；

步骤S2：半监督式数据异常检测，进行数据增强，采用锐化函数调节类分布的温度实现熵最小化，减少过拟合，利用MixUp技术对标记数据和未标记数据进行混合，增强泛化能力，定义统一损失函数；

步骤S3：特征学习，计算确定性函数，将数据逐渐映射到隐藏层，并重建隐藏层数据，学习输入数据的特征，通过最小化重建误差优化参数，计算梯度和梯度平方的指数加权平均值，更新参数直至调整到最佳状态；

步骤S4：建立网络入侵检测模型，进行数字化处理、小批量模型训练和堆叠两个模型进行深度学习，训练网络入侵检测模型，并进行部署和维护，增强特征提取和表示学习能力，加快模型训练速度；

步骤S5：安全响应与管理。

实施例二，参阅图1，该实施例基于上述实施例，在步骤S1中，所述网络数据收集，具体为收集网络流量数据、日志数据、事件数据。

实施例三，参阅图1和图3，该实施例基于上述实施例，在步骤S2中，所述数据异常检测，包括以下步骤：

步骤S21：进行数据增强，对标记数据和未标记数据分别进行数据增强，使具有不同增强的未标记样本生成相同的输出，更好的泛化到目标领域，提高鲁棒性；

步骤S22：计算平均预测概率分布，每个未标记的样本在数据增强后产生增强样本，增强样本被发送到同一分类器进行预测，生成不同的预测类别，计算未标记数据的平均预测概率分布，所用公式如下：

；

式中，

步骤S23：实现熵最小化，通过锐化函数调节分类分布的温度达到理想的决策边界，协调预测的平均化和一致性正则化，计算锐化函数值，所用公式如下：

；

式中，a表示第a个类别，L表示类别的总数，p是平均分类分布，Sharpen（p，T）

步骤S24：混合数据，用MixUp技术来混合标记数据和未标记数据，对于标记数据，MixUp充当正则化项，通过将两个标记数据点及其对应的标签进行线性插值生成一个新的训练样本和标签，这种插值过程增加训练数据的多样性，减轻过拟合问题，对于未标记的数据，MixUp作为一种额外的强数据增强技术丰富输入空间；

步骤S25：统一损失函数，保持一致性的同时，将预测熵降至最低，达到超过传统正则化技术的性能，所用公式如下：

L1=L

式中，L1是综合损失函数，L

通过执行上述操作，本方案采用半监督式数据异常检测，用锐化函数调节类分布的温度实现熵最小化，减少过拟合，利用MixUp技术对标记数据和未标记数据进行混合，增强泛化能力，适应不同规模的数据集，并有较强的扩展性和泛化能力，及时发现网络中的异常行为，减少损失，解决了难以从海量数据中收集异常数据，导致对网络中的异常行为发现不及时，造成安全事件损失严重的技术问题。

实施例四，参阅图1和图4，该实施例基于上述实施例，在步骤S3中，所述特征学习，包括以下步骤：

步骤S31：计算确定性函数，将输入向量逐渐映射到隐藏层，所用公式如下：

；

式中，h

步骤S32：定义激活函数，所用公式如下：

；

式中，r是输入的线性变换结果，e是自然常数的底数，激活函数σ（r）将输入的线性变换结果r映射到一个取值范围在0到1之间的非线性输出；

步骤S33：重建隐藏层数据，仅使用一次解码操作重建隐藏层数据，通过重建误差学习数据中的有用特征，计算重建的隐藏层数据，所用公式如下：

；

式中，

步骤S34：最小化重建误差，所用公式如下：

；

式中，L（θ）是参数θ下的重建误差，J是样本数，x

步骤S35：梯度优化，通过计算梯度的指数加权平均值和梯度平方的指数加权平均值，计算出参数m

；

；

式中，m

步骤S36：更新参数，所用公式如下：

；

式中，θ’是更新后的参数，α是学习率，ε是趋近于0的无穷小量；

步骤S37：重复步骤，重复步骤S31至S36，直至参数θ被调整到最佳状态，更好地识别网络入侵行为。

通过执行上述操作，本方案采用计算确定性函数，将数据逐渐映射到隐藏层，重建隐藏层数据，计算梯度和梯度平方的指数加权平均值，更新参数直至调整到最佳状态，获得更好的特征表示，挖掘数据中的潜在信息，更好的学习和适应新的攻击方式，进行快速响应，解决了网络安全系统学习和适应新的攻击方式较慢，无法进行快速响应，且占用太多内存的技术问题。

实施例五，参阅图1和图5，该实施例基于上述实施例，在步骤S4中，所述建立网络入侵检测模型，包括以下步骤：

步骤S41：数据处理，对网络数据进行数字化处理，将分类特征转换为二进制表示，对数值特征进行标准化，使数据符合标准正态分布；

步骤S42：数据分割，将处理后的网络数据分为训练集和测试集；

步骤S43：小批量训练，采用小批量训练来获得理想的模型权重，所述小批量训练是将整个训练集分割成小批次，每次使用一个小批次进行参数更新，提高训练效率和模型泛化能力；

步骤S44：进行第一次特征提取，用训练好的模型对测试集的整体数据进行第一次特征提取；

步骤S45：进行第二次特征提取，利用第一次提取的数据作为输入，堆叠两个模型，创建一个深层的深度学习结构，学习不同特征之间的复杂和非线性关系，第二次特征提取优化第一次特征提取结果；

步骤S46：进一步训练网络入侵检测模型，使用第二次特征提取的数据作为输入，对模型进行训练，调整模型参数；

步骤S47：网络入侵检测模型部署与维护，将训练好的网络入侵检测模型部署到实际应用场景中，实时检测网络入侵行为，并根据实际应用的反馈对模型进行更新和维护，保持模型的良好性能和适应能力。

通过执行上述操作，本方案采用数字化处理、小批量模型训练、堆叠两个模型进行深度学习，增强特征提取和表示学习能力，加快模型的训练速度，处理复杂的网络数据，提高网络安全系统对潜在威胁和异常行为的检测能力，解决了网络特征提取不准确，入侵检测模型难以处理复杂的网络数据，检测能力较低的技术问题。

实施例六，参阅图1，该实施例基于上述实施例，在步骤S5中，所述安全响应与管理，具体为对发现的安全事件进行响应和处理，包括隔离受感染的系统、修复漏洞和追踪攻击来源，对安全维护过程进行管理和优化。

实施例七，参阅图2，该实施例基于上述实施例，本发明提供的基于数据分析的网络信息安全维护系统，包括网络数据收集模块、半监督式数据异常检测模块、特征学习模块、建立网络入侵检测模型模块和安全响应与管理模块；

所述网络数据收集模块，具体为收集网络流量数据、日志数据、事件数据；

所述半监督式数据异常检测模块，具体为进行数据增强，采用锐化函数调节类分布的温度实现熵最小化，减少过拟合，利用MixUp技术对标记数据和未标记数据进行混合，增强泛化能力，定义统一损失函数；

所述特征学习模块，具体为计算确定性函数，将数据逐渐映射到隐藏层，并重建隐藏层数据，学习输入数据的特征，通过最小化重建误差优化参数，计算梯度和梯度平方的指数加权平均值，更新参数直至调整到最佳状态；

所述建立网络入侵检测模型模块，具体为进行数字化处理、小批量模型训练和堆叠两个模型进行深度学习，训练网络入侵检测模型，并进行部署和维护，增强特征提取和表示学习能力，加快模型训练速度；

所述安全响应与管理模块，具体为对发现的安全事件进行响应和处理，包括隔离受感染的系统、修复漏洞和追踪攻击来源，对安全维护过程进行管理和优化。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。