一种基于特征选择与混合神经网络的网络入侵检测方法

技术领域

本发明涉及网络安全领域，尤其涉及一种基于特征选择与混合神经网络的网络入侵检测方法。

背景技术

入侵检测是网络安全研究的重要问题之一，是快速检测和处理网络入侵最有前途的方法之一，可以对网络攻击行为进行预防。

早期对基于网络的IDS研究着重在基于统计方法和规则的专家系统。基于统计分析的入侵检测方法可以自适应的学习网络活动，但实际上很难用逻辑方法将大量的数据划分为正常和异常行为，并且这种方法忽视了特征之间的时间表征；基于规则的入侵检测方法在此基础上制定了基于时间的规则库，但随着网络的发展，面临的攻击行为随之增加，需要处理的数据量激增，靠网络入侵分析师创建规则集的方法已经不现实，基于规则的专家系统也已经无法满足网络入侵检测的需求。因此，人们将目光转向基于传统机器学习的NIDS的设计研发工作，这些网络模型具备弱、浅的学习行为，当遇到高维入侵数据时，基于传统的机器学习的NIDS在最终的预测性能上得不到很好的提升。于是开始对深层人工神经网络进行研究，深度学习模型被网络入侵检测系统采用，它能够解决复杂特征问题，并具有高效的数据降维能力，相对传统的机器学习其特征表征能力更强。

随着技术不断发展，人们致力于研究具有高效检测率的基于深度学习的网络入侵检测。Mohammadpour,L.等人将卷积神经网络(CNN)应用到NIDS中。基于CNN神经网络的网络入侵检测技术实现了数据降维,同时捕获特征数据之间的空间依赖性，提高了其表征能力。但网络入侵数据之间还存在时间属性，现有研究使用长短期记忆(LSTM)深度学习模型来解决提取数据的时间特性的问题。随着研究不断推进，在LSTM网络的基础上引进了时间维度的反向信息，对当前时刻、之前时刻和之后时刻数据都进行信息编码，网络入侵检测方法引入了双向长短期记忆(BiLSTM)网络模型。但是CNN、LSTM、BiLSTM都无法同时捕获特征的时间和空间特性，单一的深度学习方法在网络入侵检测中的准确率有待提高，人们开始进行多类别深度学习网络融合。现有技术融合CNN和LSTM两个网络，同时关注入侵数据时间和空间特征，但是该方法的检测准确度还有待提高。

同时海量的网络数据存在冗余和不相关特征，需要使用特征选择技术，进一步提高深度学习网络的入侵检测准确度。现有特征选择技术：第一种使用过滤式特征选择将pearson相关系数、卡方验证、互信息(MI)和最大信息系数、信息增益(IG)和方差选择等作为一个度量，通过设置阈值来进行特征选择。这种方法是独立于模型训练之外的，对后续模型训练将带来不确定性。第二种使用封装式特征选择将特定的学习算法，如神经网络、支持向量等作为基准，这些学习算法会利用分类性能来选择特征，形成最优特征子集。这种方法选择的特征子集比过滤式更具准确性，但是计算速度会比较慢。第三种嵌入式特征选择则是将特征选择嵌入学习器训练过程中，机器学习网络学习过程中进行特征选择，如利用随机森林(RF)算法既用来特征选择，又可以作为特征信息学习器。这种方法是封装式特征选择方法的延申。但是单一的特征选择方法，对深度学习模型的检测性能提高能力有限，现有的技术方法使用多种特征选择技术结合，如使用基于pearson相关系数的改进算法(IPCC)，然后利用海龟觅食算法(EXPSO-STFA)在入侵数据集中选择相关的特征子集，投入人工神经网络中训练；将随机森林算法和pearson相关系数结合使用，先用RF算法将每个特征按照其重要性进行排序，同时pearson相关系数可以计算出各个特征之间的相关性，利用特征的两种特性选择出最佳特征子集。

因此，本领域的技术人员致力于开发一种基于特征选择与混合神经网络的网络入侵检测方法，从特征选择方法和改进深度学习模型两个方面来提高入侵检测的准确性。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是

为实现上述目的，本发明提供了一种基于特征选择与混合神经网络的网络入侵检测方法，使用并行结构搭建并行混合信息积累网络，一条支路上同时关注时间和空间特征，另一条支路关注关键特征。

进一步地，一条支路使用一层卷积神经网络提取空间特征，两层双向长短期记忆网络提取时间特征，另一条支路使用全局注意力机制关注重要的、关键的特征。

进一步地，使用随机森林和递归迭代特征消除法组成的后向迭代随机森林特征剔除法。

进一步地，在迭代的过程中使用随机森林进行特征重要性计算和排序，然后剔除重要性最小的特征，剩下的组成新的特征子集。

进一步地，包括以下步骤：

步骤1、数据预处理；

步骤2、数据均衡处理、特征选择和检测模型搭建；

步骤3、模型训练和评估。

进一步地，所述步骤1包括以下步骤：

步骤1.1、数据清洗；

步骤1.2、one-hot编码；

步骤1.3、数据标准化。

进一步地，所述步骤2包括以下步骤：

步骤2.1、数据均衡处理：使用自适应合成抽样算法进行数据均衡处理；

步骤2.2、特征选择：第一步使用随机森林算法进行特征选择，第二步使用递归特征消除法对特征子集进行降维和不重要的特征剔除，两步结合得到后向随机森林特征迭代剔除算法；

步骤2.3、网络入侵预测模型搭建。

进一步地，所述步骤2.2包括以下步骤：

步骤2.2.1、初始化：把均衡过后的数据集作为初始的特征子集；

步骤2.2.2、训练模型：使用随机森林算法计算初始特征子集中每个特征的重要性；

步骤2.2.3、特征排序：将特征重要性作为排序依据，对特征子集进行排序；

步骤2.2.4、特征剔除：使用递归消除算法剔除排序最低的特征，选出最佳的特征子集；

步骤2.2.5、判断终止条件：设置最佳特征子集数量作为阈值，达到阈值时算法终止；否则，返回步骤2.2.2。

进一步地，所述步骤2.3包括以下步骤：

步骤2.3.1、对最优特征子集进行张量重构；

步骤2.3.2、一维卷积层对网络入侵特征数据进行特征提取；

步骤2.3.3、最大池化层进行数据降维；

步骤2.3.4、批标准化把发散的数据规整到统一区间，对数据进行一定的空间约束；

步骤2.3.5、双向长短期记忆网络对数据进行时间特征提取，将前一时刻与当前时刻数据信息输入前向LSTM层，将后一时刻和当前时刻的数据信息输入到后向LSTM层，两个LSTM层同时运算，并将两者的运算结果作为连接层的输入进行信息拼接，实现对数据集的时间特征提取；

步骤2.3.6、进行张量重构，将二维输入转化为三维输出；

步骤2.3.7、重复步骤2.3.3、步骤2.3.4；

步骤2.3.8、双向长短期记忆网络再次对数据进行时间特征提取；

步骤2.3.9、并行支路，将述步骤2.3.3的输出作为注意力机制的输入，通过计算得到全局特征的权重，通过计算特征权重达到注意全局特征重要性的效果；

步骤2.3.10、通过连接层将步骤2.3.8、步骤2.3.9的输出进行拼接，得到既有时空特征又有重要特征的特征图；

步骤2.3.11、随机失活层随机减少百分之五十步骤2.3.10的网络层和步骤2.3.12的网络层之间的连接，防止模型出现过拟合现象；

步骤2.3.12、使用全连接层与softmax函数对数据进行分类。

进一步地，所述步骤3，使用十折交叉验证法进行模型的训练和评估。

在本发明的较佳实施方式中，针对现有的神经网络，只关注了单一的特征属性，特征提取能力有限。本发明使用并行结构搭建并行混合信息积累网络(CBIAT)。在一条支路上同时关注时间和空间特征，另一条支路关注关键特征。一条支路：使用一层CNN提取空间特征，两层BILSTM提取时间特征。另一条支路：使用全局注意力机制关注重要的、关键的特征。

特征冗余可能导致维度灾难；现有特征提取方法会受到人为因素的影响，从而降低网络入侵检测准确度。本发明使用随机森林和递归迭代特征消除法组成新的算法后向迭代随机森林特征剔除法(BRFE)。在迭代的过程中使用随机森林进行特征重要性计算和排序，然后剔除重要性最小的特征，剩下的组成新的特征子集。

本发明与现有技术相比较，具有如下显而易见的实质性特点和显著优点：

本发明从特征选择方法和改进深度学习模型两个方面来提高入侵检测的准确性。通过BRFE算法对处理后的特征数据进行选择，数据首先通过随机森林(RF)算法计算特征的重要度，并对其按照重要度进行降序排序，使用后向迭代剔除重要度最小的特征，将剩余的特征集合重新投入RF中计算和排序，最后剔除最小特征，重复此动作直到得到最佳的特征子集。在这个操作中，每一次的特征重要度都会根据新的子集进行计算，在迭代中不断地更新调整。通过BRFE算法计算得到可用于深度学习的最佳特征子集，使用CBIAT检测网络对最佳特征数据集进行分类预测，该检测网络为双支路并行计算模式，其中一条支路使用基于CNN-BiLSTM改进的网络算法用来提取数据的时间和空间特征，另一条并行支路使用注意力机制直接关注重要特征，它用来弥补另一条支路特征提取中遗落的重要特征，增加了整个CBIAT网络特征提取的能力，提高了网络入侵检测性能。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的方法流程图；

图2是本发明的一个较佳实施例的CBIAT网络入侵检测网络结构图；

图3是本发明的一个较佳实施例的两层BiLSTM和LSTM网络结构图；

图4是本发明的一个较佳实施例的NSL-KDD数据集消融实验微观对比结果图；

图5是本发明的一个较佳实施例的UNSW-NB15数据集消融实验微观对比结果图；

图6是本发明的一个较佳实施例的NSL-KDD数据集其他实验微观对比结果图；

图7是本发明的一个较佳实施例的UNSW-NB15数据集其他实验微观对比结果图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

本发明主要开发一种基于特征选择与混合神经网络的网络入侵检测方法。如图1所示，它主要包括以下步骤：

步骤一：数据预处理：该步骤主要可以分为以下3步：

S1，数据清洗；

S2，one-hot编码；

S3，数据标准化；

具体的，本发明主要使用NSL-KDD和UNSW-NB15两个数据集对BCBIAT模型进行训练和测试。选用NSL-KDD数据集进行模型训练，因为它的训练集和测试集没有冗余数据，并且数据分布比其他数据集更均衡；选用UNSW-NB15数据集，因为它含有现实的网络正常活动数据，比其他数据集更具有研究价值。这两个数据集下面详细阐述各个步骤：

S1，在网络入侵数据集NSL-KDD中最初的特征向量其列名为数字排序，因此先对数据集进行列重命名，将不需要进行分析的数据列difficulty_level剔除避免其干扰其他数据,根据subclass中的攻击子类划分为四大攻击类别：Dos、Probe、R2L、U2R，并生成标签(label)列。对UNSW-NB15数据集，其原始数据具有正确的列名，只将其冗余的数据列(id、label)进行剔除。对删减后的两个数据集进行缺失值查找，删掉数据缺失的行；

S2，将无缺失值和无异常值的数据集进行one-hot编码，NSL-KDD数据集中存在三组计算机无法运算的符号型数据protocol_type、service、flag。UNSW-NB15数据集存在proto、state、service这三组特征中的数据无法被机器识别，使用one-hot算法对这些数据进行o-1编码，编码后的数据可以直接用于深度学习模型训练。编码后两个数据集的特征维数分别是122维和194维；

S3，同时数值型数据之间存在量纲问题，不同数据的量纲可能不一致，从而导致各数据之间无法进行比较。因此对数据进行标准化处理，目的是消除数据量纲和数值大小、变异范围的影响，标准化可以解决数据很分散的特征向量带来的小数据吞并现象。

在此使用极差标准化法，该方法先找出某一特征列在数据集中的最大值x

步骤二：数据均衡处理、特征选择和检测模型搭建：该步骤主要可以分为以下3步：

S1，数据均衡处理；

S2，特征选择；

S3，网络入侵预测模型搭建。

具体的，原始的两个数据集NSL-KDD和UNSW-NB15经过第一步数据预处理之后，这些数据可以直接用于预测模型，但这些数据存在一定的缺陷使预测准确度下降。所以本发明通过改进特征工程中的特征选择和特征提取方法，以提高预测准确度。下面详细阐述各个步骤：

S1，NSL-KDD和UNSW-NB15两个数据集的数据分布从表1和表2可以看到，数据样本分布很不均衡。如NSL-KDD中的URL攻击类别在训练集和测试集的占比仅为0.04％、0.30％。同时，由表1可见Probe、R2L、U2R这三类攻击数量都很少，Normal和Dos这两项数据在整个数据集中的数量分布极其可观。Normal类型的数据在训练集和测试集中占比分别是53.45％和43.08％。表2显示的UNSW-NB15数据集也可以看出，Dos、Reconnaissance、Analysis、Backdoor、Shellcode、Worms等六种类型的数量总和在训练集和测试集中的比重分别为15.83％、11.26％，其总和低于Normal、Generic、Exploits三项数据的单值占比。由此可见，这两个数据集中的数据分布十分不均匀，这会导致检测结果以多数量的类别样本为主导，而忽视样本数量少的攻击类别，使检测结果缺少说服力。本发明使用自适应合成抽样(ADASYN)算法对两个数据集进行数据均衡处理，该方法优于合成少数类过采样技术(SMOTE)，它会根据多数样本和少数样本比例产生对应的样本生成权重，而非随意生成样本破坏整体的数据分布。

表1NSL-KDD训练集和测试集中各类别数据占比：

表2UNSW-NB15数据集中训练集和测试集各类别数据占比：

S2，两个数据集被标准化后，面临NSL-KDD数据集122维特征和UNSW-NB15数据集的194维特征需要处理。Kasongo等人提出将特征选择引入深度学习中，可以减少模型训练时间，在一定程度上提高检测准确度。因此本发明对特征选择方法进行改进，将经过均衡处理的特征数据集作为原始特征集，第一步使用随机森林算法(RF)对其进行特征选择。RF中根据节点数量生成随机候选特征集，把基尼指数作为特征评估函数对候选特征集进行评估，得出特征重要性排序。本发明特征选择的第二步使用递归特征消除法(RFE)对特征子集进行降维和不重要的特征剔除。两步进行结合得到后向随机森林特征迭代剔除(BRFE)算法，在NSL-KDD数据集和UNSW-NB15数据集分别选出特征重要性排序中的前35、23个特征作为最优特征子集。使用BRFE算法来选择最优特征子集优点：它可以在不要先验知识的条件下进行特征选择；同时也可以进行有效的高维数据特征自动筛选；还可以和后面预测模型的交叉验证同时作用，避免过拟合。

具体算法流程为：

①初始化：把均衡过后的NSL-KDD和UNSW-NB15两个数据集作为初始的特征子集；

②训练模型：使用随机森林算法计算特征子集中每个特征的重要性；

③特征排序：将特征重要性作为排序依据，对特征子集的特征进行排序；

④特征剔除：使用递归消除算法剔除排序最低的特征，选出最佳的特征子集；

⑤判断终止条件：设置最佳特征子集数量作为阈值，达到阈值时算法终止；否则，返回②。

S3，数据集进行S2特征选择之后得到两个最优特征子集，该步骤将处理后的两个数据集NSL-KDD和UNSW-NB15进行基于神经网络的入侵预测，改进的检测模型为并行混合信息积累网络(CBIAT)对数据集分类预测，得到表1和表2中Classes列中数据类别的预测值。具体步骤如下：

①先对NSL-KDD和UNSW-NB15的最优特征子集进行张量重构,重构前的维度分别是(batch_size,input_length),重构后的维度分别是(batch_size,input_length,input_size)，其中input_length是两个数据集在S2中选出的最优特征子集的特征数量，分别为35、23个，input_size本发明设为1；

②使用一维卷积层(Conv1D)对S2处理后的网络入侵特征数据进行特征提取，卷积核(kernel_size)大小为8，该层激活函数(activation)为‘relu’，过滤器(filter)大小64,特征提取后将输出数据维度(batch_size,input_length,filter)；

③使用最大池化层(Maxpooling1D)对②的输出数据进行数据降维，本发明将池化大小设为5，步长与池化大小一致，所以降维后的数据维度是(batch_size,input_length/5,filter)；

④使用批标准化(BatchNormalization)对池化后的数据进行处理，把发散的数据规整到统一区间，对数据进行一定的空间约束，起到了加快预测模型的收敛速度和缓解过拟合现象的作用，该网络层的输出数据维度和步骤③一致；

⑤将CNN网络经由②③④三个步骤提取的特征作为BiLSTM网络的输入数据，BiLSTM网络对数据进行时间特征提取，将前一时刻与当前时刻数据信息输入前向LSTM层，将后一时刻和当前时刻的数据信息输入到后向LSTM层，两个LSTM层同时运算，并将两者的运算结果作为连接层(concat)的输入进行信息拼接，实现了对数据集的时间特征提取，输出的特征维度是(batch_size,filter*2),filter大小本层设为64，激活函数为‘tanh’；

⑥将⑤的输出进行张量重构，将二维输入转化为三维输出。直接使用Reshape函数将(batch_size,filter*2)转化为(batch_size,filter*2,1),这种方法不会改变⑤输出特征图的分布情况；

⑦重复步骤③④，输出维度是(batch_size,int(filter*2/5),1),其中的int(filter*2/5)因为步骤③中将填充(padding)设置为‘valid’，padding一共三种模式分别为：‘full’、‘same’、‘valid’。‘full’模式是当filter与特征图刚开始相交时就空值填充并池化，‘same’模式时池化后的特征维度与输入的维度一样，‘valid’模式不对特征图进行任何填充行为。当池化大小和步长一致时，用输入数据中间维度除以步长并对结果取整，因为特征图中剩余的数据大小小于池化大小，已经无法再进行池化操作。

⑧使用BiLSTM再次对数据进行时间特征提取，这一层的filter大小设为128。在深度学习中，在一定情况下增加隐藏层，特征提取会更抽象，这可以提高模型的泛化能力；

⑨使用并行支路，将步骤③的输出作为注意力机制(attention)的输入，通过计算得到全局特征的权重，通过计算特征权重达到注意全局特征重要性的效果，关注重要特征可以提高模型的性能；

⑩通过concat层将步骤⑧⑨的输出进行行拼接，得到一个既有时空特征又有重要特征的特征图；

使用随机失活层(Dropout)随机减少百分之五十步骤⑩的网络层和步骤/>

使用全连接层(Dense)与softmax函数对数据进行分类，先通过Dense把权重矩阵w与输入向量x相乘并加上偏置b，公式为：z＝w

步骤三：模型训练和评估：该步骤主要如下：

此步骤使用十折交叉验证法进行模型的训练和评估。

S1：数据被分层折叠法(stratifiedkfold)划分为十份，训练集占9份，测试集占1份。使用训练集模型进行训练，再用测试集对其进行模型评估。该步骤重复十次。

S2：计算模型性能，本发明主要使用四个评估指标来表述模型性能。分别是：

①准确度可以表示预测正确的样本在入侵总样本所占的比例：

②精确度在不平衡的数据分析中具有很强的参考性，它表示预测正确的阳性样本在所有被预测为阳性的样本中的比例：

③召回率表示预测正确阳性样本在入侵中真正的阳性样本所占的比例：

④F1-score是精确度和召回率的加权调和平均值：

TN:预测为负，真实为负，表示预测正确的阴性样本

FN:预测为负，真实为正，表示预测错误的阳性样本

FP:预测为正，真实为负，表示预测错误的阴性样本

TP:预测为正，真实为正，表示预测正确的阳性样本

如图1所示，是整个网络入侵检测系统的方法流程图，使用NSL-KDD和UNSW-NB15数据集进行网络模型预测和评估，首先进行数据预处理分为三个步骤：数据清洗，数据使用one-hot技术来数值化编码，数据标准化；由于数据集中部分分类类别数据占比很少导致数据集不平衡，所以对它们使用自适应合成抽样(ADASYN)进行平衡处理，将平衡的数据使用BRFE技术进行特征选择，最后使用十折交叉验证的方法对CBIAT分类检测模型进行训练和评估，输出四个分类检测评估指标。

如图2所示，本发明提供的基于改进CNN-BiLSTM的网络入侵检测模型网络结构图。本发明的改进步骤，使用双层CNN时仅提取空间特征在两个数据集上的表现从表3、表4可以看出。此时开始考虑提取时间特征，从两个表可以看到在NSL-KDD数据集上BiLSTM仅在召回率(Recall)这一指标上逊色LSTM模型，在UNSW-NB15数据集上尽管准确度和精确度低于LSTM模型，但从数值上看出相差不大，相比之下本发明选用BiLSTM进行时间特征提取更合适。由此，将第二层CNN更换为BiLSTM层，但其效果不佳，因此本发明又在模型后面加了一层BiLSTM，其表现结果比一层BiLSTM好，但是仅在UNSW-NB15数据集的召回率和F1得分上高于双层的CNN。由此本发明考虑到，多层神经网络在特征提取过程中遗漏了部分特征，本发明使用并联的形式加一条注意力支路提取更多重要特征，将这些重要特征与前一支路的时空特征结合进行分类，其效果在两个数据集上都有明显提升。

表3消融实验下的NLS-KDD数据集检测结果对比

表4消融实验下的UNSW-NB15数据集检测结果对比

如图3所示，两层BiLSTM和LSTM网络结构图，右边的隐藏层1表示一层BiLSTM，隐藏层中一个圆点表示一层LSTM。本发明使用的BiLSTM由一个前向LSTM和一个后向LSTM组成，前向LSTM由左到右进行数据传输，它会计算前一时刻和当前时刻的信息，并将新的数据信息传给后一时刻的神经元中。后向LSTM由右到左进行数据传输，它会计算当前时刻和未来时刻的信息，将新的数据信息传给前一时刻的神经元中。

图4、图5、图6、图7是在微观角度下NSL-KDD和UNSW-NB15数据集的分类检测模型实验数据对比图。它们通过柱状图可以更加直观的看到表1、表2中每一种类别数据的分类检测精确度、召回率和F1得分。图4和图6可以看出，在NSL-KDD数据集上，本发明的模型在三个指标上的表现都很好。图5和图7可见，在UNSW-NB15数据集上，Generic、Reconnaissance两种类型数据的分类检测精确度效果不够理想，Analysis、Generic两种类型数据的分类检测召回率和F1得分效果不够理想，但是其他类型数据在三个指标上都取得了较好效果。

总的来说，在大数据时代中当前网络数据激增，海量且高维的网络入侵数据给网络入侵检测技术带来了挑战，网络入侵检测模型性能受到影响，提高模型检测性能的重要性不断上升。本发明从特征选择方法和改进深度学习模型两个方面来提高入侵检测的准确性。通过BRFE算法对处理后的特征数据进行选择，数据首先通过随机森林(RF)算法计算特征的重要度，并对其按照重要度进行降序排序，使用后向迭代剔除重要度最小的特征，将剩余的特征集合重新投入RF中计算和排序，最后剔除最小特征，重复此动作直到得到最佳的特征子集。在这个操作中，每一次的特征重要度都会根据新的子集进行计算，在迭代中不断地更新调整。通过BRFE算法计算得到可用于深度学习的最佳特征子集，使用CBIAT检测网络对最佳特征数据集进行分类预测，该检测网络为双支路并行计算模式，其中一条支路使用基于CNN-BiLSTM改进的网络算法用来提取数据的时间和空间特征，另一条并行支路使用注意力机制直接关注重要特征，它用来弥补另一条支路特征提取中遗落的重要特征，增加了整个CBIAT网络特征提取的能力，提高了网络入侵检测性能。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。