一种分布式自演进入侵检测方法和系统

技术领域

本发明涉及网络入侵检测技术领域，具体是一种分布式自演进入侵检测方法和系统。

背景技术

随着网络入侵技术的不断发展，网络攻击不断演变，新型网络攻击层出不穷，攻击种类不断增加，而相比于网络攻击的快速进化，现有的网络入侵检测系统显得固化呆板，其应对不断新增的网络攻击时暴露的问题主要包括两个方面，即新型网络攻击难以检测以及网络入侵检测系统难以更新。

在新型网络攻击检测方面，现有的入侵检测方法主要基于误用检测或者异常检测。基于误用检测的入侵检测方法提取待测网络流量特征与前期收集到的已知攻击类型特征库进行匹配，从而可以检测出已知的攻击类型并按照特征库的攻击类型进行分类，由于未知攻击流量没有相应的特征库，因此误用检测方法不能检测出未知攻击流量；基于异常检测的方法通过学习正常流量的特征边界，从而将超出正常流量边界的流量归为攻击流量，因此理论上基于异常检测的方法可以检测出未知攻击流量，然而由于正常流量形式多样，实际中基于异常检测方法的入侵检测方法精度较低，且基于异常检测的方法不能将检测到的攻击进行分类，而带有攻击类型标注的数据有利于后期专家进一步的分析。因此目前缺少一个能有效检测未知攻击并对已知攻击进行分类的入侵检测方法。

由于缺乏未知攻击的先验知识，目前的未知攻击方法检测准确率普遍不高，且未知检测检测出未知攻击时不能给出具体的攻击类型，从而不能及时采取相应的最准确的应对措施。因此入侵检测系统需要不断更新来准确识别这些未知攻击类型。

网络入侵检测系统更新难是应对层出不穷的新型网络攻击的另一个挑战。具体说来，检测到未知网络攻击流量后，网络专家对未知网络攻击进行分析并确定其攻击类型，此时入侵检测系统需要进行相应的更新，从而将这些新型网络攻击的知识融合到入侵检测系统中来，使得入侵检测系统在后续的实时检测中不仅可以分类出以前学习到的已知攻击类型，而且可以分类出新学习的攻击类型，尽管目前已经有较为成熟的增量学习更新方法，但是目前的增量更新学习方法都是单点进行的，在分布式的入侵检测中，不同的入侵检测节点会检测出不同的新型攻击，采用单点增量更新的方法更新效率低，不同节点收集到的新型网络攻击知识不能进行共享。因此目前缺乏一种高效的分布式入侵检测系统更新方法。

发明内容

本发明目的是解决上述技术问题，提供一种分布式自演进入侵检测方法和系统。

为了实现上述目的，本发明采用以下技术方案予以实现；

本发明解决其技术问题所采用的技术方案是：包括中央服务器以及部署在多个地理位置不同的子网出入口网关处的分布入侵检测节点，各个入侵检测节点部署了统一的未知攻击检测模型。

进一步的，所述各个分布式节点只需将最近收集的新型攻击类型知识上报到中央节点，经过一次联邦增量学习进行全局检测模型更新，从而得到一个新的未知网络攻击检测模型并部署在各分布节点，该攻击检测模型不仅可以分类之前的已知攻击类型，而且可以分类最近各个节点检测的新型攻击类型，此外该模型仍然可以检测出在这些类型之外的未知攻击类型；从而形成“检测新型攻击”到“联邦增量更新”到“全局部署”的自演进入侵检测过程。

进一步的，所述中央服务器收集包括分布检测节点持有的数据量、攻击类型数目、算力情况等信息，定期启动全局模型更新；发布每次更新时全局采用的新型攻击检测模型架构；通过联邦学习聚合各个分布式检测节点通过增量更新方式计算得到的本地更新参数，聚合后的参数发回到各入侵检测节点继续进行本地参数增量更新；完成所有轮次后全局部署更新完成的检测模型。

一种分布式自演进入侵检测方法：该检测方法适用于上述所述的检测系统，包括如下步骤；

S1：在各子网出口网关处部署全局统一的初始未知攻击检测模型；

S2：各个节点运行初始模型进行在线未知攻击检测；

S3：未检测到未知攻击时，继续运行S2；

S4：检测到未知攻击时，验证并记录新型攻击，并上传新型攻击的基本概况包括攻击样例数目，攻击类型等到中央服务器中；

S5：中央服务器为新型攻击类型赋予全局唯一标签，全局发布待更新的检测模型架构，确定更新轮数R；

S6：各个节点下载新版检测模型，并在本地仅采样少量历史数据，通过增量更新得到本地更新参数并上传至中央服务器；

S7：中央服务器通过联邦学习的方式聚合各个节点上传的更新参数到一个新的检测模型中；

S8：记录更新轮数R＝R-1；

S9：当R≠0时，跳到S6；

S10：当R＝0，发布并全局部署更新后的检测模型。

进一步的，所述检测模型在更新后部署到分布式的检测节点上，从而不同的检测节点快速共享了其他节点发现的新型攻击信息。

进一步的，所述未知攻击检测模型由编码器、解码器和分类器组成，编码器从原始流量特征x中学习潜在特征，基于潜在特征生成重构的流量特征

进一步的，所述本地模型增量更新采用基于知识蒸馏的增量更新方法，即利用旧模型指导当前模型的训练过程，使得旧模型包含的丰富的已知攻击知识仅在少量历史数据样例参与训练的情况下即可蒸馏到新模型中来，减少历史攻击知识遗忘，加速更新过程。

进一步的，所述中央服务器通过联邦学习的方式聚合各个入侵检测节点上传的更新参数(W

本发明提供的一种分布式自演进入侵检测方法和系统，具有以下有益效果：

1.本发明通过各个节点部署的攻击检测模型不仅可以对已知攻击进行分类，而且可以识别未知攻击，为入侵检测系统的演进不断提供新的数据，各分布式检测节点通过联邦学习完成各个节点的知识共享，使得入侵检测效果更加强大；入侵检测模型更新采用的是分布式的增量更新方法，各个节点共同参与模型的更新，并且各个节点只需对历史数据进行部分采样的方法增量训练，更新效率大大提高；各节点信息共享采用的联邦学习方法，即各个节点只需上传模型参数而不用上传数据本身，保护了各个节点的数据隐私。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的描述；

图1为一种分布式自演进入侵检测系统架构示意图；

图2为一种分布式自演进入侵检测方法示意图；

图3为一种分布式自演进入侵检测方法的未知攻击检测模型示意图；

图4为一种联邦增量学习方法示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

下面将结合本发明的实施例中的附图，对本发明的实施例中的技术方案进行清楚-完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明的实施例中所有方向性指示(诸如上-下-左-右-前-后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系-运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变，所述的连接可以是直接连接，也可以是间接连接。

请参阅图1-4所示，一种分布式自演进入侵检测系统，包括分布式的入侵检测节点以及中央服务器。工作时，所述各入侵检测节点被部署在不同子网(如蜂窝网络，数据中心网络和企业网络)的边缘网关上，通过这种部署方式，分布式入侵检测节点可以监控所有进出流经子网网关的流量，不同分布式检测节点所部署的统一的未知攻击检测模型吸收了所有分布式检测节点本地特有的攻击类别信息；通过分析实时流量的包括协议，负载和交互级别的流量行为特征，检测模型不仅能够对所有分布节点训练集中出现的已知攻击类型进行分类，而且还能筛选出全局未知的新型攻击类型。

在经过一定的时间周期，各个分布式节点只需将最近收集的新型攻击类型知识上报到中央节点，经过一次分布式全局增量更新，从而得到一个新的未知网络攻击检测模型并部署在各分布节点，该攻击检测模型不仅可以分类之前的已知攻击类型，而且可以分类最近各个节点的新型攻击类型，此外该模型仍然可以检测出在这些类型之外的未知攻击类型；从而形成“检测新型攻击”到“分布增量更新”到“全局部署”的自演进入侵检测系统。

一种分布式自演进入侵检测方法：该检测方法适用于上述所述的检测系统，包括如下步骤；

S1：在各子网出口网关处部署全局统一的初始未知攻击检测模型；

S2：各个节点运行初始模型进行在线未知攻击检测；

S3：未检测到未知攻击时，继续运行S2；

S4：检测到未知攻击时，验证并记录新型攻击，并上传新型攻击的基本概况包括攻击样例数目，攻击类型等到中央服务器中；

S5：中央服务器为新型攻击类型赋予全局唯一标签，全局发布待更新的检测模型架构，确定更新轮数R；

S6：各个节点下载新版检测模型，并在本地仅采样少量历史数据，通过增量更新得到本地更新参数并上传至中央服务器；

S7：中央服务器通过联邦学习的方式聚合各个节点上传的更新参数到一个新的检测模型中；

S8：记录更新轮数R＝R-1；

S9：当R≠0时，跳到S6；

S10：当R＝0，发布并全局部署更新后的检测模型。

工作时，实际检测中，由于训练集样本有限，深度学习模型不可避免的会出现误报，特别是考虑到对于从未在训练集上出现过的未知攻击类型。而对于误报的攻击数据，如果直接攻击在后续的全局更新训练中，会将错误的模型参数传递给其他检测节点，经过多次更新过程后，错误数据的累积会严重影响模型检测能力；因此，当检测模型识别到未知攻击类型时，这些未知攻击应该交由本地的网络工程师进行进一步的确认。当确认是新型攻击类型时，检测节点将本次时间周期内检测到的新型攻击的数据信息上传给中央服务器，这些数据信息包括新型攻击类型个数，数据量大小以及每个新型攻击区别于其他攻击类型的独有特征。由于同一种新型攻击类型可能会在不同的检测节点被识别出来，因此中央服务器根据攻击的独有特征可以判断出不同节点检测到的新型攻击类型是否属于同种类型。

所述检测模型在更新后部署到分布式的检测节点上，从而不同的检测节点快速共享了其他节点发现的新型攻击信息；工作时，通过快速的共享攻击信息，从而在下次遇到攻击时可以快速的响应对抗程序。

所述检测节点处于物理网络中不同地理位置，检测节点在初始阶段具有不同的攻击数据集，经过一次的联邦学习过程后,不同检测节点的攻击数据分类知识被融合到一个初始全局未知攻击检测模型中，当模型被部署在各个检测节点上时，既可以分类在任意检测节点出现过的已知攻击类型，还可以识别出在这之外的未知攻击类型；工作时，联邦增量学习是指各入侵检测节点根据一定的采样率选取一定数量的已知攻击类型数据，和未知攻击数据一起来更新新型检测模型，旧模型通过知识蒸馏的方法将知识快速传递到新模型中，并将更新后的模型参数上传到中央服务器。中央服务器收到所有检测节点的模型更新参数后，按照一定的参数聚合方法将这些模型参数聚合为一个统一的模型参数，将聚合后的模型参数发回到各个检测节点后即完成一个更新轮数。直到完成所有的更新轮数后，新型检测模型更新完成。更新完成后的检测模型将代替原有的检测模型被部署在各个检测节点。该模型融入了所有检测节点从部署以来累积的已知攻击分类知识，并将继续发现未知攻击类型。模型分布式地增量更新从而不断的吸收未知攻击的分类知识并继续发现未知攻击，形成了一个“模型全局部署-未知攻击发现-模型分布更新”的自演进过程。

所述检测模型在更新后部署到分布式的检测节点上，从而不同的检测节点快速共享了其他节点发现的新型攻击信息。

所述未知攻击检测模型由编码器、解码器和分类器组成，编码器从原始流量特征x中学习潜在特征，基于潜在特征生成重构的流量特征

所述本地模型增量更新采用基于知识蒸馏的增量更新方法，即利用旧模型指导当前模型的训练过程，使得旧模型包含的丰富的已知攻击知识仅在少量历史数据样例参与训练的情况下即可蒸馏到新模型中来，减少历史攻击知识遗忘，加速更新过程。

所述中央服务器通过联邦学习的方式聚合各个入侵检测节点上传的更新参数(W

所述检测模型全局增量更新的主要任务是将最近一个周期内分布式检测节点识别到的所有未知攻击类型信息融合到全局检测模型中来，从而将未知攻击类型转变为新的已知攻击类型。

采用上述方案，本发明在使用时，通过各入侵检测节点被部署在不同子网的边缘网关上，这些子网包括蜂窝网络，数据中心网络和企业网络，通过这种部署方式，分布式入侵检测节点可以监控所有进出流经子网网关的流量，不同分布式检测节点所部署的统一的未知攻击检测模型吸收了所有分布式检测节点本地特有的攻击类别信息；通过分析实时流量的包括协议，负载和交互级别的流量行为特征，检测模型不仅能够对所有分布节点训练集中出现的已知攻击类型进行分类，而且还能筛选出全局未知的新型攻击类型。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。