基于Markov演化模型的多阶段平台动态防御方法

技术领域

本公开涉及计算机网络信息安全技术领域，尤其涉及一种基于 Markov演化模型的多阶段平台动态防御方法。

背景技术

平台动态防御是通过转移网络平台的攻击面，提升网络安全性能的 一种动态目标防御方法。与传统防御方法相比，平台动态防御在解决攻 防信息不对称、安全漏洞多样隐蔽等方面具有明显优势，可为目标系统 提供规避攻击的“机动”条件，变被动防护为主动防御。多平台迁移是 平台动态防御技术重要的实施手段之一，通过对不同的主机部署不同的 操作系统平台，并由调度中心对上线平台进行周期性的迁移，从而使系 统的漏洞信息呈现出动态变化的趋势，平台的迁移规则很大程度上决定 了防御的效果，高效的迁移策略是部署多平台迁移的重点和难点。在动 态防御过程中，平台迁移应具有随机性，节点在遭受攻击后可按照某种 规则选择健康平台上线，并将染毒平台下线清洗。对整个网络而言，节 点在遭受多轮次攻击后可能被病毒感染，也会以一定概率将病毒扩散感 染到相邻节点，存在“感染—演化—感染相邻节点—相邻节点再演化…” 的趋势，攻防过程呈现出多阶段博弈特征，节点平台迁移状态和病毒传 播趋势也具有随机性，属于典型有限理性行为，攻防双方结合己方认知 调整策略以适应对手的变化，最终达到动态稳定。

动态目标防御是网络安全领域的新事物，相关技术中，对该技术的 研究主要是从单纯防御视角思考网络安全防御问题，开展策略设计和效 能分析。然而，平台动态防御所面临的攻防环境和过程相对复杂，攻防 双方互为博弈，上述研究技术对攻防过程中双方的交互考虑不足。因此， 有必要改善上述相关技术方案中存在的一个或者多个问题，以提升持续 性和阶段性攻击下平台动态防御的效率。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公 开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现 有技术的信息。

发明内容

本公开实施例的目的在于提供一种基于Markov演化模型的多阶段 平台动态防御方法，以提升持续性和阶段性攻击下平台动态防御的效率。

本公开提供了一种基于Markov演化模型的多阶段平台动态防御方 法，该方法包括以下步骤：

创建多阶段Markov平台动态防御演化博弈模型；

对所述多阶段Markov平台动态防御演化博弈模型对应的混合策略 纳什均衡进行求解；

根据所述均衡解结果得到最优迁移策略。

本公开的一实施例中，所述多阶段Markov平台动态防御演化博弈模 型由多个单阶段Markov平台动态防御演化博弈模型构成，

所述对所述多阶段Markov平台动态防御演化博弈模型对应的混合 策略纳什均衡进行求解的步骤包括：

分别对多个所述单阶段Markov平台动态防御演化博弈模型均衡求 解；

根据多个所述单阶段的均衡求解计算出所述多阶段的均衡求解。

本公开的一实施例中，所述单阶段Markov平台动态防御演化博弈模 型为4元组模型SPDDE＝(N,B,P,U)，其中，

N＝(N

B＝(DS,AS)为双方策略空间，攻击方策略表示为AS＝{AS

P＝{p

U＝{U

本公开的一实施例中，多阶段Markov平台动态防御演化博弈模型为 9元组模型MMPDDE＝(N,T,B,P,ξ,S

其中，

N＝(N

T是多阶段博弈的阶段总数，k∈{1,2,…,T}，T∈N

B′＝(DS′,AS′)是双方策略空间，防御方策略为

ξ为折现因子，用于表示当前收益与初始收益的折现情况，满足0≤ξ≤1；

S＝{S

η表示状态转移概率，η

本公开的一实施例中，所述分别对多个所述单阶段Markov平台动态 防御演化博弈模型均衡求解的步骤，包括：

计算在攻防策略下各阶段所述防御方和所述攻击方的收益；

计算所述防御方的期望收益以及平均收益，得到所述防御方的复制 动态方程；

计算所述攻击方的期望收益以及平均收益，得到所述攻击方的复制 动态方程；

根据所述防御方、攻击方的复制动态方程得到各阶段Markov平台动 态防御演化博弈的均衡解。

本公开的一实施例中，

所述防御方的收益U

所述攻击方的收益U

其中，λ为感染概率，C

本公开的一实施例中，

所述防御方的期望收益

所述防御方的平均收益

所述防御方的复制动态方程为

本公开的一实施例中，

所述攻击方的期望收益

所述攻击方的平均收益

所述攻击方的复制动态方程为

本公开的一实施例中，所述根据多个所述单阶段的均衡求解计算出 所述多阶段的均衡求解的步骤，包括：

分别计算所述防御方、攻击方的未来折现收益；

采用动态规划法，利用所述防御方、攻击方的未来折现收益以及所 述单阶段的均衡求解，得到所述多阶段的均衡求解。

本公开的一实施例中，

所述防御方的未来折现收益为

所述攻击方的未来折现收益为

本公开提供的技术方案可以包括以下有益效果：

本公开的实施例中，利用Markov过程的无后效性简化节点之间关系， 创建多阶段Markov平台动态防御演化博弈模型，通过对纳什均衡在多阶 段Markov平台动态防御演化博弈中的存在性，得到了纳什均衡解和最优 迁移策略选取算法，提升了持续性和阶段性攻击下平台动态防御效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解 释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合 本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见的， 下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人 员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他 的附图。

图1示出本公开示例性实施例中一种基于Markov演化模型的多阶段 平台动态防御方法的步骤示意图；

图2示出本公开示例性实施例中平台迁移过程图；

图3示出本公开示例性实施例中多阶段演化博弈原理图；

图4示出本公开示例性实施例中一种基于Markov演化模型的多阶段 平台动态防御方法的步骤示意图；

图5示出本公开示例性实施例中一种基于Markov演化模型的多阶段 平台动态防御方法的步骤示意图；

图6示出本公开示例性实施例中一种基于Markov演化模型的多阶段 平台动态防御方法的步骤示意图；

图7示出本公开示例性实施例中网络攻击图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式 能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提 供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构 思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以 任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图 中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描 述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上 独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个 或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处 理器装置和/或微控制器装置中实现这些功能实体。

本示例实施方式中首先提供了一种基于Markov演化模型的多阶段 平台动态防御方法，参考图1中所示，该方法可以包括以下步骤：

步骤S101：创建多阶段Markov平台动态防御演化博弈模型；

步骤S102：对所述多阶段Markov平台动态防御演化博弈模型对应 的混合策略纳什均衡进行求解；

步骤S103：根据所述均衡解结果得到最优迁移策略。

本公开的实施例中，利用Markov过程的无后效性简化节点之间关系， 创建多阶段Markov平台动态防御演化博弈模型，通过对纳什均衡在多阶 段Markov平台动态防御演化博弈中的存在性，得到了纳什均衡解和最优 迁移策略选取算法，提升了持续性和阶段性攻击下平台动态防御效率。

下面，将对本示例实施方式中的上述方法的各个步骤进行更详细的 说明。

在步骤S101中，网络攻防过程实质上是攻防双方的多阶段博弈，防 御的决策和具体行动应基于对整体网络攻防复杂行为的持续动态分析， 而单阶段博弈模型往往难以完整的描述网络中各节点之间关系复杂。因 此，可利用Markov过程的无后效性简化节点之间关系，创建多阶段演化 博弈模型。

在一个实施例中，所述多阶段Markov平台动态防御演化博弈模型由 多个单阶段Markov平台动态防御演化博弈模型构成。

网络是由多个节点按照一定的拓扑结构和逻辑关系连接而成的，攻 击者通常根据网络结构特点制定攻击图，开展针对性的节点感染和网络 破坏。在平台动态防御体系中，节点应用动态防御技术和主动迁移预防 网络攻击，一次平台迁移的过程如图2所示。其中，防御方利用虚拟化 技术在每个节点上虚拟出多个服务器平台，经由多态化处理，构成在线 虚拟服务器平台池。在可信控制器的集中控制下，受攻击节点从虚拟服 务器平台池中选择迁移平台，正在运行的平台会在处理完现有的服务请 求后进入离线状态，所选择的平台进入上线状态，从而实现平台的迁移。 进入离线状态的平台，会把内存和文件系统恢复到初始状态，完成一次 清洗。至此，第一个被感染的节点完成了一个防御周期。由于网络环境 中始终存在病毒，其他相邻节点存在被感染的威胁，一旦相邻节点被感 染，则进入下一阶段的演化。

在现实网络环境中，攻击和防御行动不是简单的单回合对决，通常 是针对网络整体和多类型节点的多阶段攻防。对于具体的节点而言，迁 移的备选平台与当前在线平台的结构相似性直接影响着迁移的成本和迁 移完成后对攻击者新一轮攻击的免疫能力，多阶段平台动态防御需要从 安全和成本两个方面进行考虑，针对病毒的分布概率和感染性，尽可能 减少无效的迁移，实现平台动态防御系统在外部病毒环境下对节点状态 迁移的提前预测和最优控制。

网络攻防对抗具有周期性和阶段性特征。被攻击节点对于攻击者信 息的掌握通常相对有限，很难直接做出最合理的迁移决策，网络节点是 由多个服务器组成的，平台的迁移以服务器为单位实施，服务器在攻防 周期中根据收益情况自我调整迁移策略，最终整个节点趋向于选择某个 稳定策略，被攻击节点趋向稳定的过程是单阶段演化博弈的过程。在被 攻击节点达到动态稳定后，病毒以一定的概率向周边节点扩散，在新感 染的节点上继续进行单阶段演化博弈，最终也达到了稳定状态，周边节 点从被感染到动态稳定的过程是多阶段演化博弈的过程。多阶段博弈原 理如图3所示。整体上看，多阶段平台动态防御是“演化—稳定—演化” 的动态博弈过程，并非限定于某一固定状态。

即在多阶段平台动态防御的Markov演化博弈中：①单阶段的演化稳 定策略是多阶段的基础，多阶段平台动态防御是由多个单阶段的防御构 成的，直接对多阶段演化稳定策略进行分析比较困难。②转移概率η决定 了多阶段演化的趋势，转移概率的值与攻防双方的状态和网络结构有着 密切的关系，确定起来相对复杂，η的合理设置，是演化博弈的关键。因 此，对多阶段平台动态防御的分析可以从单阶段防御和确定的转移概率 入手。

具体的，在该多阶段Markov平台动态防御演化博弈模型中，定义以 下参数及收益计算：

资源重要程度C

攻击面转移成本ASSC，指平台迁移时需要付出的系统开销。攻击面 转移成本与平台差异程度有关，平台越相似，成本越低。

负面影响成本NC，指平台迁移时，带来的服务质量下降。

攻击成本AC，攻击者进行攻击时所付出的代价。攻击成本与漏洞的 威胁级别有关，漏洞的级别越高，攻击成本就越低。

感染概率λ，指平台被病毒感染的概率。若操作系统和病毒类型不同， λ＝0；若相同，则λ为漏洞利用成功概率。

综上，防御节点的收益可表示为

U

攻击者收益源于感染平台后得到的收益，与感染概率有关，则攻击 收益可表示为

U

此外，定义单阶段Markov平台动态防御演化博弈模型(SPDDE, Single-stagePlatform Dynamic Defense Evolutionary game model)，表示为 4元组SPDDE＝(N,B,P,U)，其中，

N＝(N

B＝(DS,AS)为双方策略空间，攻击方策略表示为AS＝{AS

P＝{p

U＝{U

用a

分别记q

定义多阶段Markov平台动态防御演化博弈模型MMPDDE(Multi-stage MarkovPlatform Dynamic Defense Evolutionary game model)，可表示为 MMPDDE＝(N,T,B,P,ξ,S

N＝(N

T是多阶段博弈的阶段总数，k∈{1,2,…,T}，T∈N

B′＝(DS′,AS′)是双方策略空间，防御方策略为

ξ为折现因子，用于表示当前收益与初始收益的折现情况，满足0≤ξ≤1；

S＝{S

η表示状态转移概率，η

用目标函数F表示当前收益和折现收益之和，并作为选择策略的标准。 考虑系统在不同的阶段时，双方的收益也不同，用折现因子ξ体现未来收 益值和当前收益值的区别。分别用

步骤S102中，多阶段Markov平台动态防御演化博弈中，存在多个 单阶段演化博弈过程，这些过程相互独立并且相似，待选策略的空间也 是有限的，因此存在混合策略下的纳什均衡。同时，根据定义的转移概 率和收益计算方法可知，存在与该模型对应的有限随机博弈，且收益函 数为凸函数。根据有限随机博弈的均衡策略存在性定理，该有限随机博弈存在混合策略下的纳什均衡，通过该纳什均衡可得多阶段Markov平台 动态防御演化博弈模型对应的混合策略纳什均衡。

设攻防双方演化博弈进行至第k阶段，

由Markov决策准则，攻防博弈双方存在Markov最优响应策略

在一个实施例中，参见图4，步骤S102包括步骤S201、S202，其中，

步骤S201：分别对多个所述单阶段Markov平台动态防御演化博弈 模型均衡求解。

步骤S202：根据多个所述单阶段的均衡求解计算出所述多阶段的均 衡求解。

参见图5，步骤S201又包括步骤S301～S304，其中，

步骤S301：计算在攻防策略下各阶段所述防御方和所述攻击方的收 益。

步骤S302：计算所述防御方的期望收益以及平均收益，得到所述防 御方的复制动态方程。

步骤S303：计算所述攻击方的期望收益以及平均收益，得到所述攻 击方的复制动态方程。

步骤S304：根据所述防御方、攻击方的复制动态方程得到各阶段Markov平台动态防御演化博弈的均衡解。

具体的，对各单阶段Markov平台动态防御演化博弈模型均衡求解过 程如下：

由式(1)计算防御方的期望收益和平均收益

由式(2)得到防御方的复制动态方程

对于攻击方，同理可得

联立式(9)和式(11)，令

在一个实施例中，参见图6，步骤S202包括步骤S401、S402，其中，

步骤S401：分别计算所述防御方、攻击方的未来折现收益。

步骤S402：采用动态规划法，利用所述防御方、攻击方的未来折现 收益以及所述单阶段的均衡求解，得到所述多阶段的均衡求解。

具体的，所述防御方的未来折现收益为

采用动态规划法求解多阶段均衡策略

依据演化博弈理论，式(12)最优解集合

将所提模型与现有成果对比，现有的成果主要利用静态防御，诸如打 补丁、关闭服务器、删除可疑账户等手段，基于博弈参与者双方的非完全 理性特征，利用演化博弈开展单阶段或多阶段的研究。鉴于静态防御理念 和技术的局限性，动态目标防御等新型主动防御成为解决高水平持续性威 胁等网络安全问题的重要手段，通过多阶段演化博弈确定平台迁移规则， 提升了持续性和阶段性攻击下平台动态防御效率，对平台动态防御的实际部署和网络安全防御系统运维具有重要价值。

仿真实验和分析：

在实验环境中，通过虚拟机在网络节点上构建冗余平台，部署平台动 态防御环境。利用Nessus工具扫描实验网络环境，根据国家信息安全漏洞 库和美国国家漏洞库有关数据，相关技术中漏洞利用成功概率计算方法， 获得平台漏洞信息(如表1所示)，平台漏洞利用成功率即为病毒感染概 率。根据系统漏洞和网络拓扑结构，得到如图7的攻击图。设计状态集合 为S＝{S

表1漏洞信息

设初始阶段上线平台类型为平台1、平台2和平台3，对应各阶段可 用防御策略集为

参照历史数据和专家经验确定转移概率的方法，设状态转移概率为固 定值，转移概率如表2所示。为了便于比较，设节点初始状态均为类 Windows操作系统平台。

表2跳变概率

设折现因子ξ＝0.5，资源重要程度C

表3双方收益

求解得到各阶段均衡策略如表4所示，

表4均衡策略收益

结果分析：

设攻击者以数据库服务器

综上，本公开提供的基于Markov演化模型的多阶段平台动态防御方 法，利用Markov过程的无后效性简化节点之间关系，创建多阶段Markov 平台动态防御演化博弈模型，通过对纳什均衡在多阶段Markov平台动态 防御演化博弈中的存在性，得到了纳什均衡解和最优迁移策略选取算法， 提升了持续性和阶段性攻击下平台动态防御效率。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想 到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或 者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原 理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说 明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权 利要求指出。