边缘联邦任务卸载中带宽拒绝分配攻击防护方法

技术领域

本发明属于物联网技术领域，更具体地，涉及一种缘联邦任务卸载中带宽拒绝分配攻击防护方法。

背景技术

边缘联邦学习作为一种在设备本地执行模型训练任务的分布式学习框架，极大地保护了用户的本地数据隐私。在用户的端设备中，当模型在本地训练完成后，参与模型训练的多个端设备需要把本地模型卸载到边缘节点，产生了多接入的边缘联邦学习网络计算模式。在这种模式中，边缘服务访问点通过分配带宽为多接入的边缘联邦学习网络提供了低延迟的计算服务，使得边缘联邦任务快速卸载到边缘服务聚合节点。由于参与边缘联邦学习的端设备在同一个无线网络中上传和下载模型，多个端设备共享同一个联邦学习服务节点的带宽，如何在参与模型训练的端设备间分配有限的带宽资源对于联邦学习的速度和效率有着重要的影响。同时，恶意的端设备利用边缘联邦端设备多接入共享联邦学习服务节点的带宽资源特性发起DDoS(Distributed Denial of Service)攻击，对边缘联邦任务的卸载构成严重的安全威胁。在边缘联邦学习网络中，恶意的边缘联邦端设备发起DDoS攻击时，先通过窃听网络通信来收集合法用户的身份、位置、验证密钥等信息，当一个端设备被攻陷时，其ID、位置、带宽消耗信息被攻击者获取，攻击者开始发起带宽拒绝分配攻击，即恶意的端设备修改其任务完成时间、带宽消耗率和投标价格后，发起一个假的带宽分配请求，联邦学习服务节点接收到假的带宽请求后，根据带宽服务优先权对端设备的服务优先权排序并且分配带宽资源，最终导致一些具有高优先权端设备的带宽需求被忽略，使得联邦学习模型卸载失败。一个可信的边缘联邦任务卸载系统必须在带宽拒绝分配攻击出现时确保计算任务在延迟敏感时间内成功卸载。此外，在带宽资源分配中，端设备作为带宽资源的投标者，边缘联邦服务节点作为带宽资源的拍卖者，在带宽资源拍卖过程中，任何一方进行虚假交易都将导致带宽分配的不均衡，也将导致任务卸载率降低。针对此类攻击，智能的防御系统能自适应观测端设备的带宽需求和状态，同时在区块链的辅助下，能有效地审计拍卖双方带宽资源的虚假交易行为。因此，如何通过安全可靠的带宽资源拍卖算法来消除带宽拒绝分配攻击带来的影响，提高边缘联邦学习网络中多接入端设备共享带宽资源的服务质量仍然是一个挑战性问题。

面对这个挑战，研究者提出了一些基于拍卖的资源分配方法。J.Xu等针对联邦学习服务环境，基于拍卖机制设计带宽资源分配算法来优化多个边缘联邦学习服务节点的整体性能，该方案未考虑DDoS攻击者发起的带宽拒绝分配攻击(“Bandwidth Allocation forMultiple Federated Learning Services in Wireless Edge Networks，”in IEEETransactions on Wireless Communications,vol.21,no.4,pp.2534-2546,April 2022)。X.Liu等针对群智感知系统中不可分割的任务处理，考虑many-to-one任务处理模式，基于双边拍卖算法提出可信的多资源分配机制，但是该方案未能考虑双边拍卖节点间的虚假交易问题(“A Truthful Double Auction Mechanism for Multi-Resource Allocation inCrowd Sensing Systems,”in IEEE Transactions on Services Computing,doi:10.1109/TSC.2021.3075541)。G.Gao等考虑分布式边缘云中截止期敏感性任务处理时，移动用户对VM(Virtual machine)资源的竞争，模型化VM资源分配问题为一个n-to-one加权二部图匹配问题，并且基于拍卖理论提出可信的VM资源分配机制来决定拍卖的获胜者，但该方法未考虑拍卖过程中参与交易的节点的恶意行为对VM资源分配造成的影响(“Auction-Based VM Allocation for Deadline-Sensitive Tasks in DistributedEdge Cloud,”in IEEE Transactions on Services Computing,vol.14,no.6,pp.1702-1716,1Nov.-Dec.2021)。为有效利用有限的频谱资源，R.Zhu等提出一种基于区块链的两阶段安全频谱智能感知系统，在第一阶段，该系统提出反向拍卖的激励机制优化投标策略；在第二阶段，提出基于单位效用的拍卖算法。该系统把交易记录记载到区块链中以确保交易安全，该方法未考虑交易过程中频谱资源的拒绝分配攻击，无法确保迫切需要频谱资源的节点及时获得频谱资源(“ABlockchain-Based Two-Stage Secure Spectrum IntelligentSensing and Sharing Auction Mechanism,”in IEEE Transactions on IndustrialInformatics,vol.18,no.4,pp.2773-2783,April 2022)。这些研究方案还存在如下不足：

(1)已提出的解决方案较少考虑边缘联邦学习网络计算任务卸载中DDoS攻击者发起的带宽拒绝分配攻击，而仅考虑边缘联邦端设备间共享带宽的冲突性，受DDoS攻击时无法确保分布式联邦学习的性能。因此，已提出的解决方案在边缘联邦学习网络中多接入端设备计算任务卸载中的应用具有局限性，并且未针对此类型的攻击提出相应的防护方法。

(2)已提出的解决方案仅考虑了基于拍卖理论的带宽资源分配，未考虑端设备发起的虚假带宽资源分配请求对带宽优先权队列的扰乱。特别是，随着端设备计算任务卸载中请求带宽投标数的增加，导致带宽分配决策空间呈现较高的增长，已有的基于拍卖理论的解决方案未给出相应的处理方法。

(3)已提出的解决方案仅优化了带宽资源的拍卖策略，未考虑带宽资源拍卖过程中端设备和边缘联邦服务节点之间的虚假交易场景，也未结合区块链技术实现对拍卖双方交易的审计。特别是，随着带宽资源交易数据量的增加，节点间不可信的交易概率上升，已有的解决方案未给出相应的审计方法。

发明内容

为了解决以上方法的不足，本发明基于区块链和学习算法来感知攻击者的投标行为和抑制交易双方的恶意行为，从而提出一种边缘联邦任务卸载中带宽拒绝分配攻击防护方法及系统，实现多接入端设备联邦学习任务的低延迟卸载。

为实现上述目的，按照本发明的一个方面，提供了一种边缘联邦任务卸载中带宽拒绝分配攻击防护方法，应用于具有M个端设备和N个边缘联邦服务节点的边缘联邦学习网络，在时隙τ包括以下步骤：

(1)端设备叫价：发送给带宽资源拍卖协调器对边缘联邦服务节点保密的投标向量

对于带宽资源分配请求

(2)带宽资源拍卖器将步骤(1)中所有端设备的投标向量及带宽资源分配请求收集到等待队列中，并计算等待队列中所有带宽分配请求的综合优先权值；所述综合优选权值根据端设备对边缘联邦服务节点的距离以及边缘联邦任务卸载的时间延迟反映被分配带宽资源优先程度，端设备对边缘联邦服务节点的距离越大、或者边缘联邦任务卸载的时间延迟越长，被分配带宽资源优先程度越低；

(3)边缘联邦服务节点叫价：带宽资源拍卖器将收集到的所有带宽资源分配请求按照其所请求的边缘联邦服务节点整理后，将带宽资源分配请求、及其综合优先权分别提交给相应边缘联邦服务节点，所有边缘联邦服务节点各自独立地采用强化学习算法决定其带宽资源销售价格，并将销售价格提交给所述带宽资源拍卖器；

(4)带宽资源拍卖器收到边缘联邦学习服务节点确定带宽资源销售价格后进行撮合交易，若成功成立交易，则由成立交易的端设备和边缘联邦学习服务节点分别上传带宽资源交易记录给智能合约，由智能合约记录并进行审计后，确认交易成功。

优选地，所述边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其步骤(1)所述端设备j的投标价格

状态

其中，

行动

奖励函数

其中，

端设备j的策略是给定状态时给出特定带宽资源投标价格的概率函数，目标为最大化端设备j从时间τ开始以后的时间隙内累积的奖励。

优选地，所述边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其期望的带宽需求

其中，

其中，η

优选地，所述边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其端设备j购买到可用的任务卸载速率

其中，p

优选地，所述边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其端设备j期望的任务卸载速率可计算为：

其中，T

优选地，所述边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其步骤(1)采用深度Q网络模型进行决策。

优选地，所述边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其所述端设备j对边缘联邦服务节点i的带宽分配请求的综合优先权值

其中，β

优选地，所述边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其步骤(3)对于边缘联邦服务节点i其采用的强化学习算法决定其带宽资源销售价格

状态

其中，

行动

奖励函数表示为：

其中，B

边缘联邦服务节点i的策略是给定状态时给出特定带宽资源销售价格的概率函数，目标为最大化边缘联邦服务节点i从时间τ开始以后的时间隙内累积的奖励。

优选地，所述边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其表示智能合约的违反次数带来的惩罚

其中，

边缘联邦服务节点i预测端设备j的带宽资源分配优先权

优选地，所述边缘联邦任务卸载中带宽拒绝分配攻击防护方法，其步骤(3)采用深度Q网络模型进行决策。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)为抵抗DDoS攻击者的带宽拒绝分配攻击，最小化边缘联邦学习任务的卸载延迟，本发明提出两层的多接入端设备可信带宽资源分配框架，该框架考虑了端设备恶意的请求及参与带宽拍卖双方的恶意投标及交易行为，从拍卖带宽资源分配请求到交易过程两个方面保障带宽资源分配的安全性。

(2)由于恶意的端设备通过扰乱带宽资源分配请求队列，获得优先分配权，导致带宽资源分配请求队列优先分配权变得不确定。针对此问题，本发明提出基于强化学习的带宽资源分配双边投标算法，在带宽资源分配请求队列不确定的情况下，结合端设备的带宽资源需求和带宽资源分配混合优先权，利用无模型学习方法自适应优化双边投标策略，与基于模型的方法相比，减少了额外的假设和计算复杂度。

(3)参与拍卖的端设备和边缘联邦服务节点具有自私性，为获得最大收益，拍卖双方进行带宽资源的虚假交易，极大降低了合法的端设备的收益。针对此问题，本发明进一步设计基于区块链的双边带宽资源交易审计机制，通过审计带宽资源分配请求队列中的交易，从而抑制拍卖双方的恶意交易行为。

附图说明

图1是本发明提供的边缘联邦任务卸载中带宽拒绝分配攻击防护方法步骤示意图；

图2是本发明实施例两层的多接入端设备可信带宽资源分配框架结构示意图；

图3是本发明实施例带宽资源交易审计流程。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供的边缘联邦任务卸载中带宽拒绝分配攻击防护方法，应用于具有M个端设备和N个边缘联邦服务节点的边缘联邦学习网络，如图1所示，在时隙τ包括以下步骤：

(1)端设备叫价：发送给带宽资源拍卖协调器对边缘联邦服务节点保密的投标向量

对于带宽资源分配请求

状态

其中，

其中，

其中，η

行动

奖励函数

其中，

端设备j购买到可用的任务卸载速率

其中，p

端设备j期望的任务卸载速率可计算为：

/>

其中，T

端设备j的策略是给定状态时给出特定带宽资源投标价格的概率函数，目标为最大化端设备j从时间τ开始以后的时间隙内累积的奖励，优选采用深度Q网络模型进行决策。

(2)带宽资源拍卖器将步骤(1)中所有端设备的投标向量及带宽资源分配请求收集到等待队列中，并计算等待队列中所有带宽分配请求的综合优先权值；所述综合优选权值根据端设备对边缘联邦服务节点的距离以及边缘联邦任务卸载的时间延迟反映被分配带宽资源优先程度，端设备对边缘联邦服务节点的距离越大、或者边缘联邦任务卸载的时间延迟越长，被分配带宽资源优先程度越低。具体的，端设备j对边缘联邦服务节点i的带宽分配请求的综合优先权值

其中，β

(3)边缘联邦服务节点叫价：带宽资源拍卖器将收集到的所有带宽资源分配请求按照其所请求的边缘联邦服务节点整理后，将带宽资源分配请求、及其综合优先权分别提交给相应边缘联邦服务节点，所有边缘联邦服务节点各自独立地采用强化学习算法决定其带宽资源销售价格，并将销售价格提交给所述带宽资源拍卖器；

对于边缘联邦服务节点i其采用的强化学习算法决定其带宽资源销售价格

状态

行动

奖励函数表示为：

其中，B

其中，

边缘联邦服务节点i预测端设备j的带宽资源分配优先权

边缘联邦服务节点i的策略是给定状态时给出特定带宽资源销售价格的概率函数，目标为最大化边缘联邦服务节点i从时间τ开始以后的时间隙内累积的奖励，优选采用深度Q网络模型进行决策。

(4)带宽资源拍卖器收到边缘联邦学习服务节点确定带宽资源销售价格后进行撮合交易，若成功成立交易，则由成立交易的端设备和边缘联邦学习服务节点分别上传带宽资源交易记录给智能合约，由智能合约记录并进行审计后，确认交易成功。

以下为实施例：

一种边缘联邦任务卸载中带宽拒绝分配攻击防护方法，应用于具有M个端设备和N个边缘联邦服务节点的边缘联邦学习网络。

本发明中，边缘联邦学习网络由多个端设备、边缘联邦服务节点组成，服务访问点和微云服务器组成边缘联邦服务节点。双层抗带宽拒绝分配攻击框架如图2所示，其中可信带宽资源拍卖层实现端设备和边缘联邦服务节点之间的拍卖策略优化，使得拍卖双方获得最大效用；带宽资源交易审计层作为后端系统，主要实现对拍卖双方虚假交易的约束，保障拍卖结果的不可否认性。当多个设备卸载边缘联邦训练任务时，边缘联邦服务节点负责为端设备分配带宽。由于旧的卸载任务随着时间的推移而完成，新的卸载任务会启动，带宽资源的分配必须定期地执行以适应当前的任务卸载活动。假定在时间隙τ，N个边缘联邦服务节点为M个端设备提供带宽资源服务，端设备在多个边缘联邦服务节点中搜索和竞争空闲的带宽资源。

令B

此时，端设备j可用的任务卸载速率表示为：

其中，p

其中，T

为抑制恶意端设备的主动DDoS攻击，面临的主要挑战是为边缘联邦服务节点设计可信的带宽需求模型和带宽资源交易机制。本发明设计了一个基于区块链的带宽需求控制方法，在此方法中，每个边缘联邦服务节点作为带宽资源的拍卖者执行在线的学习算法并分配带宽资源，以此来保障合法端设备的带宽资源需求。令e表示端设备集合，f表示边缘联邦服务节点集合，端设备作为投标者获取所需的带宽资源，边缘联邦服务节点作为拍卖者为端设备分配带宽资源。在此拍卖模型中，每个端设备能对f中的任何一个边缘联邦服务节点投标。

在时隙τ包括以下步骤：

(1)端设备叫价：发送给带宽资源拍卖协调器对边缘联邦服务节点保密的投标向量

定义b

在端设备卸载计算任务的过程中，端设备j一旦发现其带宽资源低于一个特定的阈值

在理想情况下，根据端设备的投标，拍卖者将分配带宽资源给每个端设备。然而，由于边缘联邦服务节点的带宽资源平均可用性统计特征λ

对于带宽资源分配请求

状态

其中，

其中，

其中，η

在DDoS攻击下，端设备的混合优先权发生变化，其变化影响了端设备预期的带宽需求。

行动

由端设备带宽变化的动态方程可知，在受DDoS攻击或未受DDoS攻击时，端设备的带宽需求是不同的，令

/>

其中，

奖励函数

其中，

端设备j购买到可用的任务卸载速率

其中，p

端设备j期望的任务卸载速率可计算为：

其中，T

端设备j的策略是给定状态时给出特定带宽资源投标价格的概率函数，目标为最大化端设备j从时间τ开始以后的时间隙内累积的奖励，优选采用深度Q网络模型进行决策。

(2)带宽资源拍卖器将步骤(1)中所有端设备的投标向量及带宽资源分配请求收集到等待队列中，并计算等待队列中所有带宽分配请求的综合优先权值；所述综合优选权值根据端设备对边缘联邦服务节点的距离以及边缘联邦任务卸载的时间延迟反映被分配带宽资源优先程度，端设备对边缘联邦服务节点的距离越大、或者边缘联邦任务卸载的时间延迟越长，被分配带宽资源优先程度越低。具体的，端设备j对边缘联邦服务节点i的带宽分配请求的综合优先权值

/>

其中，β

对于端设备j，越高的混合优先权，将获得较高的带宽分配优先权。恶意端设备发起DDoS攻击时，使得混合优先权变得不确定，导致高优先权的端设备无法获得带宽分配。因此，本发明结合混合优先权来优化拍卖价格，从而使得合法的端设备获得合理的带宽分配优先权。

(3)边缘联邦服务节点叫价：带宽资源拍卖器将收集到的所有带宽资源分配请求按照其所请求的边缘联邦服务节点整理后，将带宽资源分配请求、及其综合优先权分别提交给相应边缘联邦服务节点，所有边缘联邦服务节点各自独立地采用强化学习算法决定其带宽资源销售价格，并将销售价格提交给所述带宽资源拍卖器；

收到带宽资源分配请求后，记录并形成一个等待队列，具有高优先权的端设备被优先分配带宽资源，定义端设备的优先权为时间优先权和空间优先权，时间优先权定义为边缘联邦任务卸载的时间延迟

令在时间隙τ，边缘联邦服务节点的带宽资源销售价格为

对于边缘联邦服务节点i其采用的强化学习算法决定其带宽资源销售价格

状态

行动

奖励函数表示为：

其中，B

/>

其中，

边缘联邦服务节点i预测端设备j的带宽资源分配优先权

边缘联邦服务节点i的策略是给定状态时给出特定带宽资源销售价格的概率函数，目标为最大化边缘联邦服务节点i从时间τ开始以后的时间隙内累积的奖励，优选采用深度Q网络模型进行决策。

令

为了防止DDoS攻击者的超限需求导致带宽分配服务被拒绝以及边缘联邦服务节点违反带宽资源交易的智能合约条件，边缘联邦服务节点观测端设备的混合带宽资源分配优先权，并出示其销售价格，最大化其效用如下：

其中，Ε{·}表示随机变量

令

时，端设备j完成对边缘联邦服务节点i的带宽资源竞标并分配了带宽资源，否则/>

本发明提出基于强化学习的双边带宽资源拍卖算法来实现受DDoS攻击的边缘联邦任务卸载中可信的带宽资源分配。通过此算法探索和学习端设备和边缘联邦服务节点的双边拍卖策略，从而解决在DDoS攻击下带宽资源混合优先权队列不稳定所造成的带宽分配不均问题。此算法中的决策者为边缘联邦服务节点以及端设备，他们通过与拍卖环境的交互，观察当前的状态并采取行动。在每个时间步，智能体从拍卖环境中接收一个对于执行行动的奖励信号，智能体通过多步的决策及采取行动来最大化累积的奖励。在双边带宽资源拍卖算法中，端设备和边缘联邦服务节点作为参与拍卖的智能体，令带宽拍卖的状态空间为

对于边缘联邦服务节点进行带宽分配时，观测其带宽资源分配优先权队列。由于DDoS的攻击，在边缘联邦服务节点中存储的带宽资源分配优先权队列是动态变化的，通过混合优先权可获得宽资源分配优先权状态：

在给定的状态s(τ)，智能体从行动集合

对于每个端设备以最低的投标价格满足预期的带宽需求和计算任务的卸载率。因此，在时间隙τ，端设备j的奖励函数表示如下：

在学习算法中，端设备和边缘联邦服务节点作为智能体，其策略π(s(τ),a(τ))是给定状态s(τ)时，选择行动a(τ)概率的函数，智能体的目标是最大化从时间τ开始以后的时间隙内累积的奖励，在策略π(s(τ),a(τ))下定义action-value函数Q

其中，γ∈(0,1]表示打折因子，最优的action-value函数Q

Q

在学习算法中，本发明使用Q

Q(s(τ),a(τ))＝(1-α)Q(s(τ),a(τ))+α(r(τ+1)+γmax(s(τ+1),a(τ+1)))

其中，α∈(0,1)是学习率。本发明提出的基于强化学习的抗DDoS攻击的带宽资源拍卖算法步骤如下：在时间隙τ，边缘联邦服务节点和端设备在当前状态s(τ)，使用行动a(τ)提交他们的价格，然后从环境中获得奖励r(τ+1)，随后，带宽拍卖的状态空间传递到下一个状态s(τ+1)，接下来在时间步τ+1，算法使用式(16)，使用(s(τ),a(τ))更新Q值。具体如算法1所示：

算法1：

输入：学习率α∈(0,1)

输出：端设备和边缘联邦服务节点的带宽资源各自的成交价格。

步骤1：初始化Q

步骤2：while带宽资源混合优先权队列不为空do

步骤3：端设备观测其状态

步骤4：从a(τ)中选择各自的行动

步骤5：端设备提交价格

步骤6：更新Q

步骤7：τ＝τ+1

步骤8：end while

基于区块链的带宽资源拍卖过程如图1所示，在交易价格确定后，端设备和边缘联邦服务节点通过调用智能和上传交易信息到区块链系统，然后区块链系统审计交易的合法性。

(4)带宽资源拍卖器收到边缘联邦学习服务节点确定带宽资源销售价格后进行撮合交易，若成功成立交易，则由成立交易的端设备和边缘联邦学习服务节点分别上传带宽资源交易记录给智能合约，由智能合约记录并进行审计后，确认交易成功。

基于区块链的带宽资源交易审计流程如图3所示，在每个带宽资源拍卖轮中，带宽资源拍卖混合优先权队列中的交易记录在超级账本中，区块链系统中的审计员验证交易价格是否被更改，如果没有被端设备和边缘联邦服务节点更改，审计员则对交易记录打上标记，成为最终交易。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。