缓存与路由策略优化与网络内容分发方法、装置以及设备

技术领域

本发明涉及通信技术领域，尤其涉及一种缓存与路由策略优化与网络内容分发方法、装置以及设备。

背景技术

由于新兴网络应用技术(如虚拟现实、增强现实等)的不断兴起导致了移动互联网流量的爆炸性增长，并对下一代无线网络提出了更高的服务要求，如更低网络传输延迟、更高链路带宽容量及支持大规模用户接入等。

移动云计算(MCC)集中式的服务模式很难应对上述挑战，通过有效分配异构网络资源从而改善内容交付并确保网络服务质量(QoS)，是未来无线网络中亟待解决的关键问题。

移动边缘计算(MEC)通过整合移动网络边缘的计算和缓存能力，提供灵活的连接、实时响应和流量卸载，以满足用户的服务需求。但是，鉴于边缘资源的异构性和局限性，无法对网络内容进行较好的分发，且产生较大的流量负载压力，导致移动边缘计算(MEC)很难有效地改善内容交付并满足海量移动用户的差异化服务需求，降低网络内容请求的服务质量。

发明内容

本发明提供了一种缓存与路由策略优化与网络内容分发方法、装置以及电子设备，能实现对用于网络内容分发的缓存与路由策略进行优化，且减轻核心网络的流量负载压力，提高网络内容请求的服务质量。

根据本发明的一方面，提供了一种缓存与路由策略优化方法，包括：

构建网络内容流行度模型与网络结构模型，所述网络结构模型包括终端、基站以及云端，基站通过核心网络与云端连接，每个基站下挂载终端；

构建在网络流行度模型与网络结构模型下的最大化流量卸载模型，所述最大化流量卸载模型用于将网络资源分配任务转换为卸载网络内容请求流量任务；

依据缓存策略与路由策略对各个网络内容请求在最大化流量卸载模型下所卸载的流量进行求解；

依据卸载流量求解结果对所述缓存策略与路由策略进行优化，以实现最大化卸载内容请求的流量进行网络内容分发优化。

根据本发明的一方面，提供了另一种网络内容分发方法，采用本实施例中任一所述的缓存与路由策略优化方法得到的缓存策略与路由策略，所述方法包括：

加载优化完成的缓存策略与路由策略；

采用优化完成的缓存策略与路由策略指示的缓存与路由结果，对网络内容进行分发。

根据本发明的又一方面，提供了一种缓存与路由策略优化装置，包括：

网络模型构建模块，用于构建网络内容流行度模型与网络结构模型，所述网络结构模型包括终端、基站以及云端，基站通过核心网络与云端连接，每个基站下挂载终端；

卸载模型构建模块，用于构建在网络流行度模型与网络结构模型下的最大化流量卸载模型，所述最大化流量卸载模型用于将网络资源分配任务转换为卸载网络内容请求流量任务；

卸载流量确定模块，用于依据缓存策略与路由策略对各个网络内容请求在最大化流量卸载模型下所卸载的流量进行求解；

策略优化模块，用于依据卸载流量求解结果对所述缓存策略与路由策略进行优化，以实现最大化卸载内容请求的流量进行网络内容分发优化。

根据本发明的又一方面，提供了一种网络内容分发装置，采用本实施例中任一所述的缓存与路由策略优化方法得到的缓存策略与路由策略，所述装置包括：

加载模块，用于加载优化完成的缓存策略与路由策略；

分发模块，用于采用优化完成的缓存策略与路由策略指示的缓存与路由结果对网络内容进行分发，用于实现最大化卸载内容请求流量。

根据本发明的又一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的缓存与路由策略优化或网络内容分发方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的缓存与路由策略优化或网络内容分发方法。

本发明实施例的技术方案，通过构建网络内容流行度模型与网络结构模型，所述网络结构模型包括终端、基站以及云端，基站通过核心网络与云端连接，每个基站下挂载终端；构建在网络流行度模型与网络结构模型下的最大化流量卸载模型，所述最大化流量卸载模型用于将网络资源分配任务转换为卸载网络内容请求流量任务；依据缓存策略与路由策略对各个网络内容请求在流量卸载模型下所卸载的流量进行求解；依据卸载流量求解结果对所述缓存策略与路由策略进行优化，用以实现最大化卸载内容请求的流量进行网络内容分发优化，引入云边端协作条件下的网络流量卸载问题，在云端、边缘节点以及终端设备三者协同工作下实现对用于网络内容分发的缓存与路由策略进行优化，基于优化的缓存与路由策略能极大缓解了移动核心网络压力，有效降低网络内部的冗余传输和网络域内、域间流量负载，进一步提高整个网络的内容分发效率。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例提供的一种缓存与路由策略优化方法的流程图；

图2是根据本发明实施例所适用的网络结构模型的场景示意图；

图3是根据本发明实施例所适用的不同策略在不同缓存容量下的流量卸载性能示意图；

图4是根据本发明实施例所适用的不同策略在不同内容流行度下的流量卸载性能示意图；

图5是根据本发明实施例所适用的不同策略在不同内容种类数下的流量卸载性能示意图；

图6是根据本发明实施例所适用的不同策略在不同请求到达率下的流量卸载性能示意图；

图7是根据本发明实施例所适用的不同缓存容量下DQN奖励值函数的收敛曲线示意图；

图8是根据本发明实施例提供的一种网络内容分发方法的流程图；

图9是根据本发明实施例提供的一种缓存与路由策略优化装置的结构示意图；

图10是根据本发明实施例提供的一种网络内容分发装置的结构示意图；

图11是实现本发明实施例的缓存与路由策略优化方法或网络内容分发方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在一些初步尝试过程中，提出了多层边缘网络节点协作框架与边端协作策略，可达到减轻核心网流量压力、降低网络内容传输时延，并及时响应移动用户的大部分内容请求。在时变复杂的环境中，可将人工智能技术应用于移动边缘计算(MEC)以进一步提高网络处理性能。同时，也提出将强化学习应用于MEC框架，以优化无线系统中的资源分配，并促进MEC辅助网络中的内容交付。但是，鉴于边缘资源的异构性和局限性，MEC很难有效地改善内容交付并满足海量移动用户的差异化服务需求。

图1为本发明实施例提供了一种缓存与路由策略优化方法的流程图，本实施例可适用于在云端、边缘节点以及终端设备三者协同工作下如何更好地进行网络分发的情况，该方法可以由缓存与路由策略优化装置来执行，该缓存与路由策略优化装置可以采用硬件和/或软件的形式实现，该缓存与路由策略优化装置可配置于任何具有网络通信功能的电子设备中。如图1所示，该方法可包括：

S110、构建网络内容流行度模型与网络结构模型，所述网络结构模型包括终端、基站以及云端，基站通过核心网络与云端连接，每个基站下挂载终端。

参见图2，为了优化网络资源分配与内容分发效率，这里综合考虑移动用户终端、基站和云端分层异构网络中缓存、计算和通信的资源联合分配情况。构建的网络结构模型中可以包括移动用户终端MC、基站BS以及云端Cloud。其中，基站BS通过复杂的核心网络与云端Cloud连接，每个基站BS下可挂载一部分终端MC。

作为一种可选但非限定的实现方式，构建网络内容流行度模型，可以包括以下过程：

依据齐普夫定律构建网络内容流行度模型，所述网络内容流行度模型用于描述网络内容的请求概率。

本案可以根据齐普夫定律来设计网络内容的流行度模型。假设系统中内容种类数为F，可用p

其中，r

作为一种可选但非限定的实现方式，构建网络结构模型，可以包括以下过程：

以云边端分层异构网络为基础，构建分层异构的网络结构模型，所述网络结构模型中基站之间相互直连，相互直连的基站内缓存的网络内容能通过光纤高速互传，终端通过无线连接方式接入基站。

参见图2，为了有效分析云边端协同异构网络下的流量卸载问题，构建了分层异构网络结构模型，该模型包含移动用户终端MC、基站BS以及云端Cloud。在网络结构模型中，云端Cloud通过复杂的核心网络与多个基站BS相连，同时由于信道条件与地理位置的限制，每个基站BS与其覆盖范围内的V

本案构建的网络结构模型考虑基站BS之间相互直连的情形，相互直连的基站内资源能够通过光纤网络高速互传。终端MC采取无线连接的方式接入相应基站BS。在该网络结构模型内，云端Cloud可为终端MC提供一切所需的网络内容，基站BS与终端MC具有有限的缓存容量与请求队列长度。第i个基站BS的缓存容量与请求队列长度可分别表示为C

采用上述方式，本方案立足现有不足，提出了一种基于云边端资源协同的网络内容流行度模型与网络结构模型，便于后续以网络内容流行度模型与网络结构模型为基础，进一步分析在异构无线网络条件下分析最大化卸载流量情况，从而实现缓存与路由策略的优化，后续可以使用优化的缓存与路由策略进行网络内容分析，进而有效缓解核心网络流量负载压力，减少网络中冗余传输，提高网络资源协作与内容分发效率。

S120、构建在网络流行度模型与网络结构模型下的最大化流量卸载模型，所述最大化流量卸载模型用于将网络资源分配任务转换为卸载网络内容请求流量任务。

最大化流量卸载模型可以包括终端流量卸载模型与基站流量卸载模型，构建的移动用户终端流量卸载模型，可以包括本地MC流量卸载模型以及非直连MC流量卸载模型。构建的基站流量卸载模型，可以包括本地BS流量卸载模型以及直连BS流量卸载模型。终端流量卸载模型用于输出在终端处卸载的网络内容请求流量，基站流量卸载模型用于输出在基站处卸载的网络内容请求流量。通过建立最大化流量卸载模型将最优网络资源分配问题转化为卸载用户请求流量负载问题，并构建最大化流量卸载模型，这样就可以根据卸载流量情况来优化优化网络资源的分配和最佳路由路径传输，实现更好的云边端资源协同的网络内容分发。

分析不同请求处理方式下的卸载流量，并将最大化流量卸载模型，分为移动用户终端流量卸载模型(包括本地MC流量卸载模型与非直连MC流量卸载模型)，基站流量卸载模型(包括本地BS流量卸载模型与直连BS流量卸载模型)，并给出了最优资源分配问题的优化目标。

作为一种可选但非限定的实现方式，构建在网络流行度模型与网络结构模型下的最大化流量卸载模型，可包括以下步骤B1-B2的过程：

步骤B1、构建移动终端的终端流量卸载模型，所述终端流量卸载模型包括本地终端流量卸载模型以及非直连终端流量卸载模型，所述终端流量卸载模型用于输出在终端处卸载的网络内容请求流量。

构建移动用户终端流量卸载模型，分别为本地MC流量卸载模型与非直连MC流量卸载模型。

对于本地终端MC流量卸载模型：若第m个终端MC提出网络内容请求的网络内容k，其中第m个终端MC挂载在第i个基站BS处，如果请求在本地终端MC处得到响应，则本地终端MC流量卸载模型可表示为：

其中，

对于非直连终端MC流量卸载模型：若该网络内容请求未在本地终端MC处得到满足，则根据路由策略网络内容请求会被路由至第i个基站BS下其他非直连终端MC处，若请求在第n个非直连终端MC处得到响应，则非直连终端MC流量卸载模型可表示为：

其中，

步骤B2、构建基站的基站流量卸载模型，所述基站流量卸载模型包括本地基站流量卸载模型以及直连基站流量卸载模型。所述基站流量卸载模型用于输出在基站处卸载的网络内容请求流量。

对于本地基站BS流量卸载模型，若第i个基站BS处收到来自其下挂载的终端MC提出的请求网络内容K的网络内容请求时，如果网络内容请求在本地基站BS处得到响应，则本地基站BS流量卸载模型可写为：

其中，f

对于直连基站BS流量卸载模型：若该请求未在本地BS处得到满足，则根据路由策略请求会被路由至其他直连BS处，若请求在第j个直连BS处得到响应，则直连BS流量卸载模型可写为

其中，

为了提高网络资源协作和内容分发效率，本案设计了云边端协同卸载方案，可以实现缓存、计算、通信的资源集成分配和网络内缓存与路由之间的联合优化。基于上述分析，最优资源分配问题的目标是最大化卸载用户请求的流量，故最大化流量卸载模型可表示为：

其中，优化目标

在这些约束条件中，C

表1

表2

采用上述方式，本案将最优资源分配问题转化为卸载用户请求流量负载问题，得到了最大化流量卸载模型，并利用缓存策略与路由策略寻求获取内容缓存的最优路由路径对系统进一步优化求解，同时采用基于缓存策略与路由策略对所设计模型进行仿真分析，综合影响流量卸载的多种因素：缓存容量、内容流行度、内容种类数、请求到达率，通过讨论实现最佳化内容缓存和最大化流量卸载，进而优化缓存策略与路由策略。

S130、依据缓存策略与路由策略对各个网络内容请求在最大化流量卸载模型下所卸载的流量进行求解。

作为一种可选但非限定的实现方式，路由策略可以用于描述网络内容请求的路由路径，所述路由路径按照本地终端、本地基站、非直连终端、直连基站、云端的顺序构建路由，所述本地终端为提出网络内容请求的终端，本地基站为与所述本地终端直连，所述非直连终端与本地终端非直连但挂载于同一个本地基站下，所述直连基站与所述本地基站直连。

根据设计的路由策略以及上述最大化流量卸载模型，可以得到一个请求在该模型下所卸载的流量。为了进一步改善终端MC、基站BS与云端Cloud之间的协作效率，保障用户发出的网络内容请求的内容传输距离最小，提出了一种考虑相同内容汇聚效果的云边端协同架构下的用户请求路由策略，可达到用户请求尽可能地在边缘与终端处得到处理。这个路由策略决定了用户的网络内容请求在什么情况下路由至哪一个节点处理。总的路由策略是按照本地MC、本地BS、非直连MC、直连BS、云端的顺序进行路由决策。

作为一种可选但非限定的实现方式，依据缓存策略与路由策略对各个网络内容请求在流量卸载模型下所卸载的流量进行求解，可包括：将相同网络内容请求视为同一网络内容请求；依据缓存策略与路由策略对各个网络内容请求在流量卸载模型下所卸载的流量进行求解。

本案考虑相同请求内容的汇聚效果，同一个内容的请求在基站或终端中无需重复排队，也无需重复占用网络带宽。本案将相同内容请求视为同一请求处理，然后再分为多个内容任务下载到所需此内容的用户终端。这样的相同内容汇聚效果可以显著提高系统性能，提高网络内容分发效率，降低网络内容冗余传输。

此外，边缘缓存在MEC范式中起着主导作用。可将较流行的内容缓存在MEC节点中来及时响应用户的内容请求。然而，MEC节点的缓存容量有限，因此需要高效的缓存机制来合理地利用MEC节点缓存。基于上述考虑到的汇聚效果以及缓存策略，本案的缓存策略可以通过以下至少一个策略结合生成：基于汇聚的无缓存策略、基于LRU的分布式在线缓存策略、基于LFU的分布式在线缓存策略、基于LRFU的在线协同缓存策略、基于内容流行度的离线协同缓存策略以及基于DQN的在线协同缓存策略。

对于基于汇聚的无缓存策略，该策略考虑了相同内容请求的汇聚效果，在用户终端、基站或者云端，到达的请求首先会检查等候队列中所有的请求内容种类，如果有相同的内容请求，则与其合并为一个处理。与此同时，在内容下载的过程中，相同内容的请求只占用一次带宽，到达终端再分为多个内容任务分发给用户。由于该策略没有设置边缘设备的缓存，因此用户请求全部从云端获取内容数据，不难预判，这种策略卸载流量最少。

对于基于LRU的分布式在线缓存策略，该策略是指利用LRU算法实时调整边缘节点缓存内容。最近最少使用置换算法(Least Recently Used，LRU)的基本原理为将较长时间未被访问的内容进行替换，具体而言，该算法认为近期被访问过的内容，很有可能即将又被访问；而较长时间内没有被访问的内容，算法认为可能最近均不会被访问并将数据替换或淘汰。该策略采用LRU算法记录一个时隙内边缘节点响应并处理的用户内容请求，并据此对于边缘节点内缓存网络内容进行实时的调整与改善。实时缓存策略保障了一段时间内热门请求的响应效率，同时在实际工程上面易于实现。

对于基于LFU的分布式在线缓存策略，该策略是指利用LFU算法实时调整边缘节点缓存内容。最少使用次数置换算法(Least Frequently Used，LFU)的基本原理为将用户访问频率较少的内容进行替换，具体而言，该算法认为近期访问频率较高的内容为热门内容；而访问频率较少的内容，算法认为近期可能不会被访问并将数据替换或淘汰。该策略采用LFU算法记录一个时隙内边缘节点响应并处理的用户内容请求，并据此对于边缘节点内缓存网络内容进行实时的调整与改善。该策略与基于LRU的分布式在线缓存策略可分别作为衡量用户访问内容的频率高低与用户访问内容的时间长短对边缘缓存命中率影响的重要参考。

对于基于LRFU的在线协同缓存策略，该策略是指利用LRFU算法实时调整边缘节点缓存内容。使用时间与使用次数结合算法(Least Recently Frequently Used，LRFU)是综合考虑了用户访问内容的频率次数与时间长短的缓存置换算法，即结合了LRU与LFU算法的各自优势，从而可以更进一步的提升边缘缓存的命中率。

对于基于内容流行度的离线协同缓存策略，基于内容流行度的离线协同缓存策略是理论上最优的一种缓存部署方式。该策略是按照流行度排名由高到低将相应内容存入边缘节点的缓存区，其中移动用户终端最优先存入，接着是基站进行互补存储，最后云端存储所有可能出现的请求内容。在这样的缓存机制下，能够保证流行度高的内容在边缘处理，流行度越低的内容才越容易传输至云处理。同时根据齐普夫分布，流行度越高的请求内容，其请求数量占总请求数量的比例越高。因此请求在边缘命中的概率越大。该策略是从缓存策略的角度最大化流量卸载，是衡量基于DQN求解性能的重要指标。

对于基于DQN的在线协同缓存策略，基于DQN的在线协同缓存策略为通过将深度学习和强化学习相结合的深度强化学习的在线协同缓存策略，用于根据当前可用的网络资源做出最优的缓存和路由决策，具体为用于在任一时刻找到基于当前可用的网络状态空间的最优缓存和路由决策；所述网络状态空间包括网络拓扑、当前请求可到达的节点数量、缓存状态集合、请求队列状态集以及最大可用链路带宽的集合。通过将深度学习(DL)和强化学习(RL)相结合的DRL策略，可以进一步提高异构网络中的资源分配和内容放置。深度Q网络(DQN)作为DRL的一个分支，利用深度神经网络自动学习低维特征表示，可以有效地处理复杂网络环境带来的维数难题。该策略是指利用DQN算法，根据系统中当前可用的网络资源，做出最优的缓存和路由决策。

DQN使用参数为ω的神经网络作为评价网络，输出动作值。神经网络在给定时刻t时的输入和输出为状态s

其中，

此外，给定时刻t的网络状态空间s

其中，

S140、依据卸载流量求解结果对所述缓存策略与路由策略进行优化，以实现最大化卸载内容请求的流量进行网络内容分发优化。

深度强化学习算法会根据每次卸载流量的求解结果对自身的缓存策略与路由策略进行优化，以实现最大化卸载内容请求流量。

按照本发明所建立的网络结构模型，网络为三层拓扑结构。最上层代表云端；中间层代表BS层；最底层代表MC层。设置MC数量为12，BS数量为6，云端的数量为1。请求可以在相连的节点内通过连接的链路进行传输，其中上行传输为计算请求，占用带宽较小；下行传输用户请求的内容，占用带宽较大。在拓扑结构中，终端MC，基站BS，云端均有计算和缓存的能力。在仿真过程中，假设齐普夫分布偏度系数α的变化范围为0.4-1.6。同时，设置缓存容量为一个比例数，该比例为缓存容量与内容种类数相比的相对大小，其变化范围从0.1％-1％。

为了体现本发明的系统性能，基于考虑汇聚的无缓存策略、基于LRU的分布式在线缓存策略、基于LFU的分布式在线缓存策略、基于LRFU的在线协同缓存策略、基于内容流行度的离线协同缓存策略、基于DQN的在线协同缓存策略，讨论系统性能，从而得到最大化流量卸载模型的最优解。

图3为不同策略在不同缓存容量下的流量卸载性能。当缓存容量大小增加时，在BS和MC中可存储更多网络内容，从而促进了系统资源分配和内容交付的效率。不难看出，“基于DQN的在线协同缓存策略”要优于其他解决方案。并且随着缓存容量的增加，性能差距也逐渐扩大。这是因为DQN可根据请求的历史记录和系统当前可用的网络资源，为最近到达的内容请求做出最佳缓存和路由决策。“基于LRFU的在线协同缓存策略”优于“基于LRU的分布式在线缓存测”与“基于LFU的分布式在线缓存策略”，但低于“基于内容流行度的离线协同缓存策略”。这是因为在线缓存策略中的网络节点会根据用户的请求行为存储一些短期流行的网络内容，所以性能比离线缓存策略要差。但LRFU算法同时考虑网络请求的时间和频率特性来调整缓存内容，减少短期请求行为带来的负面影响，所以系统性能更加贴近离线缓存策略。而“无缓存策略”的BS和MC中没有存储内容，导致所有用户请求均需从云端下载，因此其系统性能最差。

图4为不同策略在不同内容流行度下的流量卸载性能。随着内容流行度的不断增加，用户发送更多请求以获取更为流行的网络内容，这改善了流量卸载的性能，弥补了各个策略之间的性能差距。同时，“无缓存策略”的性能得到了提高，这是因为汇聚效果可以卸载系统中更多的流量。“基于DQN的在线协作缓存策略”收敛速度快，性能优于其他解决方案。当流行度加大时，频繁的缓存替换也得到了改善，缩小了离线缓存策略和在线缓存策略之间的差距。

图5为不同策略在不同内容种类数下的流量卸载性能。当内容种类数增加时，基于置换算法的在线缓存策略的性能会显著下降，而“无缓存策略”的性能会受到轻微影响。原因是每个请求都必须路由到云以获得相应的内容。而“基于DQN的在线协同缓存策略”的性能优于“基于内容流行度的离线协同缓存策略”和其他在线缓存策略。原因是，DQN算法可以根据云边缘端环境中的请求历史和可用网络资源做出最佳缓存和路由决策。

图6为不同策略在不同请求到达率下的流量卸载性能。观察六种解决方案在不同请求到达速率下的流量卸载性能。当请求到达率增加时，所有解决方案所卸载流量都会以较慢的增长率而增加。当请求到达率继续增长并超过某个值时，具有内网缓存的解决方案的性能几乎不再增长。这是因为在路由过程中丢包重传的用户请求较多，从而平衡了丢包对缓存命中率和请求汇聚效果的影响。然而，“基于DQN的在线协同缓存策略”的性能要比其他解决方案好得多，这是因为DQN算法通过优化分配网络资源和缓存内容可以降低丢包的概率。对于“无缓存策略”而言，用户请求数增加加强了节点的汇聚效果，其性能得到了提高

图7为不同缓存容量下DQN奖励值函数的收敛曲线。观察仿真曲线可知，更大的节点缓存容量可以在云边缘端环境中存储更流行的内容，从而改善资源分配并获得更多的奖励值。当缓存大小变化时，提出的“基于DQN的在线协同缓存策略”可以快速收敛并达到稳态。

本发明针对现有方案缺乏考虑的方面，提出了一种基于云边端资源协同的网络内容分发机制。为了优化网络资源分配与内容分发效率，本发明综合考虑了移动用户终端、基站和云端分层异构网络中缓存、计算和通信的资源联合分配，并将流量卸载问题建立为一个集中的最大化流量卸载模型，进行理论分析。然后，利用强化学习对该模型进行优化求解，设计了自适应寻求最优缓存内容放置以及合理路由路径解决方案。最后，分别在多种策略下对所设计的流量卸载模型仿真分析，综合影响流量卸载的多种因素讨论实现最佳化内容缓存和最大化流量卸载。从仿真结果表明，本发明提出的解决方案明显优于现有云边协同解决方案，为在基站密集化部署以及用户数量和通信数据规模增长带来的高流量负载压力提供了一种具有可行性的解决方案。

图8为本发明实施例提供了一种网络内容分发方法的流程图，本实施例可适用于在云端、边缘节点以及终端设备三者协同工作下如何更好地进行网络分发的情况，该方法可以由网络内容分发装置来执行，该网络内容分发装置可以采用硬件和/或软件的形式实现，该网络内容分发装置可配置于任何具有网络通信功能的电子设备中。如图8所示，该方法可包括：

S810、加载优化完成的缓存策略与路由策略。

采用上述实施例中任一所述的缓存与路由策略优化方法得到的缓存策略与路由策略。

S820、采用优化完成的缓存策略与路由策略指示的缓存与路由结果对网络内容进行分发，用于实现最大化卸载内容请求流量。

图9为本发明实施例提供了一种缓存与路由策略优化装置的结构框图，本实施例可适用于在云端、边缘节点以及终端设备三者协同工作下如何更好地进行网络分发的情况，该缓存与路由策略优化装置可以采用硬件和/或软件的形式实现，该缓存与路由策略优化装置可配置于任何具有网络通信功能的电子设备中。如图9所示，该装置可包括：网络模型构建模块910、卸载模型构建模块920、卸载流量确定模块930和策略优化模块940。其中：

网络模型构建模块910，用于构建网络内容流行度模型与网络结构模型，所述网络结构模型包括终端、基站以及云端，基站通过核心网络与云端连接，每个基站下挂载终端；

卸载模型构建模块920，用于构建在网络流行度模型与网络结构模型下的最大化流量卸载模型，所述最大化流量卸载模型用于将网络资源分配任务转换为卸载网络内容请求流量任务；

卸载流量确定模块930，用于依据缓存策略与路由策略对各个网络内容请求在最大化流量卸载模型下所卸载的流量进行求解；

策略优化模块940，用于依据卸载流量求解结果对所述缓存策略与路由策略进行优化，以实现最大化卸载内容请求的流量进行网络内容分发优化。

在上述实施例的基础上，可选地，构建网络内容流行度模型，包括：

依据齐普夫定律构建网络内容流行度模型，所述网络内容流行度模型用于描述网络内容的请求概率；

在上述实施例的基础上，可选地，构建网络结构模型，包括：

以云边端分层异构网络为基础，构建分层异构的网络结构模型，所述网络结构模型中基站之间相互直连，相互直连的基站内缓存的网络内容能通过光纤高速互传，终端通过无线连接方式接入基站。

在上述实施例的基础上，可选地，所述最大化流量卸载模型包括终端流量卸载模型与基站流量卸载模型；所述终端流量卸载模型用于输出在终端处卸载的网络内容请求流量；所述基站流量卸载模型用于输出在基站处卸载的网络内容请求流量。

在上述实施例的基础上，可选地，所述终端流量卸载模型包括本地终端流量卸载模型以及非直连终端流量卸载模型；所述基站流量卸载模型包括本地基站流量卸载模型以及直连基站流量卸载模型。

在上述实施例的基础上，可选地，所述路由策略用于描述网络内容请求的路由路径，所述路由路径按照本地终端、本地基站、非直连终端、直连基站、云端的顺序构建路由，所述本地终端为提出网络内容请求的终端，本地基站为与所述本地终端直连，所述非直连终端与本地终端非直连但挂载于同一个本地基站下，所述直连基站与所述本地基站直连。

在上述实施例的基础上，可选地，所述缓存策略通过以下至少一个策略结合生成：基于汇聚的无缓存策略、基于LRU的分布式在线缓存策略、基于LFU的分布式在线缓存策略、基于LRFU的在线协同缓存策略、基于内容流行度的离线协同缓存策略以及基于DQN的在线协同缓存策略。

在上述实施例的基础上，可选地，所述基于DQN的在线协同缓存策略为通过将深度学习和强化学习相结合的深度强化学习的线协同缓存策略，用于在任一时刻找到基于当前可用的网络状态空间的最优缓存和路由决策；所述网络状态空间包括网络拓扑、当前请求可到达的节点数量、缓存状态集合、请求队列状态集以及最大可用链路带宽的集合。

在上述实施例的基础上，可选地，依据缓存策略与路由策略对各个网络内容请求在最大流量卸载模型下所卸载的流量进行求解，包括：

将相同网络内容请求视为同一网络内容请求；

依据缓存策略与路由策略对各个网络内容请求在最大流量卸载模型下所卸载的流量进行求解。

本发明实施例中所提供的缓存与路由策略优化装置可执行上述本发明任意实施例中所提供的缓存与路由策略优化方法，具备执行该缓存与路由策略优化方法相应的功能和有益效果，详细过程参见前述实施例中缓存与路由策略优化方法的相关操作。

图10为本发明实施例提供了一种网络内容分发装置的流程图，本实施例可适用于在云端、边缘节点以及终端设备三者协同工作下如何更好地进行网络分发的情况，该网络内容分发装置可以采用硬件和/或软件的形式实现，该网络内容分发装置可配置于任何具有网络通信功能的电子设备中。如图10所示，该装置可包括：加载模块1010和分发模块1020。其中：

加载模块1010，用于加载优化完成的缓存策略与路由策略；

采用上述实施例中任一所述的缓存与路由策略优化方法得到的缓存策略与路由策略。

分发模块1020，用于采用优化完成的缓存策略与路由策略指示的缓存与路由结果对网络内容进行分发，用于实现最大化卸载内容请求流量。

本发明实施例中所提供的网络内容分发装置可执行上述本发明任意实施例中所提供的网络内容分发方法，具备执行该网络内容分发方法相应的功能和有益效果，详细过程参见前述实施例中网络内容分发方法的相关操作。

图11示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图11所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如缓存与路由策略优化方法或网络内容分发方法。

在一些实施例中，缓存与路由策略优化方法或网络内容分发方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的缓存与路由策略优化方法或网络内容分发方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行缓存与路由策略优化方法或网络内容分发方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。