一种转算存一体化协同系统及方法

技术领域

本发明属于新一代通信技术领域，具体涉及一种转算存一体化协同的系统及方法。

背景技术

随着信息通信技术的不断发展，自动驾驶、AR/VR、4K/8K超高清视频等新业务新应用不断出现，这些新业务新应用不仅需要更多的网络带宽资源，还需要更多计算资源来保证新业务新应用的正常运行以及用户体验。这些新挑战驱动了边缘计算的发展，边缘计算是一种在网络边缘部署计算和存储资源，就近为用户提供云计算服务环境和能力的新型网络范式，可以极大地降低用户接入网络内容和计算服务的时延，对提升网络性能、改善用户体验具有重要意义。

然而，边缘计算节点部署的计算资源通常是有限的，对于大量的计算密集型任务通常难以应对；而将计算任务迁移至云计算节点，则又会导致时延过大的问题。另一方面，边缘计算节点的计算资源也没有得到高效的利用，例如有的边缘计算节点的计算负载很重，有的却很空闲。针对单一边缘计算节点资源有限，以及边缘计算节点之间缺乏感知协作导致计算资源利用率低的问题，业界提出了算力网络，即将散布在网络边缘的计算节点连通起来，形成一张计算资源协作共享的网络，以提高边缘计算节点的计算资源利用率。

另一方面，在内容分发方面，业界也进行了大量探索，其中，内容分发网络和信息中心网络是其中的代表性技术。内容分发网络(Content Delivery Network,CDN)是由分布在不同区域的节点服务器群组成的分布式网络，通过一定规则将互联网网站、网络视频、网络游戏等内容源推送到接近用户的网络边缘节点服务器，使用户可以就近取得所需的内容，是缓解互联网网络拥塞，提高互联网业务响应速度，改善用户业务体验的重要手段。

在内容分发方面，信息中心网络(Information-centric Networking，ICN)作为一种新型的网络的架构，已经越来越得到学术界和产业界的关注。ICN的关键技术之一是网内缓存技术，就是通过在网络中部署大量的缓存，缩短用户到内容的距离，从而降低用户请求响应的时延，改善用户的QoE。与此同时，网内缓存技术也被认为是5G网络的重要潜在技术之一，因为5G网络要求毫秒级的网络时延；同时，传统的空口侧方法已经接近香浓极限，因此在5G网络中部署缓存是降低时延的重要方法。在5G网络中部署缓存，按照缓存的部署位置一般分为两种：核心网缓存(EPC Caching)和接入网缓存(RAN Caching)，其中接入网缓存主要是指将缓存部署在基站。

综上所述，联合的考虑计算、存储、网络的融合一体化，统筹调度计算、存储资源具有重要意义。

专利公开号CN109981460A的发明专利一种面向服务的融合网络、计算、存储一体化方法及装置，提供了一种面向服务的融合网络、计算、存储一体化方法及装置，属于通信技术领域，应用于能够提供计算服务的路由节点，所述方法包括：当接收到包含第一计算服务的第一名称、第一数据参数的第二名称的第一兴趣包时，确定是否在本地对第一兴趣包进行处理；如果在本地处理，根据内容存储库和第二名称，确定本地未存储的第一数据参数的第三名称；将包含第三名称和第一名称的第二兴趣包发送至与其相连的路由节点；接收对第三名称对应的第一数据参数执行第一计算服务得到的第一内容包；根据第一内容包、第一计算服务以及本地存储的第一数据参数，计算第二内容包；向第一兴趣包的发送端发送第二内容包。采用本申请，能够提高兴趣包的响应速度。

该方案基于ICN的机制，ICN是一种“推倒重来”的网络方案，与IP网络兼容性差，难以落地实现；该方案在网络路由节点集成计算和存储资源，会影响网络的高性能转发。

参考文献：Chen Q,Yu F R,Huang T,et al.An Integrated Framework forSoftware Defined Networking,Caching,and Computing[J].IEEE Network,2017：12-21，提供了一种SDNCC方案，SDNCC方案是一种软件定义网络、存储、计算一体化融合的架构方案，该方案基于ICN技术，采用信息命名的机制，实现对计算服务和缓存服务的分发处理。特别地，该架构方案的控制平面采用了SDN技术，通过SDN控制器实现对网络设备中缓存资源和计算资源的管理。

该方案基于ICN的机制，ICN是一种“推倒重来”的网络方案，与IP网络兼容性差，难以落地实现；SDN控制器的能力主要集中在对网络的管理控制，而SDN控制器再增加对计算和内容的管理会造成SDN的流表过于臃肿，造成SDN控制器故障。

发明内容

本发明针对上述现有技术中存在的问题，本发明提出了一种转算存一体化协同的网络体系架构方案，可解决计算、存储和网络一体化协同中服务感知、调度和分发的机制问题，该系统方案主要包含转算存服务感知器、转算存服务识别器、服务策略及决策处理器、转算存服务处理器等，通过对网络、计算和内容的感知、处理、调度，实现服务的高效分发，同时提升计算、存储和网络资源的利用效率。

为达到上述目的，本发明通过以下方案来实现：

一种转算存一体化协同系统，该系统包括：

转算存服务感知器，所述转算存服务感知器用于实现对网络状态、计算状态、内容状态的信息感知；

转算存服务识别器，所述转算存服务识别器用于识别服务请求类型，并且连接认证鉴权模块，识别用户的服务请求是否合法；

服务策略及决策处理器，所述服务策略及决策处理器基于计算、存储、网络资源的状态，按照部署的策略算法，对用户的服务请求进行决策处理；

转算存服务处理器，所述转算存服务处理器基于用户的服务请求进行调度处理；

网络管理控制模块，所述网络管理控制模块采用基于SDN的网络控制技术，实现路径确定性和时延确定性。

进一步的，所述转算存服务识别器包括网络服务感知模块、计算服务感知模块以及内容服务感知模块，其中，

网络服务感知与网络路由转发设备定期同步信息，维护网络资源状态数据库；

计算服务感知模块对边缘计算节点定期同步信息，维护计算服务实例与计算资源状态数据库；

内容服务感知模块与内容缓存节点定期同步信息，维护内容缓存状态数据库。

进一步的，所述服务请求类型包含计算任务请求、网络服务请求以及内容访问请求。

进一步的，所述按照部署的策略算法，对用户的服务请求进行决策处理具体为：

对于内容服务请求的策略：查询内容节点部署状态，包括节点与用户位置的距离、内容服务器的负载情况，结合查询的网络链路的状态，然后进行加权排序，选择最优的内容服务的部署节点；

对于计算服务请求的策略：首先查询计算服务实例的节点部署情况、计算服务实例与用户位置的距离、部署该计算服务节点的计算性能和负载情况，结合查询的网络链路的状态，进行加权排序，选择最优的计算服务的部署节点。

本申请还提供一种转算存一体化协同方法，所述方法包括以下步骤：

转算存服务识别器接收转算存服务请求，首先对服务请求进行识别，之后转发给转算存服务处理器；

转算存服务处理器将服务请求转发至服务策略及决策处理器，对网络分发路径、边缘计算节点、内容缓存节点进行最优选择和决策，所述服务策略及决策处理器将选择决策结果返回给转算存服务处理器；

所述转算存服务处理器向网络管理控制模块下发网络分发信息，通过向网络路由转发设备下发流表，实现对数据的路由转发；最终返回服务分发信息以及返回服务结果。

进一步的，所述对服务请求进行识别的结果为：服务请求是计算任务请求、网络服务请求或者内容访问请求。

进一步的，所述策略及决策处理器对网络分发路径、边缘计算节点、内容缓存节点进行最优选择和决策的具体过程为：

转算存服务感知器将计算、网络、内容服务信息，按照节点位置距离、服务部署状态、资源性能状态的优劣进行排序，并返回给服务策略及决策处理器；

服务策略及决策处理器根据设定的策略算法，基于计算、网络、内容服务状态信息以及用户提供的服务要求参数，选择最优的边缘计算节点、内容缓存节点和网络分发链路；并将选择决策结果返回给转算存服务处理器。

进一步的，用户的服务请求如果是内容服务请求，转算存服务感知器查询网络服务感知模块和内容服务感知模块的状态信息；如果是计算服务请求，转算存服务感知器查询网络服务感知模块和计算服务感知模块的状态信息。

进一步的，所述网络管理控制模块采用SDN技术，数据的路由转发采用分段路由机制，数据的传输采用TSN机制，以保证服务分发的时延确定性和路径确定性。

一种计算机可读存储介质，存储介质中含有上述转算存一体化协同方法。

本发明具有如下有益效果：

(1)模型泛化

队列大小敏感性：随着队列大小的增加，传统MPTCP拥塞控制算法的CWND大大膨胀，很容易引起缓冲区膨胀问题。Partner可以正确地认识到CWND的增加不会导致更大的吞吐量，但是会导致更大的网络延迟和数据包丢失，并停止盲目地提高发送速率。

随机丢失率敏感性：随着随机丢失率的增加，传统MPTCP拥塞控制算法的CWND将被限制在接近零的较小值。轻微的随机数据包丢失将极大地限制发送速率。通过设置对随机分组丢失不敏感的reward函数，本项目训练好的模型可以感知到增加的CWND不会加剧分组丢失，因此可以正常增长其CWND并充分利用有损链路。

端到端延迟灵敏度：随着端到端延迟的增加，所有拥塞控制算法的平均CWND都在增长。相比之下，Partner精确地池化了可用带宽资源，并有效地避免了缓冲区膨胀。

(2)与现有的调度器联合使用

Partner可以有效地避免HoL问题，并通过改变队列大小来提高吞吐量。随着无线AP中缓冲区大小的增加，遇到HoL阻塞的可能性大大增加。在这种情况下，发送速率的提高不会导致更好的吞吐量，但会导致更大的网络延迟和数据包丢失。该条件下，Partner可以识别到这一点，并控制了发送速率，这将提高吞吐量并避免HoL问题。

Partner可以有效利用有损无线链路并大大缩短FCT。增加的发送速率并不会导致丢包率的上升。为了减少尾部延迟，延迟敏感型应主动使用有损链接。

Partner可以在保证带宽的同时，保持用户的偏好。Partner知道应用程序的要求，并且只会使用有线路径来保证带宽要求。

Partner可以在随机丢包的链路中平衡流量负载。随着无线链路上随机丢失率的增加，传统算法的吞吐量大大降低，因为它们区分了随机分组丢失和拥塞造成的分组丢失。相反，Partner可以从环境中学习并平均分配两个链路的带宽，从而获得相当稳定的归一化吞吐量。

附图说明

图1为系统架构图。

具体实施方式

下面结合具体实施例以及附图对本发明设计方法进行详细阐述。

本方案主要考虑对计算、存储和网络资源进行融合，实现面向服务的转算存一体化协同，进而实现泛在计算处理、高效内容分发、低时延确定性网络传输。

本发明的核心思想是通过对转算存服务状态的实时感知，为用户提供最匹配的计算服务节点、内容服务节点、网络传输链路，进而通过实时准确的网络确定性控制技术分发服务请求和服务响应，从而实现转算存一体化协同，提升网络系统在内容分发和计算处理方面的性能。本发明的关键特征可以概括为一体化感知、集中式处理、确定性分发。

实施例1

如图1所示，本实施例为一种转算存一体化协同系统，在该网络架构中，主要包括以下关键系统装置和模块：

(一)转算存服务感知器：主要负责实现对网络状态、计算状态、内容状态的信息感知；其中网络服务感知模块与网络路由转发设备定期同步信息，维护网络资源状态数据库；计算服务感知模块对边缘计算节点定期同步信息，维护最新的计算服务实例与计算资源状态数据库；内容服务感知模块与内容缓存节点定期同步信息，维护最新的内容缓存状态数据库；

(二)转算存服务识别器：识别用户的服务请求，例如是计算任务请求，还是内容访问请求；同时连接认证鉴权模块，用于识别用户的服务请求是否合法；

(三)服务策略及决策处理器：基于计算、存储、网络资源的状态，按照部署的策略算法，对用户的服务请求进行决策处理；其中该装置内置预先部署的算法策略，用于决策；

(四)转算存服务处理器：基于用户的服务请求，进行调度处理；

(五)网络管理控制模块：采用基于SDN的网络控制技术，实现路径确定性和时延确定性。

实施例2

基于上述系统，本实施例提供其一体化协同方法，该方法包括以下步骤：

①用户发起转算存服务请求，其中转算存服务请求中携带着服务类型，服务类型包含计算服务、内容服务、网络服务，以及服务所要求的参数，主要是完成服务所需的时延，包括网络传输时延、计算处理时延、内容响应时延等。

②用户服务请求到达转算存服务识别器后，转算存服务识别器首先对用户的服务请求进行识别，判断哪一种服务请求，例如，计算服务请求、内容服务请求、网络服务请求，然后进行用户的服务请求进行鉴权认证，即判断用户是否购买此类服务，如果购买则可以继续访问，否则中止服务。

③通过检查用户是否购买此类服务，确认用户的服务请求是否合法；确认合法后，返回确认结果给转算存服务识别器；

④转算存服务识别器，对用户服务请求类型进行标识后，交由转算存服务处理器来处理；

⑤转算存服务处理器将服务请求转发至服务策略及决策处理器，对网络分发路径、边缘计算节点、内容缓存节点进行最优选择和决策；

在本发明中，提出多维度最优选择策略，即对于某计算(缓存)服务，首先根据部署该服务的计算(缓存)节点的负载状态，对计算(缓存)节点进行评估；然后对到达计算(缓存)节点网络链路进行评估；从而得到计算(缓存)节点和网络链路的评估值，进而通过对计算(缓存)节点和网络链路的评估值进行加权计算并排序，得到多维度评估值，并根据多维度评估值的高低进行选择决策计算(缓存)节点和网络链路。例如：在对计算服务s的请求过程中，通常存在多个计算节点部署该服务，部署该服务的计算节点集合可以表示为

⑥服务策略及决策处理器调用转算存服务感知器的状态数据信息；特别地，如果是内容服务请求，转算存服务感知器会查询网络服务感知模块和内容服务感知模块的状态信息；如果是计算服务请求，转算存服务感知器会查询网络服务感知模块和计算服务感知模块的状态信息；

⑦转算存服务感知器将计算、网络、内容服务信息，按照节点位置距离、服务部署状态、资源性能状态的优劣进行评估、排序，并返回给服务策略及决策处理器；

⑧服务策略及决策处理器按照已部署的策略算法(即多维度最优选择策略)，基于计算、网络、内容服务状态信息以及用户提供的服务要求参数，选择最优的边缘计算节点、内容缓存节点和网络分发链路；并将选择决策结果返回给转算存服务处理器；

⑨转算存服务处理器向网络管理控制模块下发网络分发信息；其中网络管理控制模块采用了SDN技术，通过向网络路由转发设备下发流表，实现对数据的路由转发。其中，为了保证网络的服务分发的低时延和高效率，数据的路由转发采用分段路由机制，数据的传输采用TSN机制，以保证服务分发的时延确定性和路径确定性；特别地，为了保证服务分发的时延确定性，网络管理控制模块对网络路由转发设备下发的指令信息中包括带宽资源预留的指令；

⑩向用户返回服务分发信息，原路返回，通过转算存服务识别器；

以上内容是结合具体的实施例对本发明所作的详细说明，不能认定本发明具体实施仅限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明保护的范围。