一种应用于计算微系统的数据交换网络架构

技术领域

本发明涉及高带宽互联分布式技术领域，具体为一种应用于计算微系统的数据交换网络架构。

背景技术

随着信息技术的高速发展和智能化水平的提升，嵌入式应用对算力、储力、接口能力的需求快速增长。在卫星通信、实时遥感、无人机救灾等应用领域，少数1-2个信息处理系统已经无法满足海量信息处理的需求。因此，高端嵌入式应用不可避免采用分布式系统架构，集成数个甚至数十个高性能信息处理系统来满足计算、存储、数据分析的需求。

影响分布式系统性能的重要部件是其数据交换网络，对分布式系统的互联网络来说，除相邻节点间的数据传输外，系统对远程的数据访问也有较高要求。现有商用分布式系统采用的网络技术主要有超高速以太网和InfiniBand两类。两类互联网络均可以实现10-100Gbps/通道的数据传输速率，但一般只提供基本的通信功能。超高速以太网设备由于大规模商用，成本较低，但网络延迟、CPU负载等性能较差。InfiniBand技术虽然支持RDMA(Remote Direct Memory Access，远程直接数据存取)，但应用规模较低，导致成本较高，通常只用于HPC等最高端的分布式应用中。

直接存储器访问技术(DMA)是现代计算机的数据传输技术之一，其主要优点在于避免CPU在数据传输过程中的频繁参与，提高总体的数据传输效能。RDMA面向远端节点，具有低延迟、低CPU负载等特点，可用于提升分布式系统的互联网络性能，有效支持应用层的软件功能。在常规分布式系统中，分布式节点通常采用全功能的操作系统，具有较为全面的路由管理、分布式文件系统、负载均衡等软件功能。而嵌入式系统通常仅有很简单的实时操作系统，并不具备路由管理、分布式文件系统、负载均衡等软件功能，因此超高速以太网和InfiniBand在软件功能支撑上也无法满足基于高带宽互联的嵌入式分布式系统设计及应用需求，需要构建全新的数据交换网络与计算微系统。

发明内容

本发明目的在于提供一种应用于计算微系统的数据交换网络架构，以克服现有超高速以太网和InfiniBand在功能上无法满足嵌入式分布式系统的应用需求的问题，实现了节点内部和外部的高速互联，并支持软件层的嵌入式分布式文件系统和嵌入式任务调度与迁移系统，满足了嵌入式分布式应用的互联网络需求。

为实现上述目的，本发明提供如下技术方案：

一种应用于计算微系统的数据交换网络架构，包括多个分布式设计的超融合节点，每个超融合节点包括RDMA交换模块和DDMA交换模块，RDMA交换模块和DDMA交换模块互相连接，所述DDMA交换模块与超融合节点内部的计算单元、存储单元和接口单元分别互联，所述RDMA交换模块与超融合节点外部的邻居超融合节点互联。

优选地，RDMA交换模块与邻居超融合节点的RDMA交换模块互联。

优选地，超融合节点间采用2D-Mesh、2D-Torus、超立方拓扑结构进行互联。

优选地，超融合节点内部的DDMA交换模块采用2级胖树拓扑结构。

优选地，2级胖树拓扑结构中的叶子节点为计算、存储和接口单元，其余节点为任务交换机。

优选地，RDMA交换模块通过RDMA交换机实现，所述RDMA交换机采用核心交换机和两级交换的方式。

优选地，RDMA交换机采用的交换方式具体为第一级交换采用多个互联交换机，每个互联交换机再进一步连接多路先进先出队列，用于对接其他分布式节点的输入输出端口，同时，每个互联交换机再通过各自的主先进先出队列接入核心交换机，第二级交换采用一个核心交换机，接入两路内接先进先出队列。

优选地，两路内接先进先出队列分别用于对接DDMA交换机与虚拟网卡。

优选地，DDMA交换模块通过DDMA交换机实现，所述DDMA交换机采用核心交换机和两级交换的方式。

优选地，DDMA交换机采用的交换方式具体为第一级交换采用多个任务交换机，每个任务交换机再进一步连接多路先进先出队列，用于对接超融合节点内部的计算单元、存储单元和接口单元，同时，每个任务交换机再通过各自的主先进先出队列接入核心交换机，第二级交换采用一个核心交换机接入一路外接先进先出队列，用于对接RDMA交换机。

与现有技术相比，本发明具有以下有益效果：本发明提供了一种应用于计算微系统的数据交换网络架构，包括多个分布式设计的超融合节点，每个超融合节点包括RDMA交换模块和DDMA交换模块，RDMA交换模块和DDMA交换模块互相连接，所述DDMA交换模块与超融合节点内部的计算单元、存储单元和接口单元分别互联，RDMA交换模块与超融合节点外部的邻居超融合节点互联，实现了DDMA和RDMA两层交换网络节点内部和外部的高速互联，满足了嵌入式分布式应用的互联网络需求。

附图说明

图1是本发明DDMA+RDMA两级交换网络示意图；

图2是本发明DDMA+RDMA网络拓扑图，图(a)为DDMA节点间拓扑图，图(b)为RDMA节点内拓扑图；

图3是本发明RDMA交换机设计；

图4是本发明DDMA交换机设计；

图5是本发明数据交换网络拓扑结构实施例；

图6是本发明RDMA交换机实施例；

图7是本发明DDMA交换机实施例。

具体实施方式

下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

如图1-4所示本发明提供了一种应用于计算微系统的数据交换网络架构，包括多个分布式设计的超融合节点，每个超融合节点包括RDMA交换模块和DDMA交换模块，RDMA交换模块和DDMA交换模块互相连接，所述DDMA交换模块与超融合节点内部的计算单元、存储单元和接口单元分别互联，所述RDMA交换模块与超融合节点外部的邻居超融合节点互联。

本发明中，节点之间采用RDMA进行互联；节点内部的设备之间采用DDMA进行互联(如图1)。这种设计方式可以兼容不同类型的网络拓扑以及不同类型的物理层数据传输协议(如：SRIO、PCIe、EMIB、UCIe等)。

在分布式系统中，节点之间、节点内部单元之间可能采用多种总线互连，分布式网络拓扑也存在不同设计。采用DDMA+RDMA的嵌入式数据交换网络，其网络拓扑设计与节点数量、节点内部的设备数量、DDMA交换机设计、RDMA交换机设计以及网络的数据传输需求等多种因素相关。在三维集成技术的支持下，芯片单元可以通过高密度布线实现异构堆叠。因此在本发明中，超融合节点间支持连通度较高的2D-Mesh、2D-Torus、超立方等拓扑结构(如图2)进行互联。节点内部资源间通过2级胖树结构进行互联，保证数据交互的带宽。其中，叶子节点为计算、存储单元，其余节点为任务交换机。

采用RDMA交换机实现超融合节点之间的对等交互。RDMA交换机实现分布式节点之间的远程数据转发功能，因此主要管理分布式节点的对外互联端口，以及与节点内部DDMA对接的高速端口。由于RDMA交换机的外接端口数量较大，无法保证在芯片中采用单级交换结构实现较高的交换速率。因此本发明对RDMA交换机采用核心交换机以及两级交换的技术路线。RDMA交换机总体结构如图3所示。第一级交换采用多个互联交换机，每个互联交换机再进一步连接多路先进先出队列(以下统称为FIFO)，用于对接其他分布式节点的输入输出(以下简称I/O)端口。同时，每个互联交换机再通过各自的主FIFO接入核心交换机。第二级交换采用一个核心交换机，接入2路内接FIFO，分别用于对接DDMA交换机与虚拟网卡。

采用DDMA网络交换结构实现超融合节点内部资源之间的对等交互。DDMA交换机需要与节点内部硬件端口对接，具有较大的复杂性。首先，DDMA交换机需要与RDMA交换机对接，打通局部数据与远程数据的交换。其次，DDMA交换机还需对接计算CPU、管控CPU、协处理单元中的缓冲区以及不同容量的存储器。最后，DDMA交换机还需对接大量高速和低速IO端口。本发明对DDMA交换机同样采用核心交换机以及两级交换的技术路线。

DDMA交换机总体结构如图4所示。为支持不同类型的数据交换，DDMA交换机的第一级交换可面向不同的交换任务需要，设计不同类型、不同速率的任务交换机。所有任务交换机的结构均与RDMA交换机中的互联交换机相同，只是互联总线、FIFO的位宽和传输带宽不同。任务交换机通过各自的主FIFO分别接入DDMA核心交换机。第二级交换采用一个核心交换机接入1路外接FIFO，用于对接RDMA交换机。

本发明提出在MAC层和数据链路层采用DDMA和RDMA两级交换网络实现数据交换。首先，DDMA中，数据以包的形式被DDMA交换机转发，并在分布式节点内部设备之间传输，从而支持设备间并发、双向的数据访问，提高数据交换网络的有效带宽。由于节点内部可挂载的设备数量有限，可以设计较为简化的交换策略，在节点内部用较少的硬件资源实现较低的交换延迟与较高的交换带宽。其次，RDMA中，可以使用成熟的网络路由策略在每个RDAM交换机中生成转发信息表，支持节点之间的快速数据交换，支持不同类型的远程数据访问。本发明的两级交换结构一方面可以大幅降低节点内部单元之间的数据访问延迟，另一方面可以大幅降低远程节点之间数据访问的实现难度。

实施例：

下面结合附图对本发明做进一步详细描述：

本实施例采用异构分布式节点，给出嵌入式数据交换网络的拓扑结构样例如图5。其中，数据交换网络共包含9个分布式节点，相邻的直连节点之间可直接进行数据传输，非相邻节点间的数据中继转发次数不大于1。节点共有4个出口(1,2,3,4)，由RDMA交换机进行出口表查询。节点内部包括CPU(c1-c4)、GPU、DSP、FPGA、以及存储单元(m1-m4)等硬件模块。硬件模块通过DDMA交换机互联，支持数据的并发访问。RDMA交换机与DDMA交换机在实施例中均采用FPGA实现。

本实施例对RDMA交换机采用160G核心交换机以及两级交换的技术路线。第一级交换采用三个40G互联交换机，每个互联交换机连接4路10G的FIFO，用于对接4路端口。同时，每个互联交换机再通过160G FIFO接入160G交换机。第二级交换采用一个160G交换机，接入2路160G FIFO，并分别对接DDMA交换机与虚拟网卡。RDMA交换机总体结构如图6所示。

本实施例对DDMA交换机同样采用160G核心交换机以及两级交换的技术路线。为支持不同类型的数据交换，DDMA交换机的第一级交换采用三类任务交换机，包括：一个80G计算交换机、一个40G高速IO交换机、一个10G低速IO交换机。所有任务交换机的内部结构均与RDMA交换机中的互联交换机相同，只是互联总线、FIFO的位宽和带宽不同。其中，计算交换机分别连接容量为40G、20G、20G的FIFO，分别用于对接SRIOx4、PCIex4、协处理模块；高速IO交换机连接4路10G的FIFO，分别用于对接4路高速IO端口；低速IO交换机连接4路1G的FIFO，分别用于对接4路低速IO端口。同时，计算交换机、高速IO交换机、低速IO交换机通过160GFIFO分别接入160G交换机。第二级交换采用一个160G交换机接入1路160G的FIFO，并对接RDMA交换机。DDMA交换机总体结构如图7所示。

尽管以上结合附图对本发明的实施方案进行了描述，本发明并不局限于上述的具体实施方案和应用领域，上述具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在说明书的启示下，在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。