用于数据加速处理的系统、板卡和电子设备
文献发布时间:2023-06-19 11:29:13
技术领域
本公开涉及数据处理领域,更具体地,涉及数据处理的系统架构。
背景技术
传统服务器主要以CPU作为算力提供者。而CPU为通用型处理器,采用串行架构,擅长逻辑计算,负责不同类型的数据处理及存取,同时逻辑判断又需要引入大量分支跳转中断处理,这使得CPU的内部结构复杂。由此,CPU算力的提升主要靠提高内核的数量来实现。
随着云计算、大数据、人工智能(AI)、物联网等技术应用,数据在近几年呈指数型增长,IDC统计显示全球90%数据均在近几年产生,这就对CPU的处理能力提出考验。而目前CPU的物理工艺、核心数已接近极限,数据量却不会停止,服务器的处理能力必须提升。因此,在AI时代下,仅由CPU做算力提供者的传统服务器并不能满足需求。
不同于CPU,GPU/TPU/ASIC等采用并行计算模式,单卡核心数达到上千个,擅长处理密集型运算应用,如图形渲染、计算视觉和机器学习。因此,为了解决CPU算力不足的问题,一种常见的做法是在CPU的扩展PCIE卡槽上插入专用的加速卡,将大量的数据运算工作交给加速卡去处理,减轻了CPU的负担,从而显著提高传统服务器的性能。
上述做法可以提升传统服务器的计算性能,但受限于CPU扩展出的PCIE槽位数,在数据处理量暴增的情况下可能无法支持插入足够数量的加速卡来满足算力的要求。而且多张加速卡都是挂在同一个CPU的PCIE总线上,资源无法灵活配置。
发明内容
本公开的目的在于克服现有技术中加速卡无法被灵活调度的缺陷,提供一种能够对计算资源进行灵活配置的技术方案。
根据本公开的第一方面,提供一种用于数据加速处理的系统,包括:数据交换单元100和加速处理单元200,其中,所述数据交换单元100配置为与外部主机可通信地连接;所述加速处理单元200配置为与所述数据交换单元100可通信地连接,以对来自所述数据交换单元100的数据进行处理,其中,所述加速处理单元200能够被调度以满足不同处理能力的需要。
根据本公开的第二方面,提供一种板卡,包括如上所述的系统。
根据本公开第三方面,提供一种电子设备,包括如上所述的系统或者如上所述的板卡。
本公开的技术方案可以保证有足够的计算资源来满足算力的要求。而且只需要占用传统服务器一个PCIE卡槽,克服了传统服务器PCIE槽位受限的问题。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,并且相同或对应的标号表示相同或对应的部分其中:
图1示出了根据本公开的一个实施方式的用于数据加速处理的系统的示意性框图;
图2示出了根据本发明一个实施方式的用于数据加速处理的系统的示意性框图;
图3示出了根据本发明一个实施方式的用于数据加速处理的系统的示意性框图;
图4示出了根据本发明一个实施方式的用于数据加速处理的系统的示意性框图;
图5示出了根据本发明一个实施方式的用于数据加速处理的系统的示意性框图;
图6示出了根据本公开的一个实施方式的PCIE交换机以级联连接的示意图;
图7示出了根据本公开的一个实施方式的PCIE交换机以两两相连的方式来连接的示意图;
图8a示出了根据本公开的一个实施方式的多个PCIE交换机以树形拓扑的方式来连接的示意图;
图8b示出了根据本公开的一个实施方式的多个PCIE交换机以双树形拓扑的方式来连接的示意图;
图9示出了根据本公开的一个实施方式的多个PCIE交换机以胖树形拓扑的方式来连接的示意图;
图10示出了根据本公开的另一个实施方式的用于数据加速处理的系统的另一个示例性框图;
图11示出了根据本公开的又一个实施方式的用于数据加速处理的系统的又一个示例性框图;
图12示出了本公开进一步的实施方式的系统的示意性框图;以及
图13示出了组合处理装置的示意图。
具体实施方式
下面将结合本披露实施例中的附图,对本披露实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本披露一部分实施例,而不是全部的实施例。基于本披露中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本披露保护的范围。
应当理解,本披露的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。本披露的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本披露说明书中所使用的术语仅仅是出于描述特定实施例的目的,而并不意在限定本披露。如在本披露说明书和权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解,在本披露说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
图1示出了根据本公开的一个实施方式的用于数据加速处理的系统的示意性框图。
如图1所示,本公开的系统包括:数据交换单元100和加速处理单元200,其中,所述数据交换单元100配置为与外部主机可通信地连接;所述加速处理单元200配置为与所述数据交换单元100可通信地连接,以对来自所述数据交换单元100的数据进行处理,其中,所述加速处理单元200能够被调度以满足不同处理能力的需要。
在图1中,虚线框中给出了本公开的系统的组成和结构示意图。该数据交换单元可以通过多种方式连接到主机,例如通过线缆或者通过插卡的方式等。在从主机接收到数据或指令之后,将其转发到加速处理单元200,并在加速处理单元200中对这些数据进行处理,从而能够提升主机的处理能力。此外,在本公开中,主机能够通过数据交换单元100来调度适当数量的加速处理单元200,从而能够满足不同的算力需求。
在图1中,数据交换单元100和加速处理单元200可以处于同一个设备或者主板上,也可以处于不同的设备中或者处于不同的主板上,因此采用虚线来表示二者之间的这种可选择的关系。
此外,在上文中,术语“可通信地连接”表示两个部件可以处于连接状态例如通过线缆或者插槽,并且这种连接可以处于通信状态,也可以不处于通信状态。
主机可以是传统的X86服务器,是整机的控制器和服务对象。其在具有大量数据需要运算时,需要额外的算力来进行支撑。
根据本公开的一个实施方式,所述数据交换单元100可以包括PCIE交换机。图中PCIE交换机泛指一切使用PCIE总线进行通信的设备,例如常见的硬盘和InfiniBand Card(无限带宽网卡)等。
PCI-Express串行标准越来越广泛地在计算机行业应用,作为芯片与芯片之间,系统与插卡之间,系统与系统之间的高速连接。PCIE交换机用于将PCIE设备互联,PCIE交换机芯片与其它设备的通信协议都是PCIE。
下面将结合多个附图来描述PCIE交换机与加速处理单元200的各种连接关系。
图2示出了根据本发明一个实施方式的用于数据加速处理的系统的示意性框图。
如图2所示,所述数据交换单元100可以包括单个PCIE交换机P1,配置为与单个外部主机可通信地连接;所述加速处理单元200包括一个或多个加速卡MC1,MC2,…MCi,…,MCn,所述一个或多个加速卡MC1,MC2,…MCi,…,MCn与所述单个PCIE交换机P1可通信地连接,以对来自所述单个PCIE交换机P1的数据进行处理。
本公开的所示的加速卡,可以是Mezzanine Card。这是一块单独的电路板,简称MC卡。上面搭载了ASIC芯片和一些必要的外围控制电路,它和基板通过扣板连接器连在一起。基板上的电源和控制信号通过扣板连接器传递给MC卡。
ASIC是专用集成电路。它是指应特定用户要求和特定电子系统的需要而设计、制造的集成电路。ASIC的特点是面向特定用户的需求,ASIC在批量生产时与通用集成电路相比具有体积更小、功耗更低、可靠性提高、性能提高、保密性增强、成本降低等优点。
在图2中,多个加速卡MC连接到PCIE交换机P1,从而当主机需要额外增加算力时,可以通过该PCIE交换机来调度更多数量的加速卡;而当算力需求下降时,可以释放出一些加速卡。
图3示出了根据本发明一个实施方式的用于数据加速处理的系统的示意性框图。
如图3所示,所述数据交换单元100可以包括多个PCIE交换机P1,P2,…,Pi,…,Pm,配置为与外部主机可通信地连接;
所述加速处理单元200包括多个加速卡MC1,MC2,…MCi,…,MCn,所述多个加速卡MC1,MC2,…MCi,…,MCn与所述多个PCIE交换机P1,P2,…,Pi,…,Pm可通信地连接,以对来自所述多个PCIE交换机P1,P2,…,Pi,…,Pm的数据进行处理。
在该实施方式中,在未受到接口数量限制的情况下,PCIE交换机的数量可以是任意多个,而加速卡的数量也可以是任意多个。主机的数量也可以是多个,即每个主机可以连接一个或多个PCIE交换机,每个PCIE交换机可以连接一个或多个加速卡。这将在后文中进行更加详细的描述。每个主机可以通过其相连的PCIE交换机来调度相应的加速卡。
图4示出了根据本发明一个实施方式的用于数据加速处理的系统的示意性框图。
如图4所示,所述多个PCIE交换机P1,P2,…,Pi,…,Pm的数量m等于所述多个加速卡MC1,MC2,…MCi,…,MCn的数量n,从而每个PCIE交换机均可通信地连接一个加速卡。
在图4中,每个加速卡连接到相应的PCIE交换机,例如,加速卡MC1连接到PCIE交换机P1,加速卡MC2连接到PCIE交换机P2,加速卡MCi连接到PCIE交换机Pi,以及加速卡MCn连接到PCIE交换机Pn。在此情况下,一个主机可以连接一个PCIE交换机(即主机的数量与PCIE交换机的数量相同),也可以一个主机连接多个PCIE交换机(即主机的数量少于PCIE交换机的数量相同),从而每个主机在需要调整算力的时候,可以通过PCIE交换机对与其连接的加速卡进行调度,从而增加或者释放算力。
图5示出了根据本发明一个实施方式的用于数据加速处理的系统的示意性框图。
如图5所示,多个PCIE交换机P1,P2,…,Pi,…,Pm的数量m小于所述多个加速卡MC1,MC2,…MCi,…,MCn的数量n,从而所述多个PCIE交换机P1,P2,…,Pi,…,Pm中的至少一个与至少两个加速卡MC1,MC2,…MCi,…,MCn可通信地连接。
在图5中,加速卡MC1连接到PCIE交换机P1,加速卡MC2连接到PCIE交换机P2,加速卡MCi和加速卡MCj均连接到PCIE交换机Pi,以及加速卡MCn连接到PCIE交换机Pn。在此情况下,一个主机可以连接一个PCIE交换机(即主机的数量与PCIE交换机的数量相同),也可以一个主机连接多个PCIE交换机(即主机的数量少于PCIE交换机的数量相同),从而每个主机在需要调整算力的时候,可以通过PCIE交换机对与其连接的加速卡进行调度,从而增加或者释放算力。
需要理解的是,尽管在图5中仅示例性地示出了PCIE交换机Pi与加速卡MCi和加速卡MCj连接,但PCIE交换机P1-Pn中的任何一个均可以连接多个加速卡,加速卡的数量取决于PCIE交换机可用端口的数量。另一方面,通过接口扩展设备,也可以对PCIE交换机的端口进行扩展,从而可以脱离PCIE交换机本身的端口数量限制而连接更多数量的加速卡。
需要指出的是,PCIE交换机之间可以保持独立,或者,根据本公开的一个实施方式,所述多个PCIE交换机P1,P2,…,Pi,…,Pm可以相连接,以使得每个PCIE交换机能够与其他PCIE交换机分享所连接的加速卡。
在图3-图5所示的示意图中,PCIE交换机之间的连接以虚线示出,表示PCIE交换机之间可以通信地连接,也可以不连接。通过PCIE交换机之间的连接,可以更加灵活地调用各个PCIE交换机所连接的加速卡。例如,如图4所示,PCIE交换机P1与PCIE交换机P2之间连接时,那么与PCIE交换机P1连接的主机不但可以使用加速卡MC1,还可以通过PCIE交换机P2来调用加速卡MC2,由此当与PCIE交换机P1连接的主机需要增加额外算力时,能够通过PCIE交换机P2调用额外的加速卡MC2来实现。更进一步地,当这些PCIE交换机均连接时,则多个主机可以根据各自的算力需求,通过PCIE交换机来调度所连接的加速卡,由此实现主机在算力需求方面的均衡。
下面结合附图来具体描述PCIE交换机的连接方式。
图6示出了根据本公开的一个实施方式的PCIE交换机以级联连接的示意图。
为方便清楚地描述,图6示例性地示出了四个PCIE交换机P1-P4。如图6所示,根据本公开的一个实施方式,所述多个PCIE交换机以级联的方式相连接。即PCIE交换机P1连接到PCIE交换机P2,PCIE交换机P2连接到PCIE交换机P3,PCIE交换机P3连接到PCIE交换机P4。
进一步如图6所示,PCIE交换机P1连接一个加速卡MC1;PCIE交换机P2连接两个加速卡MC21和MC22;PCIE交换机P3连接三个加速卡PCIE交换机MC31,MC32和MC33;以及PCIE交换机P4连接一个加速卡MC4。
此外,可以是仅一个PCIE交换机连接一个主机,该PCIE交换机然后再跟其他PCIE交换机进行连接;或者,也可以是每个PCIE交换机分别连接有一个主机,在图6中示出了PCIE交换机P1与主机1相连接,PCIE交换机P2与主机2相连接,PCIE交换机P3与主机3相连接,PCIE交换机P4与主机4相连接。
在图6所示的情况中,主机1可以通过PCIE交换机P1来使用加速卡MC1,当加速卡MC1的算力达不到主机1的要求时,主机1可以通过PCIE交换机P1与PCIE交换机P2进行通信,以调用PCIE交换机P2所连接的加速卡MC21和/或MC22的算力;更进一步地,主机1还可以通过PCIE交换机P3来调用加速卡MC31,MC32和/或MC33的算力。类似地,主机2,主机3和主机4也可以调用其他PCIE交换机所连接的加速卡,这里将不再赘述。
通过上图6可以看出,每个主机可以在需要的时候通过PCIE交换机来调度不同的加速卡,以满足其算力的需求。
此外,在图6中,尽管每个PCIE交换机之间以单条线路连接,但本领域技术人员为了增加PCIE交换机之间通信的可靠性,也可以在每个PCIE交换机之间形成两条或更多条通信线路,已形成可靠的通信备份,一旦其中一条通信路径出现故障,则可以通过另外一条通信路径进行通信,这增加了系统的可靠性和可维护性。
图7示出了根据本公开的一个实施方式的PCIE交换机以两两相连的方式来连接的示意图。
在图7中,为了方便起见,示出了4个PCIE交换机,但本领域技术人员可以理解的是,还可以是更多或者更少数量的PCIE交换机。
如图7所示,PCIE交换机P1分别与PCIE交换机P2、PCIE交换机P3以及PCIE交换机P4连接;除PCIE交换机P1之外,PCIE交换机P2还分别与PCIE交换机P3和PCIE交换机P4相连接;除PCIE交换机P1和PCIE交换机P2之外,PCIE交换机P3还与PCIE交换机P4相连接。也就是说,每个PCIE交换机均与其他PCIE交换机发生连接。此联系方式的可靠性较高,能够在某些PCIE交换机发生故障时,不影响其他PCIE交换机的工作,也不会影响其他PCIE交换机之间的通信。
需要理解的是,在图7中,尽管未示出主机以及加速卡MC,但与上述图1-图6所示,每个PCIE交换机均可以连接主机,或者仅有一个PCIE交换机与一个主机连接,每个PCIE交换机可以连接一个或多个加速卡。为了简洁明了,这里并未示出其连接。
图8a示出了根据本公开的一个实施方式的多个PCIE交换机以树形拓扑的方式来连接的示意图。
如图8a所示,PCIE交换机可以分为多个层级(图8a中示例性地示出了三个层级),第一级包括PCIE交换机P1,第二级包括PCIE交换机P21,PCIE交换机P22和PCIE交换机P23;第三级包括PCIE交换机P31,PCIE交换机P32,PCIE交换机P33,PCIE交换机P34,PCIE交换机P35以及PCIE交换机P36。在图8a中,每一级的PCIE交换机可以连接一个或多个下级的PCIE交换机,从而形成树状结构。
具体而言,在图8a中,PCIE交换机P1连接了PCIE交换机P21,PCIE交换机P22和PCIE交换机P23;二级中的PCIE交换机P21连接了PCIE交换机P31和PCIE交换机P32,PCIE交换机P22连接了PCIE交换机P33和PCIE交换机P34,PCIE交换机P23连接了PCIE交换机P35和PCIE交换机P36。
在此树形拓扑结构中,一级PCIE交换机P1可以通过端口“Host”来连接主机,通过f端口来连接其他PCIE交换机,并通过d端口来连接加速卡。对于二级PICE交换机P21,P22和P23,其可以通过f端口与上级PCIE交换机P1连接,也可以通过f端口与下级PCIE交换机P31-P36连接,并且可以通过d端口与加速卡连接,三级PCIE交换机P31-P36也可以做类似设计。
由此,主机可以通过一级PCIE交换机P1对各个PCIE交换机进行配置,并调用其他PCIE交换机的资源,即主机可以通过上级PCIE交换机来调用任何下级PCIE交换机所连接的加速卡。例如,主机可以通过PCIE交换机P1来调用二级PCIE交换机P21-P23所连接的任何一个加速卡,也可以进一步调用三级PCEI交换机P31-P36所连接的任何一个加速卡,从而实现资源的灵活配置。
图8a所示的树形拓扑方式有利于减少PCIE交换机所需的端口数量,并且有利于各个PCIE交换机之间的资源调度。
图8b示出了根据本公开的一个实施方式的多个PCIE交换机以双树形拓扑的方式来连接的示意图。
如图8b所示,示出了与图8a相似的拓扑结构。区别在于,图8b的双树形拓扑结构中示例性地包括了两个(本公开不限于两个,而是可以有任何数量的PCIE交换机)一级PCIE交换机P11和P12,两个一级PCIE交换机P11和P12之间通过两个通道连接,并且一级PCIE交换机P11可以进一步连接下一级PCIE交换机P21和P22,而一级PCIE交换机P12可以连接下一级PCIE交换机P23。二级PCIE交换机P21,P22和P23与三级PCIE交换机的连接与图8a相似,这里将不再赘述。在图8b的结构中,任何一个主机均可以调用与该主机相连接的一级PCIE交换机,也调用其他一级PCIE交换机,或者可以通过其他一级PCIE交换机调用任何其他的二级或三级PCIE交换机。更进一步地,在图8b所示的结构中,双树形拓扑方式有利于可靠的备份,提升系统的稳定性,减少由于某条线路发生故障而影响整体工作质量的机会。
此外,需要理解的是,尽管未示出,但一级PCIE交换机也可以通过d端口来连接加速卡。
图9示出了根据本公开的一个实施方式的多个PCIE交换机以胖树形拓扑的方式来连接的示意图。
如图9所示,示例性地给出了9个PCIE交换机,在所示的9个PCIE交换机中,分为一级PCIE交换机P11,P12和P13,以及二级PCIE交换机P21,P22,P23,P24,P25和P26。需要理解的是,将PCIE交换机分为一级和二级,并不意味着任何一级高于另外一级,而只是为了方便在功能上区分二者。
在图9中,二级PCIE交换机P21分别可通信地连接到一级PCIE交换机P11,P12和P13;二级PCIE交换机P22分别可通信地连接到一级PCIE交换机P11,P12和P13;以及二级PCIE交换机P23分别可通信地连接到一级PCIE交换机P11,P12和P13。
更进一步地,在图9中,二级PCIE交换机P24分别可通信地连接到一级PCIE交换机P11,P12和P13;二级PCIE交换机P25分别可通信地连接到一级PCIE交换机P11,P12和P13;以及二级PCIE交换机P26分别可通信地连接到一级PCIE交换机P11,P12和P13。
在图9所示的胖树形拓扑中,每个一级PCIE交换机P11,P12,P13可以对二级PICE交换机P21,P22,P23,P24,P25,和P26的查找表D-LUT进行配置,从而确定二级交换机之间的通信路径。
更具体而言,例如,一级PCIE交换机可以形成如下通信路径:
P21<------>P11<------>P24
P21<------>P11<------>P25
P21<------>P11<------>P26
P21<------>P11<------>P22
P21<------>P11<------>P23
P22<------>P12<------>P24
P22<------>P12<------>P25
P22<------>P12<------>P26
P22<------>P12<------>P21
P22<------>P12<------>P23
P23<------>P13<------>P24
P23<------>P13<------>P25
P23<------>P13<------>P26
P23<------>P13<------>P21
P23<------>P13<------>P22
需要理解的是,上面PCIE交换机的数量仅仅是一个示例,本领域技术人员可以采用任何其他数量的PCIE交换机。
同样,需要理解的是,在图9中,尽管未示出主机以及加速卡MC,但与上述图1-图6所示,每个PCIE交换机均可以连接主机,或者仅有一个PCIE交换机与一个主机连接,每个PCIE交换机可以连接一个或多个加速卡。为了简洁明了,这里并未示出其连接。
在以上图3-图9的描述中,PCIE交换机之间的连接可以是单条通信线路,也可以是多条通信线路(类似于图8b所示),从而增加PCIE交换的冗余和备份,提高系统可靠性。
图10示出了根据本公开的另一个实施方式的用于数据加速处理的系统的另一个示例性框图。
如图10所示,所述系统进一步包括管理单元300,配置为对所述数据交换单元100和/或所述加速处理单元200进行管理。
所述管理单元300可以为基板管理控制器BMC。BMC负责整个机箱的管理。功能包括对电源、风扇、PCIE设备和/或加速卡MC进行监控和及时将故障上报给主机。同时负责接收和处理温度传感器采集的整机各个位置的温度信息和功率传感器采集的整板关键器件的电流和电压,如果温度和功耗异常则触发报警机制。
管理单元300,例如BMC可以与加速处理单元200连接,也可以与数据交换单元100连接。当数据交换单元100包括多个PCIE交换机时,该管理单元可以与其中一个PCIE交换机连接,也可以与多个PCIE交换机连接。需要理解的是,上面所述的连接,可以是直接连接,也可以通过其他中间设备间接连接。连接方式可以采用任何适当的接口。
图11示出了根据本公开的又一个实施方式的用于数据加速处理的系统的又一个示例性框图。
如图11所示,本公开的系统进一步包括接口单元400,配置为与所述管理单元300连接,以便于所述管理单元300对所述数据交换单元100和/或所述加速处理单元200进行管理。
接口单元400可以是微控制单元MCU,它是指将计算机的CPU、RAM、ROM、定时计数器和多种I/O接口集成在一片芯片上,形成芯片级的计算机,多用于电子产品的控制。
该微控制单元MCU可以连接管理单元300,并且管理单元300通过该微控制单元MCU来对加速处理单元进行管理。该微控制单元MCU还可以连接到数据交换单元100。类似地,当数据交换单元100包括多个PCIE交换机时,该微控制单元MCU可以与其中一个或多个PCIE交换机连接。
图12示出了本公开进一步的实施方式的系统的示意性框图。
如图12所示,本公开的系统进一步包括:传感装置,所述传感装置与所述管理单元300相连接,以与所述管理单元300进行传感信息的交互;存储装置,所述存储装置与所述管理单元300相连接,以便于由所述管理单元300进行数据存取;和/或温控装置,所述温控装置与所述管理单元300相连接,以便于所述管理单元300对所述系统的温度进行调控。
在图12中,传感装置可以包括多种类型的传感器,例如功率传感器,温度传感器等等,管理单元300可以接收来自于这些传感器的信号。功率传感器会采集板上关键器件如MC卡、温控装置(例如风扇)和硬盘等的电流和电压数据,通过I2C总线上报给BMC和MCU进行判断处理。温度传感器放置于基板上的各个地方,负责收集大功耗器件如电源转换芯片等的温度并上报给BMC和MCU进行判断处理,如果温度过高则触发报警机制。
存储装置也可以是任何适当类型的存储器,例如可以包括DDR、Flash和SD卡等存储介质,用于保存固件和日志信息等。
温控装置可以是风扇或其他任何能够控制管理单元温度的部件。该温控装置可以通过热插拔控制器与电源连接。该热插拔控制器的作用是提供热插拔功能和电源监控功能,所谓热插拔即可以在带电的情况下进行电源接口的插拔。例如当某个风扇失效后可以在基板不掉电的情况下将该风扇移除并插入新的风扇。当加速控制单元200包括多个MC卡时,该热插拔控制可以与一个或多个MC卡相连接。
本公开的各种拓扑可以无限扩展和变形,可以保证有足够的MC卡来满足算力的要求。而且只需要占用传统服务器一个PCIE卡槽,克服了传统服务器PCIE槽位受限的问题。
可以通过软件灵活配置挂在每一台服务器(主机)PCIE总线下的MC卡数,去动态调整算力资源,保证每一台服务器都能达到最优的性能,克服了传统服务器中多张加速卡挂在同一个CPU的PCIE总线上而资源无法灵活配置的问题。
本公开的系统还可以实现在一个板卡上;或者实现在电子设备或电子装置,例如服务器中。
本披露还公开了一个组合处理装置1300,其包括上述的电子装置1302,通用互联接口1304,和其他处理装置1306。根据本披露的电子装置与其他处理装置进行交互,共同完成用户指定的操作。图13示出了组合处理装置的示意图。
其他处理装置,包括中央处理器CPU、图形处理器GPU、神经网络处理器等通用/专用处理器中的一种或以上的处理器类型。其他处理装置所包括的处理器数量不做限制。其他处理装置作为机器学习运算装置与外部数据和控制的接口,包括数据搬运,完成对本机器学习运算装置的开启、停止等基本控制;其他处理装置也可以和机器学习运算装置协作共同完成运算任务。
通用互联接口,用于在电子装置(包括例如机器学习运算装置)与其他处理装置间传输数据和控制指令。该电子装置从其他处理装置中获取所需的输入数据,写入该电子装置片上的存储装置;可以从其他处理装置中获取控制指令,写入电子装置片上的控制缓存;也可以读取电子装置的存储模块中的数据并传输给其他处理装置。
可选的,该结构还可以包括存储装置1308,存储装置分别与所述电子装置和所述其他处理装置连接。存储装置用于保存在所述电子装置和所述其他处理装置的数据,尤其适用于所需要运算的数据在本电子装置或其他处理装置的内部存储中无法全部保存的数据。
该组合处理装置可以作为手机、机器人、无人机、视频监控设备等设备的SOC片上系统,有效降低控制部分的核心面积,提高处理速度,降低整体功耗。此情况时,该组合处理装置的通用互联接口与设备的某些部件相连接。某些部件譬如摄像头,显示器,鼠标,键盘,网卡,wifi接口。
在一些实施例里,本披露还公开了一种电子设备,其包括了上述的电子装置。
电子设备或装置包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。
所述交通工具包括飞机、轮船和/或车辆;所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机;所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。
依据以下条款可更好地理解前述内容:
条款1.一种用于数据加速处理的系统,包括:数据交换单元(100)和加速处理单元(200),其中,
所述数据交换单元(100)配置为与外部主机可通信地连接;
所述加速处理单元(200)配置为与所述数据交换单元(100)可通信地连接,以对来自所述数据交换单元(100)的数据进行处理,其中,所述加速处理单元(200)能够被调度以满足不同处理能力的需要。
条款2.根据条款1所述的系统,其中,所述数据交换单元(100)包括PCIE交换机。
条款3.根据条款1或2所述的系统,其中
所述数据交换单元(100)包括单个PCIE交换机(P1),配置为与单个外部主机可通信地连接;
所述加速处理单元(200)包括一个或多个加速卡(MC1,MC2,…MCi,…,MCn),所述一个或多个加速卡(MC1,MC2,…MCi,…,MCn)与所述单个PCIE交换机(P1)可通信地连接,以对来自所述单个PCIE交换机(P1)的数据进行处理。
条款4.根据条款1-3中任意一项所述的系统,其中,
所述数据交换单元(100)包括多个PCIE交换机(P1,P2,…,Pi,…,Pm),配置为与外部主机可通信地连接;
所述加速处理单元(200)包括多个加速卡(MC1,MC2,…MCi,…,MCn),所述多个加速卡(MC1,MC2,…MCi,…,MCn)与所述多个PCIE交换机(P1,P2,…,Pi,…,Pm)可通信地连接,以对来自所述多个PCIE交换机(P1,P2,…,Pi,…,Pm)的数据进行处理。
条款5.根据条款1-4中任意一项所述的系统,其中,所述多个PCIE交换机(P1,P2,…,Pi,…,Pm)的数量m等于所述多个加速卡(MC1,MC2,…MCi,…,MCn)的数量n,从而每个PCIE交换机均可通信地连接一个加速卡。
条款6.根据条款1-5中任意一项所述的系统,所述多个PCIE交换机(P1,P2,…,Pi,…,Pm)的数量m小于所述多个加速卡(MC1,MC2,…MCi,…,MCn)的数量n,从而所述多个PCIE交换机(P1,P2,…,Pi,…,Pm)中的至少一个与至少两个加速卡(MC1,MC2,…MCi,…,MCn)可通信地连接。
条款7.根据条款1-6中任意一项所述的系统,其中,所述多个PCIE交换机(P1,P2,…,Pi,…,Pm)相连接,以使得每个PCIE交换机能够与其他PCIE交换机分享所连接的加速卡。
条款8.根据条款1-7中任意一项所述的系统,其中,所述多个PCIE交换机以级联的方式相连接。
条款9.根据条款1-8中任意一项所述的系统,其中,所述多个PCIE交换机以两两相连的方式来连接。
条款10.根据条款1-9中任意一项所述的系统,其中,所述多个PCIE交换机以树形拓扑的方式来连接。
条款11.根据条款1-10中任意一项所述的系统,其中,所述多个PCIE交换机以双树形拓扑的方式来连接。
条款12.根据条款1-11中任意一项所述的系统,其中,所述多个PCIE交换机以胖树形拓扑的方式来连接。
条款13.根据条款1-12中任意一项所述的系统,进一步包括管理单元(300),配置为对所述数据交换单元(100)和/或所述加速处理单元(200)进行管理。
条款14.根据条款1-13中任意一项所述的系统,其中,所述管理单元(300)为基板管理控制器BMC。
条款15.根据条款1-14中任意一项所述的系统,进一步包括接口单元(400),配置为与所述管理单元(300)连接,以便于所述管理单元(300)对所述数据交换单元(100)和/或所述加速处理单元(200)进行管理。
条款16.根据条款1-15中任意一项所述的系统,进一步包括:
传感装置,所述传感装置与所述管理单元(300)相连接,以与所述管理单元(300)进行传感信息的交互;
存储装置,所述存储装置与所述管理单元(300)相连接,以便于由所述管理单元(300)进行数据存取;和/或
温控装置,所述温控装置与所述管理单元(300)相连接,以便于所述管理单元(300)对所述系统的温度进行调控。
条款17.一种板卡,包括如条款1-16中任意一项所述的系统。
条款18.一种电子设备,包括如条款1-16中任意一项所述的系统或者如条款17所述的板卡。
条款19.根据条款18所述的电子设备,其中,所述电子设备为服务器。
本披露的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。上述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
- 用于数据加速处理的系统、板卡和电子设备
- 用于通过数据处理加速器处理数据的系统和方法