一种应用于服务器集群的任务管理系统

技术领域

本发明属于集群管理技术领域，特别涉及一种应用于服务器集群的任务管理系统。

背景技术

随着时代的快速发展，金融、通信、互联网等行业的业务量在逐日剧增，这就要求服务器对处理任务的效率有更高的要求。和X86平台的服务器相比，ARM平台的服务器拥有着内核多、体积小、低功耗、低成本和高性能等优点，在对业务的处理会更高效、更快速。自然而然，如何能够统一管理ARM服务器众多的内核，如何能够最大化的利用ARM服务器集群的高性能，这就成为了服务器方案提供商和整机生产商亟需解决的问题。

目前大部分常规ARM服务器很少拥有独立的带外任务管理功能，一般都是靠处理器的带内分配去管理着服务器的各项任务，做不到同步对内存、存储设备、网络等进行管理，这种简单的任务分配不能最大化的利用资源，势必会造成资源闲置、任务处理效率低等，以对客户对ARM服务器的运维检修为例，如果业务量的持续激增，这种简单的处理器带内任务管理，就不再能高效地完成业务的支配。一旦任务量超过了服务器带内的处理能力，则很有可能带来服务器的宕机，对使用者造成数据丢失、业务中断等不可换回的损失，增加客户机房运维成本，影响机房整体环境的稳定运行。

发明内容

为了解决上述技术问题，本发明提出了一种应用于服务器集群的任务管理系统，更好的对ARM服务器集群进行有效的智能管理，提高机房运维的效率，最大化的利用ARM服务器的性能，节约成本。

为实现上述目的，本发明采用以下技术方案：

一种应用于服务器集群的任务管理系统，包括用于控制服务器集群系统的智能控制单元和服务器集群的处理器内核管理单元、网络交互单元、数据动态存储单元和内存地址分配单元；

所述智能控制单元分别与处理器内核管理单元、网络交互单元、数据动态存储单元和内存地址分配单元通信连接；所述智能控制单元用于通过网络交互单元与服务器集群进行数据交互，并根据数据量的大小，控制处理器内核管理单元分配相应的服务器内核，并根据数据的类型存储至内存地址分配单元或者数据动态存储单元；或者从所述内存地址分配单元或者数据动态存储单元中获取所需数据。

进一步的，所述系统还包括散热策略调节单元；

所述智能控制单元与散热策略调节单元通信连接；所述智能控制单元用于根据当前数据量的大小和服务器集群中器件的温度，控制风扇的转速进行散热。

进一步的，所述系统还包括远程集中监控管理单元；

所述智能控制单元分别与远程集中监控管理单元通信连接；所述智能控制单元用于获取服务器集群的工作信息，通过远程集中监控管理单元传递给运维人员；以及传递运维人员的操作命令给智能控制单元，完成对所述服务器集群中所有单元的实时管理。

进一步的，所述智能控制单元分别与处理器内核管理单元、网络交互单元、数据动态存储单元和内存地址分配单元通信连接包括：

所述智能控制单元通过SPI信号与处理器内核管理单元通信连接；

所述智能控制单元通过RGMII信号与网络交互单元通信连接；

所述智能控制单元通过I2C信号与内存地址分配单元通信连接；

所述智能控制单元通过PCIE信号与数据动态存储单元通信连接。

进一步的，所述智能控制单元通过FWM信号和TACH信号与散热策略调节单元通信连接；所述智能控制单元通过RGMII信号和GPIO信号与远程集中监控管理单元通信连接。

进一步的，所述内存地址分配单元的工作过程为：智能控制单元依据处理器当前运行内核的数量，将其对内存的容量进行匹配，指定内存预留容量缓存区，将处理器的二级缓存数据暂存到内存RAM中，以备ARM内核随时调用和访问。

进一步的，所述智能控制单元包括可编程芯片和SPI解析器；

所述可编程芯片通过SPI解析器与处理器内核管理单元通信；所述可编程芯片用于通过控制SPI解析器，给集群处理器发出调用内核的指令，并根据当前待处理数据量的大小计算所述服务器内核；并且在数据量超出预设阈值时，可编程芯片将所述待处理数据放置在内存条中；以及判断数据为存储数据时，将所述数据放入数据动态存储单元。

进一步的，所述智能控制单元还包括网络加密解析模块；

所述可编程芯片用于在接收数据时，调用网络加密解析模块对接收到的数据进行密码解析；以及在发送数据时，调用网络加密解析模块对发送的数据进行加密。

进一步的，所述智能控制单元还包括存储加密模块；

所述可编程芯片判断数据为存储数据时，将放入内存条的数据调取出来；同时可编程芯片调用存储加密模块对数据进行加密，并在加密之后调用PCIe/SAS控制器将数据写入数据动态存储单元；或者从数据动态存储单元读取数据时，可编程芯片调用存储加密模块对数据进行解密。

进一步的，所述存储加密模块对数据进行加密的过程包括但不限于数据逻辑伪码转换、数据逻辑取反转换和数据逻辑移位转换。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

本发明提出了一种应用于服务器集群的任务管理系统，包括用于控制服务器集群系统的智能控制单元和服务器集群的处理器内核管理单元、网络交互单元、数据动态存储单元和内存地址分配单元；智能控制单元分别与处理器内核管理单元、网络交互单元、数据动态存储单元和内存地址分配单元通信连接；智能控制单元用于通过网络交互单元与服务器集群进行数据交互，并根据数据量的大小，控制处理器内核管理单元分配相应的服务器内核，并根据数据的类型存储至内存地址分配单元或者数据动态存储单元；或者从内存地址分配单元或者数据动态存储单元中获取所需数据。该系统还包括散热策略调节单元和远程集中监控管理单元。本发明采用一套拥有着多种功能、可独立运行的任务管理系统，集成了处理器内核管理单元、网络交互单元、数据动态存储单元、内存地址分配单元、散热策略调节单元和远程集中监控管理单元等六大部分组成。它是独立于CPU处理单元范围外的一套智能多功能的任务管理系统。此管理系统通过智能控制单元来集中管理，对任务进行自动识别，快速分配，拥有统一调度处理器内核、快速分配内存地址、高速网络交互、主动调控散热策略功能、动态数据存储和远程监控等智能任务管理功能。

附图说明

如图1为本发明实施例1一种应用于服务器集群的任务管理系统连接示意图；

如图2为本发明实施例1一种应用于服务器集群的任务管理系统中智能控制单元连接示意图。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

实施例1

本发明实施例1提出了一种应用于服务器集群的任务管理系统，可以解决常规型设计不能对内存、存储设备、网络等资源进行同步管理的缺点，最大化的利用资源，对业务处理效率更高。如图1为本发明实施例1一种应用于服务器集群的任务管理系统连接示意图；该系统包括用于控制服务器集群系统的智能控制单元和服务器集群的处理器内核管理单元、网络交互单元、数据动态存储单元和内存地址分配单元；

智能控制单元分别与处理器内核管理单元、网络交互单元、数据动态存储单元和内存地址分配单元通信连接；智能控制单元用于通过网络交互单元与服务器集群进行数据交互，并根据数据量的大小，控制处理器内核管理单元分配相应的服务器内核，并根据数据的类型存储至内存地址分配单元或者数据动态存储单元；或者从内存地址分配单元或者数据动态存储单元中获取所需数据。

该系统还包括散热策略调节单元和远程集中监控管理单元。智能控制单元分别与散热策略调节单元和远程集中监控管理单元通信连接。

智能控制单元通过SPI信号与处理器内核管理单元通信连接；智能控制单元通过RGMII信号与网络交互单元通信连接；智能控制单元通过I2C信号与内存地址分配单元通信连接；智能控制单元通过PCIE信号与数据动态存储单元通信连接。智能控制单元通过FWM信号和TACH信号与散热策略调节单元通信连接；智能控制单元通过RGMII信号和GPIO信号与远程集中监控管理单元通信连接。

SPI信号主要用于ARM处理器内核的管理调度；I2C信号主要用于内存地址空间的分配；PCIe信号主要用于业务数据的动态存储；智能任务管理系统获取到系统传递过来的控制信号后，会在智能控制单元进行数据解析，然后将相应的信号分别传递给对应的任务管理单元。每个任务管理单元得到相应的输入请求信号之后会对其进行处理，并按照预设的模式和配置对不同的功能进行管理，然后输出反馈信号。这些输出信号再通过控制交互模块传递给服务器，进而控制系统的不同管理末端。

本发明中智能控制单元对处理器内核管理单元、网络交互单元、数据动态存储单元、内存地址分配单元通信、散热策略调节单元和远程集中监控管理单元进行管理智能识别任务进程，快速分配资源和调用ARM处理的内核，合理分配任务，利用各个管理单元的协同运作，实现对ARM服务器集群系统的任务进程进行智能管理。

智能控制单元是本发明智能电源管理系统的核心，它通过PCIe信号、SPI信号与主板进行对数据的交互、控制请求信号与管理反馈信号的传递，它可由可编程芯片进行实现。当主板端通过控制交互模块传递过来的交互信号时，它会对其信息进行解析；如果需要调用其他管理单元的配合，那么它就会通过相应的SPI信号、I2C信号、RGMII信号、PWM信号、TACH信号、PCIe信号和GPIO信号对相应管理单元进行管理调用请求，待各个管理单元反馈过来对应的管理信号后，智能控制单元内部进行编码，再将这些经过编码的管理反馈信号通过控制交互模块输出给服务器。

处理器内核管理单元主要是对ARM处理的内核进行智能管理，根据当前业务量的大小，调用不同数量的内核，同时设定所需内核的运行频率。当业务量比较大的时候，智能控制单元识别到此业务需要分配更多的资源来使用，那么就会通过处理器内核管理单元对ARM处理的内核进行多数量的开启。当业务量比较小的时候，智能控制单元就会对处理内核管理单元下发降频、关内核的指令，ARM处理器收到指令后，就会通过SOC的管理器进行降频、关核等操作，使其功耗降低，达到节能的作用。

内存地址分配单元主要是对ARM服务器的内存进行地址分配、数据读写等操作，使内存的带宽使用率与服务器的业务量相匹配，做到一个动态调节的作用。其工作原理是智能控制单元依据处理器当前运行内核的数量，将其对内存的容量进行匹配，指定内存预留容量缓存区，将处理器的二级缓存数据暂存到内存RAM中，以备ARM内核随时调用和访问。

网络交互单元主要起到数据快速传输、ARM服务器集群之间的通讯、服务器与外界互联网通讯的功能，它是整个ARM服务器集群中的口与耳，在外联情况下比不可少。当某些业务需要多台服务器进行配合运作时，智能控制单元会识别到业务对服务器集群互联的要求，将一个大业务分成若干个小业务，每台ARM服务器承担着几十或几百个小业务，将每个小业务都分配到ARM的每个内核上。通过ARM处理器内核和外部内存的配合，高效的完成任务后，将任务输出的结果进行汇总，然后通过网络交互模块传输给其他集群中的服务器，多台服务器协同配合，完成整个大业务的处理。

散热策略管理单元主要是对ARM服务器的散热方案进行监控管理，它可以监测整机系统中的ARM处理器、内存模块、网络模块和存储模块的温度，也能获得整机系统中的风扇的转速，进而根据预设的散热策略对整个ARM服务器系统进行散热保护。其工作原理是散热策略管理单元通过Sense信号读取到每个模块的温度后，通过I2C信号将此温度传递给智能控制单元，智能控制单元依据提前设置好的散热策略，对每个模块的相应风扇转速信号进行解析后，通过I2C信号和PWM信号传递到散热策略单元，散热策略单元按照运维人员预设的散热策略对整机系统的风扇模组进行PWM转速调控，智能控制单元再回读降温后的模块温度和对应风扇的转速，编译后将其回传给服务器系统，进而对整机系统进行散热策略的管理。

数据动态存储模块主要是对业务处理和数据计算提供存储的空间，它承载着ARM处理器内核的任务处理的数据保存。在智能控制单元对任务进行分配时，每个ARM内核的数据会从处理器的二级缓存区域映射到内存地址空间内；内存地址空间内的数据通过PCIe信号链路，将数据动态的分配到下游的存储设备上。存储设备可由NVMe硬盘、SSD、M.2硬盘等组成。同时，数据动态存储模块还有安全加密的功能，会对业务处理过程中产生的数据进行公私密钥的加密等处理，保证其业务数据的绝对安全。

远程集中监控管理单元要是对ARM服务器任务控制系统进行远程任务监控管理，它主要起到机房运维对整个ARM服务器集群进行批量管理。远程集中监控管理单元会将整机中每个控制模块的健康状况、故障记录日志等众多信息通过网络信号传递给运维人员，运维人员可以远程、第一时间了解到每个服务器的运行状况；同时它会将每台ARM服务的当前分担的任务量和任务内容远程传递给运维人员，运维人员会根据机器的任务负重比，合理的分配任务，高效的使用使用资源。其工作原理是智能控制单元读取下游各个单元的各种信息后，通过RGMII信号传递给远程监控管理单元，由远程监控管理单元通过网络信号传递给运维人员；当然它还可以传递远程运维人员的操作命令给智能控制单元，进而完成对每个模块的实时高效管理。多台ARM服务器的远程监控模块都集中到机房运维人员客户端，自然就可以做到对整个ARM服务器集群的批量管理。

如图2为本发明实施例1一种应用于服务器集群的任务管理系统中智能控制单元连接示意图。智能控制单元采用可编程芯片，CPLD或者FPGA，还包括SPI解析器，网络加密解析模块和存储加密模块

可编程芯片通过SPI解析器与处理器内核管理单元通信；可编程芯片用于通过控制SPI解析器，给集群处理器发出调用内核的指令，并根据当前待处理数据量的大小计算所述服务器内核；并且在数据量超出预设阈值时，可编程芯片将所述待处理数据放置在内存条中；以及判断数据为存储数据时，将所述数据放入数据动态存储单元。

可编程芯片用于在接收数据时，调用网络加密解析模块对接收到的数据进行密码解析；以及在发送数据时，调用网络加密解析模块对发送的数据进行加密。

可编程芯片判断数据为存储数据时，将放入内存条的数据调取出来；同时可编程芯片调用存储加密模块对数据进行加密，并在加密之后调用PCIe/SAS控制器将数据写入数据动态存储单元；或者从数据动态存储单元读取数据时，可编程芯片调用存储加密模块对数据进行解密。

智能控制单元的工作过程详细为：数据由外而内传输时，当服务器集群的数据通过网络传输到一台ARM服务器时，网络路由接收到数据，可编程芯片调用存储加密模块，通过译码/选行等操作来激活加密规则存储器，会将网络传输的数据进行密码解析，传输到可编程芯片。数据由内而外传输时，同理反之。若此串数据是为计算型数据，则可编程芯片会依据内部设定的模式对数据大小进行判断。数据量比较小时，可编程芯片会通过控制SPI控制器，给ARM处理器发出调用内核的指令，比如每个ARM内核在单位时间内最大可以处理2Kb的数据计算，当前任务需要8Kb的计算cache，那么智能控制单元的可编程芯片就会主动调用4个ARM内核以供此串数据的计算。数据量比较大时，则智能控制单元的可编程芯片会将此串数据进行模数转换，通过DQ/DQS控制器配合ARM内存控制器，按照先进先出的原则，将数据暂缓放在内存条中，以待ARM处理器的调用。若此串数据为存储型数据，则智能控制单元的可编程芯片会将之前暂存在内存条中的数据通过内存控制器调取出来，同步可编程芯片调用加密转换器对数据进行加密，其加密过程包含但不限于数据逻辑伪码转换、数据逻辑取反转换、数据逻辑移位转换等深层次加密处理。在数据加密处理之后，则进一步调用PCIe/SAS控制器将数据写入到存储设备中。数据从存储设备中读取的过程，同理反之。

无论是在计算型信息的运算，还是数据型信息的存储，此过程必定是一个高速数据转换传递的过程，智能控制单元、ARM处理器、ARM内存控制等关键逻辑单元必定会遇到在消耗功耗的地方，智能控制单元会依据当前任务量的大小和一些器件的温度监测，对相应位置的风扇进行PWM或DC调控，使其风扇的转速达到智能高效的任务处理。当然，机房的运维人员也可以远程操作ARM服务器集群的任务管理系统，通过网络传输到每个ARM服务器的智能控制单元上，依据此台服务器在ARM服务器集群中承载任务量的能力，按照就近原则，对其进行任务的分配。若某些数据的传输需要更大的存储空间，需要更多的ARM内核计算单元，那么智能控制单元就会根据任务的大小、紧急程度等因素，将其进行区块链式分布，多台ARM服务器并行处理，多个内核协同作用，高效快速完成任务。

本发明采用一套拥有着多种功能、可独立运行的任务管理系统，集成了处理器内核管理单元、网络交互单元、数据动态存储单元、内存地址分配单元、散热策略调节单元和远程集中监控管理单元等六大部分组成。它是独立于CPU处理单元范围外的一套智能多功能的任务管理系统。此管理系统通过智能控制单元来集中管理，对任务进行自动识别，快速分配，拥有统一调度处理器内核、快速分配内存地址、高速网络交互、主动调控散热策略功能、动态数据存储和远程监控等智能任务管理功能。

本发明同样可应用到其他带有多颗内核的CPU平台的数据存储机、个人电脑和工业控制等设备中，可从硬件系统设计层面实现对服务器集群的任务进行智能管理。节约后期机房维护成本，智能控制，多样管理。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制。对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的修改或变形。这里无需也无法对所有的实施方式予以穷举。在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。