掌桥专利:专业的专利平台
掌桥专利
首页

资源调整方法、装置、计算机设备和存储介质

文献发布时间:2023-06-19 18:53:06


资源调整方法、装置、计算机设备和存储介质

技术领域

本申请涉及工业数据采集技术领域,尤其涉及一种资源调整方法、装置、计算机设备和存储介质。

背景技术

在工业数据采集管理系统中,前端的数据采集器采集工业设备中各设备点位的点位工业数据,将点位工业数据发送给网关机,由后端的数据采集服务器主动从网关机中获取点位工业数据。或者,网关机在接收到各设备点位的点位工业数据后,将点位工业数据发送给消息队列服务,由后端的数据采集服务器按照订阅主题,从消息队列服务中订阅对应的点位工业数据。而数据采集服务器获取点位工业数据之后,即可按照预设置的数据处理逻辑,对点位工业数据进行处理和分析。

但是,工业设备的数量,以及工业设备中设备点位的数量均会随工业生产需求的变动而发生变化,导致数据采集服务器需要处理的点位工业数据量也随之变动。比如,某生产单位基于生产需求,新增了一批工业设备,若将新增设备中的设备点位加入点位采集队列中,则会增加数据采集服务器的性能压力。此时,若数据采集服务器的服务器资源无法满足新增的设备点位的点位工业数据采集需求,则会导致数据采集滞后或者数据采集服务器压力过高宕机。又比如,将某工业设备中的设备点位从点位采集队列中移除后,数据采集服务器的性能压力也会随之减少,此时若不释放对应的服务器资源,则会导致数据采集服务器资源的浪费。

因此,亟需一种可以根据设备点位变动情况调整服务器资源的方法。

发明内容

本申请提供了一种资源调整方法、装置、计算机设备和存储介质,能够根据设备点位变化情况,灵活调整服务器资源,以满足目标数据采集系统的数据采集需求。

第一方面,本申请提供一种资源调整方法,包括:

获取目标数据采集系统中各工业设备的点位采集配置信息;目标数据采集系统包括多个工业设备、至少一个网关机和多个数据采集服务器,每个工业设备对应至少一个设备点位;

基于点位采集配置信息,按照预设的监测周期获取目标数据采集系统的性能监测数据;性能监测数据表示目标数据采集系统中多个数据采集服务器的数据采集性能;

根据性能监测数据,调整目标数据采集系统中数据采集服务器的服务器资源。

在一种可能的实现方式中,基于点位采集配置信息,按照预设的监测周期获取目标数据采集系统的性能监测数据,包括:

对点位采集配置信息进行解析,确定目标数据采集系统中数据采集服务器的数据采集模式;

根据数据采集模式,以及预设的采集模式和性能监测指标之间的对应关系,确定目标数据采集系统的性能监测指标;

基于性能监测指标,按照监测周期获取目标数据采集系统的性能监测数据。

在一种可能的实现方式中,数据采集模式包括主动采集模式和订阅采集模式;

在主动采集模式下,数据采集服务器主动从网关机中获取各设备点位的点位工业数据;

在订阅采集模式下,数据采集服务器获取网关机传输的预先订阅的数据主题所对应的点位工业数据。

在一种可能的实现方式中,若数据采集模式为主动采集模式,则性能监测数据包括点位在线率、采集超时率和采集资源占比;

其中,点位在线率表示按照预设的采样频率采集点位工业数据的设备点位数量,与目标数据采集系统已配置的设备点位总数目之间的比值;采集超时率用于表示监测周期内网关机从各设备点位获取点位工业数据时的超时次数与总获取次数之间的比值;采集资源占比用于表示数据采集服务器获取各设备点位的点位工业数据时耗费的服务器资源,与目标数据采集系统中当前数据采集服务器的服务器总资源之间的比值。

在一种可能的实现方式中,该资源调整方法还包括:

若采集超时率大于预设的超时率阈值,则生成网关异常提示信息;

若采集超时率大于超时率阈值的第一持续时长大于预设的第一时长阈值,则采用预设的信息发送方式将网关异常信息发送给网关维护人员,以提示网关维护人员对网关机进行检修。

在一种可能的实现方式中,根据性能监测数据,调整目标数据采集系统中数据采集服务器的服务器资源,包括:

若采集超时率小于或等于预设的超时率阈值,则判断点位在线率是否小于在线率阈值;

若点位在线率小于在线率阈值,则根据采集资源占比和资源占比阈值,判断是否在目标数据采集系统中增加服务器资源;

若点位在线率大于或等于在线率阈值,则根据采集资源占比和资源占比阈值,判断是否减少目标数据采集系统中的服务器资源。

在一种可能的实现方式中,采集资源占比包括CPU占比和内存占比,资源占比阈值包括CPU占比上限值和内存占比上限值;

根据采集资源占比和资源占比阈值,判断是否在目标数据采集系统中增加服务器资源,包括:

若CPU占比大于CPU占比上限值,或者,内存占比大于内存占比上限值,则按照预设的资源增加量,在目标数据采集系统中增加服务器资源。

在一种可能的实现方式中,按照预设的资源增加量,在目标数据采集系统中增加服务器资源,包括:

获取CPU占比大于CPU占比上限值的第二持续时长,或者,获取内存占比大于内存占比上限值的第三持续时长;

若第二持续时长或者第三持续时长大于预设的第二时长阈值,则按照预设的资源增加量,在目标数据采集系统中增加服务器资源。

在一种可能的实现方式中,采集资源占比包括CPU占比和内存占比,资源阈值包括CPU占比下限值和内存占比下限值;

根据采集资源占比和资源占比阈值,判断是否减少目标数据采集系统中的服务器资源,包括:

若CPU占比小于CPU占比下限值,或者,内存占比小于内存占比下限值,则按照预设的资源减少量,减少目标数据采集系统中的服务器资源。

在一种可能的实现方式中,按照预设的服务器删减量,减少数据采集系统中的服务器资源,包括:

获取CPU占比小于CPU占比下限值的第四持续时长,或者,获取内存占比小于内存占比下限值的第五持续时长;

若第四持续时长或者第五持续时长大于预设的第三时长阈值,则按照预设的资源删减量,减少目标数据采集系统中的服务器资源。

第二方面,本申请提供了一种资源调整装置,该装置包括:

信息获取模块,用于获取目标数据采集系统中各工业设备的点位采集配置信息;目标数据采集系统包括多个工业设备、至少一个网关机和多个数据采集服务器,每个工业设备对应至少一个设备点位;

性能监测模块,用于基于点位采集配置信息,按照预设的监测周期获取目标数据采集系统的性能监测数据;性能监测数据表示目标数据采集系统中多个数据采集服务器的数据采集性能;

资源调整模块,用于根据性能监测数据,调整目标数据采集系统中数据采集服务器的服务器资源。

第三方面,本申请提供了一种计算机设备,该设备包括存储器和处理器,存储器存储有计算机程序,处理器从存储器中调用并执行计算机程序时实现上述第一方面中任一项所示的资源调整方法的步骤。

第四方面,本申请提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述第一方面中任一项所示的资源调整方法的步骤。

第五方面,本申请提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一方面中任一项所示的资源调整方法的步骤。

本申请提供的技术方案至少可以达到以下有益效果:

本申请提供了一种资源调整方法、装置、计算机设备和存储介质,根据目标数据采集系统中各工业设备的点位采集配置信息,周期性地获取目标数据采集系统的性能监测数据。由于性能监测数据可以反映目标数据采集系统中数据采集服务器的数据采集性能,因此,可以根据目标数据采集系统的性能监测数据,灵活调整该系统中数据采集服务器的服务器资源。如此,能够有效避免出现数据采集服务器的数据采集性能跟不上,导致数据处理滞后或者数据丢失的问题,提高工业数据采集的稳定性。同时,在满足目标数据采集系统中设备点位的数据采集需求下,调整该系统中的服务器资源,也可以提高服务器资源的利用率,减少服务器资源的浪费。

附图说明

图1是本申请一示例性实施例示出的一种数据采集系统的架构图;

图2是本申请一示例性实施例示出的另一种数据采集系统的架构图;

图3是本申请一示例性实施例示出的一种计算机设备的结构示意图;

图4是本申请一示例性实施例示出的一种资源调整方法的流程示意图;

图5是本申请一示例性实施例示出的一种主动采集模式下的资源调整的流程示意图;

图6是本申请一示例性实施例示出的一种订阅采集模式下的资源调整的流程示意图;

图7是本申请一示例性实施例示出的一种资源调整装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案及优点更加清楚明白,下面将结合附图及实施例,对本申请的技术方案做进一步详细说明。

在对本申请实施例提供的资源调整方法进行解释说明之前,先对本申请实施例的应用场景和实施环境进行介绍。

工业生产中的数据采集系统包括多个工业设备、至少一个网关机和多个数据采集服务器。其中,每个工业设备对应至少一个设备点位,网关机用于从各工业设备中获取设备点位的点位工业数据,数据采集服务器基于各工业设备配置的数据采集模式,获取网关机中的点位工业数据。

应该理解的是,工业设备即为工业生产中的某个硬件,设备点位是硬件中一个运行监测参数,比如该硬件的转速、温度、是否开机、电压等运行参数,每个运行参数称之为一个设备点位,设备点位上带有采集频率等字段信息。

也即是,在数据采集系统中,每个工业设备对应至少一个设备点位,每个设备点位的实际监测值即为该设备点位的点位工业数据。

在一些实施例中,网关机为物联网网关,可以用于实现感知网络、通信网络和不同类型感知网络之间的协议转换,以实现广域联系和局域联系。在本申请实施例中,将各设备点位采集到的点位工业数据暂存至网关机中,由网关机推送给数据采集服务器,或者由数据采集服务器主动从网关机中获取。

需要说明的是,数据采集模式包括主动采集模式和订阅采集模式。在主动采集模式下,数据采集服务器主动从网关机中获取点位工业数据;在订阅采集模式下,数据采集服务器从消息服务队列中订阅数据主题对应的点位工业数据。

参见图1,在订阅采集模式下的数据采集系统100中,网关机和数据采集服务器之间通过消息队列服务实现数据传输。其中,消息队列服务可以是消息队列遥测传输(Message Queuing Telemetry Transport,MQTT)服务,数据采集服务器在消息队列服务中订阅对应的数据主题后,由消息队列服务将该数据主题下的所采集的点位工业数据推送给对应的数据采集服务器。

作为一个示例,数据主题可以为一种点位类型,比如,数据主题为设备电压,则数据采集服务器从消息队列服务中获取订阅采集模式下的各工业设备中电压点位采集到的运行电压。

此外,在订阅采集模式中,必须预先配置消息服务队列的IP端口和可订阅的数据主题;同时,还需要配置各设备点位所属的数据主题。

参见图2,在主动采集模式下的数据采集系统200中,数据采集服务器基于用预设的数据采集协议,比如,modbus协议和opcua协议,按照预设的数据采样频率主动从网关机中读取点位工业数据。

其中,数据采集服务器主动采集点位工业数据时,数据采集服务器需要先与网关机建立连接。由于网关机的接口连接数量是有限的,因此,必须配合任务调度组件执行。也即是,在主动采集模式中,需要预先为网关机配置数据采集服务器的连接数目,同时,分配对应的设备点位,且指定各设备点位的数据采集频率。

需要说明的是,图1和图2均以三个数据采集服务器采集多个工业设备中各设备点位的点位工业数据来说明数据采集流程,设备点位也仅仅以转速、温度、电压、CO2、GPS和开关作为示意,并不构成对设备点位类型和设备点位数量的限制。

应该理解的是,对于数据采集系统中的两个工业设备,其所包括的设备点位可以相同也可以不同,本申请实施例对此不做限制。

然而,随着工业生产的需求,数据采集系统中工业设备的数量,以及各工业设备中需要采集的设备点位会不定期地发生变动,数据采集服务器在采集多个工业设备中各设备点位的点位工业数据时,所需消耗的服务器资源也随之发生变动。

作为一个示例,假设数据采集系统中新增了一批工业设备,若将新增工业设备的设备点位添加到该数据采集系统的点位采集队列中,则会增加该系统中数据采集服务器的数据采集压力。

在此情况下,若该系统中数据采集服务器的服务器资源不够,无法满足新增设备点位的数据采集需求,则会导致数据采集滞后,或者数据采集服务器压力过高而发生宕机。

作为另一个示例,若将部分工业设备的一些设备点位从数据采集系统的点位采集队列中移除,数据采集服务器所需采集的设备点位数量变少,数据采集服务器的数据采集压力会随之减少,使得数据采集服务器中会存在部分空闲资源。

在此情况下,若移除的设备点位较多时,数据采集系统中将存在大量空闲的服务器资源,导致服务器资源的浪费。

基于此,本申请提供了一种资源调整方法、装置、计算机设备和存储介质,可以针对设备点位的数量变动情况,周期性获取数据采集系统的性能监测数据,以此来灵活调整数据采集系统中数据采集服务器的服务器资源,提高系统中点位工业数据采集的稳定性,以及服务器资源的利用率。

在一个示例性实施例中,本申请实施例可以利用计算机设备来实时监测至少一个数据采集系统,并周期性获取各数据采集系统的性能监测数据,以判断数据采集系统中数据采集服务器的数据采集性能,及时调整数据采集服务器的服务器资源,保证数据采集的稳定性。

在一种可能的实现方式中,计算机设备的结构如图3所示,该计算机设备300包括至少一个处理器310、存储器320、通信总线330,以及至少一个通信接口340。

处理器310可以是一个通用中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)、微处理器,或者可以是一个或多个用于实现本申请方案的集成电路,例如,专用集成电路(Application-Specific Integrated Circuit,ASIC),可编程逻辑器件(Programmable Logic Device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(Complex Programmable Logic Device,CPLD),现场可编程逻辑门阵列(Field-Programmable Gate Array,FPGA),通用阵列逻辑(Generic Array Logic,GAL)或其任意组合。

可选地,处理器310可以包括一个或多个CPU。计算机设备100可以包括多个处理器310。这些处理器310中的每一个可以是一个单核处理器(single-CPU),也可以是一个多核处理器(multi-CPU)。

需要说明的是,这里的处理器310可以指一个或多个设备、电路和/或用于处理数据(如计算机程序指令)的处理核。

存储器320可以是只读存储器(Read-Only Memory,ROM)或可存储静态信息和指令的其它类型的静态存储设备,也可以是随机存取存储器(Random Access Memory,RAM)或者可存储信息和指令的其它类型的动态存储设备,还可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备,或者是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质,但不限于此。

可选地,存储器320可以是独立存在,并通过通信总线330与处理器310相连接;存储器320也可以和处理器310集成在一起。

通信总线330用于在各组件之间(比如处理器和存储器之间)传送信息,通信总线320可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一条通信总线进行示意,但并不表示仅有一根总线或一种类型的总线。

通信接口340用于供该计算机设备300与其它设备或通信网络进行通信。通信接口340包括有线通信接口或无线通信接口。其中,有线通信接口例如可以为以太网接口。以太网接口可以是光接口,电接口或其组合。无线通信接口可以为无线局域网(Wireless LocalArea Networks,WLAN)接口、蜂窝网络通信接口或其组合等。

在一些实施例中,该计算机设备300还可以包括输出设备和输入设备(图3中未示出)。输出设备和处理器310通信,可以以多种方式来显示信息。例如,输出设备可以是液晶显示器(Liquid Crystal Display,LCD)、发光二极管(Light Emitting Diode,LED)显示设备、阴极射线管(Cathode Ray Tube,CRT)显示设备或投影仪(projector)等。输入设备和处理器310通信,可以以多种方式接收用户的输入。例如,输入设备可以是鼠标、键盘、触摸屏设备或传感设备等。

在一些实施例中,存储器320用于存储执行本申请方案的计算机程序,处理器310可以执行存储器320中存储的计算机程序。例如,该计算机设备300可以通过处理器310调用并执行存储在存储器320中的计算机程序,以实现本申请实施例提供的资源调整方法的步骤。

应该理解的是,本申请提供的资源调整方法,可以应用于资源调整装置,该资源调整装置可以通过软件、硬件或者软硬件结合的方式实现成为处理器310的部分或者全部,集成在计算机设备300中。

接下来,将通过实施例并结合附图具体地对本申请的技术方案,以及本申请的技术方案如何解决上述技术问题进行详细说明。各实施例之间可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。显然,所描述的实施例是本申请实施例一部分实施例,而不是全部的实施例。

在一个示例性实施例中,如图4所示,本申请提供了一种资源调整方法,以该方法应用于上述图3所示的计算机设备300,针对目标数据采集系统进行服务器资源调整举例进行说明,该方法可以包括以下步骤:

步骤410:获取目标数据采集系统中各工业设备的点位采集配置信息。

其中,本申请实施例中的目标数据采集系统可以为上述数据采集系统100和/或数据采集系统200,该目标数据采集系统包括多个工业设备、至少一个网关机和多个数据采集服务器,每个工业设备对应至少一个设备点位,网关机用于获取在各设备点位采集的点位工业数据,数据采集服务器用于从网关机中订阅/直接获取各设备点位的点位工业数据。

作为一个示例,假设某个工业设备中包括电压、开关和温度这三个设备点位,则从该工业设备中所采集的点位工业数据包括电压点位采集的设备运行电压值、开关点位采集到开关状态信息(包括开机状态或关机状态),以及温度点位采集的设备温度值。

也即是,工业设备包括至少一个设备点位,而设备点位和点位工业数据之间为一一对应关系。

在一种可能的实现方式中,各工业设备的点位采集配置信息包括设备点位的数据采集模式、点位采集频率、网关机接口、数据主题、数据采集服务器标识等信息,本申请实施例对此不做限制。

步骤420:基于点位采集配置信息,按照预设的监测周期获取目标数据采集系统的性能监测数据。

其中,预设的监测周期可以为预先设置的任意时长值,比如,设置监测周期为20秒。当然,根据目标数据采集系统的实际监测需求,该监测周期也可以设置为1分钟、10分钟、1小时、1天等,本申请实施例对此不做限制。

作为一个示例,可以在目标数据采集系统中工业设备的总数和/或设备点位的总数发生变化,或者各设备点位的点位采样频率变化后,缩短监测周期,以针对点位工业数据的采集需求,及时调整目标数据采集系统中数据采集服务器的服务器资源。

进一步地,若目标数据采集系统中工业设备的总数、设备点位的总数和各设备点位的采样频率趋于稳定,即数据采集服务器的数据采集性能处于平稳状态,则可以延长监测周期,减少服务器资源无效调整次数。

可选地,在实施上述步骤420时,可以采用powerjob开启一个定期性能监控进程,进而在每个监测周期内,通过添加powerjob监测任务来获取目标数据采集系统的性能监测数据。其中,powerjob是一个分布式任务调度中间件。

在一种可能的实现方式中,步骤420的实现过程可以为:对点位采集配置信息进行解析,确定目标数据采集系统中数据采集服务器的数据采集模式;根据数据采集模式,以及预设的采集模式和性能监测指标之间的对应关系,确定目标数据采集系统的性能监测指标;基于性能监测指标,按照监测周期获取目标数据采集系统的性能监测数据。

其中,数据采集模式包括主动采集模式和订阅采集模式;在主动采集模式下,数据采集服务器主动从网关机中获取各设备点位的点位工业数据;在订阅采集模式下,数据采集服务器获取网关机传输的预先订阅的数据主题所对应的点位工业数据。

由于主动采集模式下数据采集服务器直接从网关机中获取点位工业数据,设备点位的在线情况、网关机的数据转发情况,以及数据采集服务器中的资源消耗情况,均会影响数据采集服务器的数据采集性能。因此,主动采集模式下的性能监测指标包括设备点位变化、网关机的数据采集延时,以及数据采集服务器的服务器资源消耗量。

基于此,若数据采集模式为主动采集模式,则性能监测数据包括点位在线率、采集超时率和采集资源占比。其中,点位在线率表示按照预设的采样频率采集点位工业数据的设备点位数量,与目标数据采集系统已配置的设备点位总数目之间的比值;采集超时率用于表示监测周期内网关机从各设备点位获取点位工业数据时的超时次数与总获取次数之间的比值;采集资源占比用于表示数据采集服务器获取各设备点位的点位工业数据时耗费的服务器资源,与目标数据采集系统中当前数据采集服务器的服务器总资源之间的比值。

由于订阅采集模式下网关机获取的点位工业数据会传送给消息队列服务,数据采集服务器从消息队列服务中订阅各数据主题对应的点位工业数据。因此,网关机传输到消息队列服务的点位工业数据量,以及数据采集服务器从消息队列服务中获取的点位工业数据量,可以反映数据采集服务器的数据采集性能。

基于此,在订阅采集模式下,目标数据采集系统的采集监测指标包括消息队列服务的数据生产速度和数据消费速度。其中,数据生产速度是指消息队列服务每秒从网关机中接收的点位工业数据的条数,数据消费速度是指数据采集服务器每秒从消息队列服务中获取的点位工业数据的条数。

步骤430:根据性能监测数据,调整目标数据采集系统中数据采集服务器的服务器资源。

由于不同数据采集模式下,对目标数据采集系统进行采集性能监测时,所获取的性能监测数据是不同的,因此,对应的资源调整方式也是不同。接下来对两种数据采集模式下,上述步骤430调整目标数据采集系统中数据采集服务器的服务器资源的具体实施过程进行解释说明。

(1)主动采集模式下的服务器资源调整

其中,主动采集模式下获取的性能监测数据包括点位在线率、采集超时率和采集资源占比。

由于主动采集模式中网关机从各设备点位获取点位工业数据后,数据采集服务器按照预设数据采样频率主动从网关机中直接读取数据。因此,在主动采集模式下,可以根据采集超时率,判断目标数据采集系统中的网关机的数据采集压力,以判断是否因为网关机压力过高,导致数据采集服务器无法及时从网关机中获取点位工业数据,导致数据采集延迟。

在一种可能的实现方式中,若采集超时率大于预设的超时率阈值,则生成网关异常提示信息;若采集超时率大于超时率阈值的第一持续时长大于预设的第一时长阈值,则采用预设的信息发送方式将网关异常信息发送给网关维护人员,以提示网关维护人员对网关机进行检修。

其中,网关异常提示信息中可以包括超时率、网关机参数、数据采集服务器的接口配置信息等,本申请实施例对此不做限制。

作为一个示例,超时率阈值为工业生产环境中主动采集模式下预先设置的超时率上限值。比如,设置的超时率阈值可以为20%。工业生产环境中主动采集模式下设定的采集超时率超过超时率阈值的第一持续时间允许达到60秒,故可以设置第一时长阈值为60秒。

可选地,也可以在采集超时率大于超时率阈值时,直接将网关异常信息发送给网关维护人员,由网关维护人员根据网关异常信息,分析网关机的数据采集压力,判断网关机是否处于超负荷采集或者运行异常,以确定是否需要对网关机进行检修或者在目标数据采集系统中增加网关机。

作为一个示例,预设的信息发送方式可以为短信、语音、邮件、弹窗提示信息等任一方式,本申请实施例对此不做限制。

进一步地,在采集超时率小于或等于超时率阈值的情况下,可以根据点位在线率和采集资源占比,判断是否需要对目标数据采集系统中的服务器资源进行调整。

在一种可能的实现方式中,上述步骤430的实现过程可以为:若采集超时率小于或等于预设的超时率阈值,则判断点位在线率是否小于在线率阈值;若点位在线率小于在线率阈值,则根据采集资源占比和资源占比阈值,判断是否在目标数据采集系统中增加服务器资源;若点位在线率大于或等于在线率阈值,则根据采集资源占比和资源占比阈值,判断是否减少目标数据采集系统中的服务器资源。

作为一个示例,在线率阈值为工业生产环境中主动采集模式下预先设置的在线率下限值。比如,在线率阈值可以设置为80%。

采集资源占比包括CPU占比和内存占比,CPU占比为数据采集服务器中的CPU资源消耗量与CPU资源总量之间的比值;内存占比为数据采集服务器中的内存资源消耗量与内存资源总量之间的比值。对应地,资源占比阈值包括资源阈值包括CPU占比上限值、内存占比上限值、CPU占比下限值和内存占比下限值。

可选地,本申请实施例中的采集资源占比可以包括目标数据采集系统中多个数据采集服务器的CPU资源总占比和内存资源总占比;也可以包括目标数据采集系统中多个数据采集服务器的CPU资源总占比的均值和内存资源总占比的均值;还可以包括目标数据采集系统中各数据采集服务器的CPU资源占比和内存资源占比。对应地,资源占比阈值也可以根据目标数据采集系统中所有数据采集服务器的服务器资源总量进行设置,或者根据目标数据采集系统中各数据采集服务器的服务器资源量单独进行设置。

在一种可能的实现方式中,若点位在线率小于在线率阈值,则根据采集资源占比和资源占比阈值,判断是否在数据采集系统中增加服务器资源的实现过程为:若CPU占比大于CPU占比上限值,或者,内存占比大于内存占比上限值,则按照预设的资源增加量,在目标数据采集系统中增加服务器资源。

其中,预设的资源增加量可以为增加一台数据采集服务器,也可以为在数据采集服务器中增加CPU资源或内存资源。

可选地,为防止偶现的数据波动导致的误差,在监测到CPU占比大于CPU占比上限值,或者,内存占比大于内存占比上限值时,统计该情况下的持续时长,在持续时长超过预设的时长阈值的情况下,再执行增加服务器资源的操作,避免贸然增加服务器资源后,导致目标数据采集系统采集点位工业数据时出现服务器资源过剩的情况,从而造成服务器资源的浪费。

具体地,获取CPU占比大于CPU占比上限值的第二持续时长,或者,获取内存占比大于内存占比上限值的第三持续时长;若第二持续时长或者第三持续时长大于预设的第二时长阈值,则按照预设的资源增加量,在目标数据采集系统中增加服务器资源。

其中,第二时长阈值为基于数据采集经验设置的,且可以判定数据采集服务器的数据采集性能不足的时长阈值。换言之,第二时长阈值为能够判定数据采集服务器采集数据不及时的时长阈值。

作为一个示例,CPU占比上限值可以设置为80%,内存占比上限值可以设置为80%;第二时长阈值可以设置为60秒。

在一种可能的实现方式中,若点位在线率大于或等于在线率阈值,则根据采集资源占比和资源占比阈值,判断是否减少目标数据采集系统中的服务器资源的实现过程为:若CPU占比小于CPU占比下限值,或者,内存占比小于内存占比下限值,则按照预设的资源减少量,减少目标数据采集系统中的服务器资源。

其中,预设的资源减少量可以为减少一台数据采集服务器,也可以为在数据采集服务器中减少CPU资源或内存资源。

可选地,为防止偶现的数据波动导致的误差,在监测到CPU占比小于CPU占比下限值,或者,内存占比小于内存占比下限值时,统计该情况下的持续时长,在持续时长超过预设的时长阈值的情况下,再执行减少服务器资源的操作,避免贸然删减服务器资源后,导致目标数据采集系统采集点位工业数据时出现服务器资源不够的情况,从而造成数据采集滞后或数据采集服务器宕机。

具体地,获取CPU占比小于CPU占比下限值的第四持续时长,或者,获取内存占比小于内存占比下限值的第五持续时长;若第四持续时长或者第五持续时长大于预设的第三时长阈值,则按照预设的资源删减量,减少目标数据采集系统中的服务器资源。

其中,第三时长阈值为基于数据采集经验设置的,且可以判定数据采集服务器的数据采集性能过剩的时长阈值。

作为一个示例,CPU占比下限值可以设置为20%,内存占比下限值可以设置为20%;第三时长阈值可以设置为60秒。

综合上述解释说明,参见图5,本申请实施例在主动采集模式下的服务器资源调整过程为:在添加powerjob监测任务的情况下,获取主动采集模式下的目标数据采集系统的性能监测数据:点位在线率、采集超时率和采集资源占比。

判断采集超时率是否大于超时率阈值:若采集超时率大于超时率阈值,则记录触发时间;根据触发时间减去首次触发时间,计算第一持续时长;若第一持续时长大于预设的第一时长阈值,则采用预设的信息发送方式将网关异常信息发送给网关维护人员,以提示网关维护人员对网关机进行检修。若采集超时率小于或等于预设的超时率阈值,则进一步判断点位在线率是否小于在线率阈值。

若点位在线率小于在线率阈值,则判断CPU占比是否大于CPU占比上限值,或者,判断内存占比是否比大于内存占比上限值。

若CPU占比大于CPU占比上限值,则记录触发时间;根据触发时间减去首次触发时间,计算第二持续时长;若第二持续时长大于预设的第二时长阈值,则按照预设的资源增加量,在目标数据采集系统中增加服务器资源。若内存占比大于内存占比上限值,则记录触发时间;根据触发时间减去首次触发时间,计算第三持续时长;若第三持续时长大于预设的第二时长阈值,则按照预设的资源增加量,在目标数据采集系统中增加的服务器资源。

若点位在线率大于或等于在线率阈值,则判断CPU占比是否小于CPU占比下限值,或者,判断内存占比是否比小于内存占比下限值。

若CPU占比小于CPU占比下限值,则记录触发时间;根据触发时间减去首次触发时间,计算第四持续时长;若第四持续时长大于预设的第三时长阈值,则按照预设的资源删减量,减少目标数据采集系统中的服务器资源。若内存占比小于内存占比下限值,则记录触发时间;根据触发时间减去首次触发时间,计算第五持续时长;若第五持续时长大于预设的第三时长阈值,则按照预设的资源删减量,减少目标数据采集系统中的服务器资源。

应该理解的是,在实际的工业生产过程中,可以对上述超时率阈值、在线率阈值、第一时长阈值、第二时长阈值和第三时长阈值进行灵活调整,可以设置为其他数值,本申请对此不做限制。在本实施例中仅以上述数值进行示意,并不构成对本申请方案可设置数值的限制。

结合上述图5,作为一个示例,假设主动采集模式下存在以下对应关系:

F=点位在线率;

F1=点位在线率阈值;

G=数据采集服务器的CPU占比;

G1=数据采集服务器的内存占比;

G2=数据采集服务器的CPU占比上限值;

G3=数据采集服务器的内存占比上限值;

G4=第二时长阈值;

G5=数据采集服务器的CPU占比下限值;

G6=数据采集服务器的内存占比下限值;

G7=第三时长阈值;

H=采集超时率;

H1=超时率阈值;

H3=第一时长阈值;

则在主动采集模式下,资源调整的判断依据和实施过程可以包括:若H>H1,且持续时长>H3,则短信通知网关机维护人员对网关机进行维护操作;若F

(2)订阅采集模式下的服务器资源调整

其中,订阅采集模式下获取的性能监测数据包括消息队列服务的数据生产速度与数据消费速度。

在一种可能的实现方式中,上述步骤430的实现过程可以为:根据消息队列服务中的数据生产速度与数据消费速度,判断数据采集服务器是否及时采集数据。若数据采集不及时,则按照预设的资源增加量,在目标数据采集系统中增加服务器资源。

具体地,参见图6,在添加powerjob监测任务的情况下,获取订阅采集模式下的性能监测数据:消息队列服务的数据生产速度与数据消费速度;并计算数据生产速度超出数据消费速度的生产比例值。

若生产比例值大于预设的比例阈值,则认为数据采集服务器采集数据不及时,可能是目标数据采集系统中数据采集服务器的采集资源不够用,需要增加服务器资源。

其中,比例阈值为工业生产环境中订阅采集模式下设定的可以认作数据采集不及时的情况下,数据生产速度可能超出数据消费速度的最大比例值。比如,可以设置第一比例阈值为0.2。

可选地,为避免偶尔的数据波动导致的误差,若生产比例值大于预设的比例阈值,则录触发时间;根据触发时间减去首次触发时间,计算第六持续时长;若第六持续时长大于预设的第四时长阈值,则根据预设的资源增加量,在目标数据采集系统中增加服务器资源。

另外,因订阅采集模式下消息队列服务的数据消费速度不可能大于数据生产速度,则在预设的误差范围内,若数据生产速度与数据消费速度相等,且消息队列服务对应的订阅服务器的CPU占比小于订阅服务器的CPU占比下限值,同时,订阅服务器的内存占比小于订阅服务器的内存占比下限值,则按照预设的资源减少量,减少目标数据采集系统中的服务器资源。

可选地,为避免偶尔的数据波动导致的误差,获取订阅服务器的CPU占比小于订阅服务器的CPU占比下限值的第七持续时长,以及获取订阅服务器的内存占比小于订阅服务器的内存占比下限值的第八持续时长,若第七持续时长和第八持续时长均大于预设的第五时长阈值,则按照预设的资源减少量,减少目标数据采集系统中的服务器资源。

作为一个示例,在订阅采集模式对应的工业生产环境中,目标数据采集系统中设定的可以增加服务器资源的数据消费不及时的持续时间允许达到60秒,则可以设置第四时长阈值为60秒;同理,目标数据采集系统中设定的可以减少服务器资源的数据生产不及时的持续时间也允许达到60秒,则可以设置第五时长阈值为60秒。

应该理解的是,在实际的工业生产过程中,可以对上述第一比例阈值、第四时长阈值和第五时长阈值进行灵活调整,可以设置为其他数值,本申请对此不做限制。在此仅以上述数值进行示意,并不构成对本申请可设置数值的限制。

结合上述图6,作为一个示例,假设订阅采集模式下存在以下对应关系:

A=消息队列服务的数据生产速度(条/秒);

B=消息队列服务的数据消费速度(条/秒);

C=比例阈值;

C1=订阅服务器的CPU占比;

C2=订阅服务器的内存占比;

C3=订阅服务器的CPU占比下限值;

C4=订阅服务器的内存占比下限值;

D=第四时长阈值;

D1=第五时长阈值;

E=数据生产速度超出数据消费速度的生产比例值,E=(A-B)/B;

则在订阅采集模式下,资源调整的判断依据和实施过程可以包括:若E≥C,且持续时长≥D,则在目标数据采集系统中增加服务器资源;若A≈B,C1<C3,同时,C2<C4,且持续时长≥D1,则减少目标数据采集系统中的服务器资源。

此外,由于服务器资源调整是基于每个监测周期内的采集的性能监测数据执行的,因此,每个监测周期内的监测时长不能大于上述所有预设的时长阈值(即上述第一时长阈值-第六时长阈值),若监测时长大于所有预设的时长阈值,则永远不会触发大于预设的时长阈值下的资源调整动作,根据性能监测数据调整目标数据采集系统的服务器资源也就没有实际意义。

在本申请实施例中,根据目标数据采集系统中各工业设备的点位采集配置信息,周期性地获取目标数据采集系统的性能监测数据。由于性能监测数据可以反映目标数据采集系统中数据采集服务器的数据采集性能,因此,可以根据目标数据采集系统的性能监测数据,灵活调整该系统中数据采集服务器的服务器资源。如此,能够有效避免出现数据采集服务器的数据采集性能跟不上,导致数据处理滞后或者数据丢失的问题,提高工业数据采集的稳定性。同时,在满足目标数据采集系统中设备点位的数据采集需求下,调整该系统中的服务器资源,也可以提高服务器资源的利用率,减少服务器资源的浪费。

应该理解的是,虽然上述实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于上述实施例示出的资源调整方法,为了更好地解释本实施例提供的目标数据采集系统中根据采集监测数据调整服务器资源的实施效果,本申请给出一个结合具体应用场景的应用示例。

在一个示例性实施例中,在钢铁企业的智慧调度项目中,计算机设备可以每20秒(预设的监测周期)开启一次数据采集性能监测任务,以获取目标数据采集系统的性能监测数据。

针对订阅采集模式,测试环节中测出数据采集服务器的采集压力上限是每秒4万条,在系统上线后,采集点位工业数据的平均速度是每秒2.5万条,4万条的压力上限大于实际生产环境中的2.5万条,即当前的数据采集服务器的服务器资源符合目前生产环境的数据采集性能需求。

针对主动采集模式,测试环节中测出数据采集服务器的采集压力上限是每秒3万条,在系统上线后,采集点位工业数据的平均速度是每秒1.5万条,3万条的压力上限大于实际生产环境中的1.5万条,即当前的数据采集服务器的服务器资源符合目前生产环境的数据采集性能需求。

进一步地,上线运行过程中根据业务情况又增加了订阅采集模式的设备点位数量,点位数量大概是1万,且点位采集频率是200毫秒(0.2秒),则一秒会采集1/0.2=5次,5*1万=5万,每秒则增加了5万条的采集数据处理。因此,数据生产速度则变为每秒7.5万条,(7.5-4)/4>0.2,超出比例已超出设定的第一比例阈值(0.2)。

此时,获取性能监测数据的powerjob任务在监测到采集不及时的情况后,且采集不及时的持续时长超过设定的时长阈值时,增设了一台数据采集服务器。若增设一台数据采集服务器后,数据采集性能还是不够,则下次获取到性能监测数据后再增设一台数据采集服务器,总共增设两台数据采集服务器后,满足了每秒7.5万条的数据消费速度。

同理,上线运行过程中根据业务情况又增加了主动采集模式的设备点位数量,点位数量大概是1万,且点位采集频率是500毫秒(0.5秒),则一秒会采集1/0.5=2次,2*1万=2万,每秒则增加了2万条的采集数据处理。数据生产速度则变为每秒3.5万条,超出3万条/s的并发上限。

此时,获取性能集监测数据的powerjob任务在监测到数据采集服务器的内存占比大于内存占比上限值或者CPU占比大于CPU占比上限值,且点位在线率低于在线率阈值,则增设了一台数据采集服务器。如此,在总共增设两台数据采集服务器后,满足了每秒3.5万条的数据消费速度。

进一步地,上线运行过程中根据业务情况又增加了主动采集模式的设备点位数量,点位数量大概是5万,且点位采集频率是500毫秒(0.5秒),则一秒会采集1/0.5=2次,2*5万=10万,每秒则增加了10万条的采集数据处理。数据生产速度则变为每秒13.5万条,超出两台服务器6万条/s 的并发上限。

此时,获取性能监测数据的powerjob任务在监测到数据采集服务器的内存占比大于内存占比上限值或者CPU占比大于CPU占比上限值,且点位在线率低于在线率阈值,则增设了一台数据采集服务器,下次监测后发现数据采集性能还是不够,于是又增加了一台数据采集服务器。在总共增设两台数据采集服务器后,发现采集超时率超出了超时率阈值,且持续时长超过设定的时长阈值,则短信提醒到网关机维护人员,增设网关机,然后才满足了每秒13.5万条的数据消费速度。

基于上述资源调整方法,采用相同的技术构思,本申请实施例还提供了一种用于实现上述资源调整方法所对应的资源调整装置。该装置所提供的解决问题的实现方案与上述方法实施例中所记载的实现方案相似,故下面所提供的一个或多个资源调整装置实施例中的具体限定可以参见上文中对于资源调整方法的限定,在此不再赘述。

在一个示例性实施例中,如图7所示,该资源调整装置700包括:

信息获取模块710,用于获取目标数据采集系统中各工业设备的点位采集配置信息;目标数据采集系统包括多个工业设备、至少一个网关机和多个数据采集服务器,每个工业设备对应至少一个设备点位;

性能监测模块720,用于基于点位采集配置信息,按照预设的监测周期获取目标数据采集系统的性能监测数据;性能监测数据表示目标数据采集系统中多个数据采集服务器的数据采集性能;

资源调整模块730,用于根据性能监测数据,调整目标数据采集系统中数据采集服务器的服务器资源。

在一种可能的实现方式中,性能监测模块720,包括:

模式获取单元,用于对点位采集配置信息进行解析,确定目标数据采集系统中数据采集服务器的数据采集模式;

指标确定单元,用于根据数据采集模式,以及预设的采集模式和性能监测指标之间的对应关系,确定目标数据采集系统的性能监测指标;

数据获取单元,用于基于性能监测指标,按照监测周期获取目标数据采集系统的性能监测数据。

在一种可能的实现方式中,数据采集模式包括主动采集模式和订阅采集模式;

在主动采集模式下,数据采集服务器主动从网关机中获取各设备点位的点位工业数据;

在订阅采集模式下,数据采集服务器获取网关机传输的预先订阅的数据主题所对应的点位工业数据。

在一种可能的实现方式中,若数据采集模式为主动采集模式,则性能监测数据包括点位在线率、采集超时率和采集资源占比;

其中,点位在线率表示按照预设的采样频率采集点位工业数据的设备点位数量,与目标数据采集系统已配置的设备点位总数目之间的比值;采集超时率用于表示监测周期内网关机从各设备点位获取点位工业数据时的超时次数与总获取次数之间的比值;采集资源占比用于表示数据采集服务器获取各设备点位的点位工业数据时耗费的服务器资源,与目标数据采集系统中当前数据采集服务器的服务器总资源之间的比值。

在一种可能的实现方式中,该资源调整装置700还包括:

信息生成模块,用于若采集超时率大于预设的超时率阈值,则生成网关异常提示信息;

信息发送模块,用于若采集超时率大于超时率阈值的第一持续时长大于预设的第一时长阈值,则采用预设的信息发送方式将网关异常信息发送给网关维护人员,以提示网关维护人员对网关机进行检修。

在一种可能的实现方式中,资源调整模块730,包括:

判断单元,用于若采集超时率小于或等于预设的超时率阈值,则判断点位在线率是否小于在线率阈值;

资源增加单元,用于若点位在线率小于在线率阈值,则根据采集资源占比和资源占比阈值,判断是否在目标数据采集系统中增加服务器资源;

资源删减单元,用于若点位在线率大于或等于在线率阈值,则根据采集资源占比和资源占比阈值,判断是否减少目标数据采集系统中的服务器资源。

在一种可能的实现方式中,采集资源占比包括CPU占比和内存占比,资源占比阈值包括CPU占比上限值和内存占比上限值;

资源增加单元,具体用于:

若CPU占比大于CPU占比上限值,或者,内存占比大于内存占比上限值,则按照预设的资源增加量,在目标数据采集系统中增加服务器资源。

在一种可能的实现方式中,资源增加单元,进一步用于:

获取CPU占比大于CPU占比上限值的第二持续时长,或者,获取内存占比大于内存占比上限值的第三持续时长;

若第二持续时长或者第三持续时长大于预设的第二时长阈值,则按照预设的资源增加量,在目标数据采集系统中增加服务器资源。

在一种可能的实现方式中,采集资源占比包括CPU占比和内存占比,资源阈值包括CPU占比下限值和内存占比下限值;

资源删减单元,具体用于:

若CPU占比小于CPU占比下限值,或者,内存占比小于内存占比下限值,则按照预设的资源减少量,减少目标数据采集系统中的服务器资源。

在一种可能的实现方式中,资源删减单元,进一步用于:

获取CPU占比小于CPU占比下限值的第四持续时长,或者,获取内存占比小于内存占比下限值的第五持续时长;

若第四持续时长或者第五持续时长大于预设的第三时长阈值,则按照预设的资源删减量,减少目标数据采集系统中的服务器资源。

需要说明的是,上述资源调整装置700中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

此外,应该理解的是,本申请实施例可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括计算机程序。在计算机设备上加载和运行该计算机程序时,全部或部分地产生按照本申请实施例所示的流程或功能。

其中,计算机程序可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机程序可以从一个网站站点、终端、服务器或数据中心通过有线或无线方式向另一个网站站点、终端、服务器或数据中心进行传输。

该计算机可读存储介质可以是计算机设备能够存取的任何可用介质,或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。

应该理解的是,以上仅为本申请实施例的具体实施方式而已,并不用于限定本申请实施例的保护范围。凡在本申请实施例的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本申请实施例的保护范围之内。

相关技术
  • 资源分配方法、装置、计算机设备及计算机可读存储介质
  • 调整中奖概率的方法及装置、计算机存储介质、电子设备
  • 视频编码方式的调整方法、装置、计算机存储介质及设备
  • 充电功率调整方法、装置、计算机设备和存储介质
  • 视频画面调整方法、装置、计算机设备和存储介质
  • 资源调整方法、装置、计算机设备和计算机存储介质
  • 一种资源调整方法、装置、计算机设备和存储介质
技术分类

06120115723030