数据库性能预测方法和装置

技术领域

本公开涉及金融科技领域，具体涉及数据库技术领域，更具体地涉及一种数据库性能预测的方法、装置、设备、介质和程序产品。

背景技术

随着金融科技行业以及各业务领域的互联网化拓展，数据库作为核心系统，由于与业务逻辑存在紧密的相关性，通常涉及系统层、开发、应用、等多个环节和层面，存在着运维管理艰难的痛点。

现有的数据库管理运维模式主要是数据库运维人员对数据库系统进行实时监控以及定期的健康检查。虽然当前已经存在一些第三方的工具或数据库管理平台，但只能在数据库故障发生或者数据库性能已到瓶颈时时进行告警，并不能做出预测。且由于数据库系统涉及多个层面和范围，当发现数据库故障或者数据库性能已到瓶颈时，需要开发人员、应用支持人员多方协调沟通，确定问题后才能进一步处理，这使得数据库的应急处理的速度被大幅度拖慢。

故而，如何提前预测性能趋势，针对性地安排做出预防处理措施，进一步提升数据库高可用能力，是需要解决优化的问题，也是实现智能化运维的关键和目标。

发明内容

鉴于上述问题，本公开提供了一种数据库性能预测方法、装置、设备、介质和程序产品。

根据本公开的第一个方面，提供了一种数据库性能预测方法，包括：收集数据库多个性能指标的历史数据；基于各个所述性能指标的历史数据，计算各个所述性能指标的边际分布函数及各个所述性能指标之间的联合分布函数；基于各个所述性能指标的边际分布函数及各个所述性能指标之间的联合分布函数，进行多次预测，每次预测均得到所述数据库的整体性能指标的一个预测值；根据多个所述预测值判断所述数据库是否发生故障，当所述数据库故障时，发出故障预警。

可选地，所述基于各个所述性能指标的历史数据，计算各个所述性能指标的边际分布函数及各个所述性能指标之间的联合分布函数，包括：分别基于各个所述性能指标的历史数据，构建各个所述性能指标基于POT模型的边际分布函数；基于各个所述性能指标的边际分布函数，构建各个所述性能指标之间基于Copula模型的联合分布函数。

可选地，基于各个所述性能指标的边际分布函数及各个所述性能指标之间的联合分布函数，进行多次预测，每次预测均得到所述数据库的整体性能指标的一个预测值，包括：生成服从所述联合分布函数的随机数序列，其中，所述随机数序列中所述随机数的数量与所述性能指标的数量相同；根据随机数序列中各所述随机数与相应的所述性能指标的边际分布函数，得到各个性能指标预测值；设定各个性能指标的权重，其中，各个性能指标的权重的总和为1；将每个性能指标预测值与相应的所述权重的乘积进行累加，得到所述整体性能指标的预测值；多次重复上述步骤，得到多个所述整体性能指标的预测值。

可选地，根据多个所述预测值判断所述数据库是否发生故障，当所述数据库故障时，发出故障预警，包括：设定一个置信水平；根据多个所述整体性能指标的预测值，计算在所述置信水平下的故障值；当所述故障值超过预定阈值时，发出故障预警。

可选地，还包括：基于多个所述整体性能指标的预测值，对所述整体性能指标的运行趋势进行预测。

可选地，收集数据库多个性能指标的历史数据，包括：确定对所述数据库的整体性能产生影响的多个所述性能指标；以预定时间为间隔，对各个所述性能指标的历史数据进行数据采样。

本公开的第二方面提供了一种数据库性能预测装置，包括：一种数据库性能预测的装置，包括：数据收集模块，用于收集数据库多个性能指标的历史数据；分布函数计算模块，用于基于各个所述性能指标的历史数据，计算各个所述性能指标的边际分布函数及各个所述性能指标之间的联合分布函数；整体性能预测模块，用于基于各个所述性能指标的边际分布函数及各个所述性能指标之间的联合分布函数，进行多次预测，每次预测均得到所述数据库的整体性能指标的一个预测值；故障预警模块，用于根据多个所述预测值判断所述数据库是否发生故障，当所述数据库故障时，发出故障预警。

本公开的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述数据库性能预测方法。

本公开的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述数据库性能预测方法。

本公开的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述数据库性能预测方法。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的数据库性能预测方法、装置、设备、介质和程序产品的应用场景图；

图2示意性示出了根据本公开实施例的数据库性能预测方法的流程图；

图3示意性示出了根据本公开实施例的POT模型建立方法的流程图；

图4示意性示出了根据本公开实施例的Copula模型建立方法的流程图；

图5示意性示出了根据本公开实施例的数据库的整体性能指标的多个预测值计算方法的流程图；

图6示意性示出了根据本公开实施例的数据库性能预测装置的结构框图；以及

图7示意性示出了根据本公开实施例的适于实现数据库性能预测方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

本公开的实施例提供了一种数据库性能预测方法，收集数据库多个性能指标的历史数据；基于各个性能指标的历史数据，计算各个性能指标的边际分布函数及各个性能指标之间的联合分布函数；基于各个性能指标的边际分布函数及各个性能指标之间的联合分布函数，进行多次预测，每次预测均得到数据库的整体性能指标的一个预测值；根据多个预测值判断数据库是否发生故障，当数据库故障时，发出故障预警。

图1示意性示出了根据本公开实施例的数据库性能预测装置的应用场景图。

如图1所示，网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如MySQL等数据库应用。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的数据库应用提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果反馈给终端设备。

需要说明的是，本公开实施例所提供的数据库性能预测方法一般可以由服务器105执行。相应地，本公开实施例所提供的数据库性能预测装置一般可以设置于服务器105中。本公开实施例所提供的数据库性能预测方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的数据库性能预测装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

需要说明的是，本公开数据库性能预测的方法和装置可用于金融领域，也可用于除金融领域之外的任意领域，本公开对数据库性能预测的方法和装置的应用领域不做限定。

以下将基于图1描述的场景，通过图2～图5对公开实施例的数据库性能预测方法进行详细描述。

图2示意性示出了根据本公开实施例的数据库性能预测方法的流程图。

如图2所示，该实施例的数据库性能预测方法包括操作S210～操作S250。

在操作S210，收集数据库多个性能指标的历史数据。

在操作S220，基于各个性能指标的历史数据，计算各个性能指标的边际分布函数及各个性能指标之间的联合分布函数。

在操作S230，基于各个性能指标的边际分布函数及各个性能指标之间的联合分布函数，进行多次预测，每次预测均得到数据库的整体性能指标的一个预测值。

在操作S240，根据多个预测值判断数据库是否发生故障，当数据库故障时，发出故障预警。

根据本公开的实施例，在操作S210包括：确定对数据库的整体性能产生影响的多个性能指标；以预定时间为间隔，对各个性能指标的历史数据进行采样。其中，对数据库的整体性能产生影响的多个性能指标可以是数据库的常用性能指标，如CPU使用率、内存使用率、数据库连接数、网络IO等。

根据本公开实施例，在操作S210还包括：对已经采集到的各个性能指标进行实时分析，当其中某个性能指标数据异常时，发出告警信息。

根据本公开的实施例，在操作S220包括：分别基于各个所述性能指标的历史数据，训练各个所述性能指标的POT模型，将训练好的所述POT模型作为边际分布函数；基于各个所述性能指标的边际分布函数，训练各个所述性能指标之间的Copula模型，将训练好的所述Copula模型作为联合分布函数。

根据本公开实施例，由于极端事件的发生对数据库运行造成了巨大的影响和损失。所以为了避免此类情况，采用极值理论中的广义帕累托分布模型来对存在的极端情况进行建模。对于低频高损的事件，一般选用极值理论中的POT模型对其进行刻画。

根据本公开实施例，单独的性能指标对应的POT模型的具体建立过程如图3所示。本公开实施例的POT模型的建立方法包括操作S310～操作S330。

在操作S310，构建单独性能指标的POT模型。

根据本公开实施例，假设单独的性能指标为X

F

根据条件概率公式，可以得到

从而得到分布函数F(x)为：

F(x)＝F

当μ足够大的时候，F

其中，ξ为形状参数，σ为尺度参数。当ξ≥0时，广义帕累托分布呈现厚尾特征；当ξ<0，广义帕累托分布呈现短尾特征。

根据公式(4)可以知道，在已知随机变量序列X

在操作S320，确定POT模型的阈值。

根据本公开实施例，选取阈值μ是至关重要的一步，因为如果阈值μ选取过大，便会引起超出量Y

在操作S330，确定POT模型的形状参数和尺度参数。

根据本公开实施例，在确定了阈值μ的情况下，有多种方式可以估计POT函数中的形状参数ξ和尺度参数σ，例如极大似然估计法、矩估计法、概率权重估计法等。现以极大似然估计法为例子说明。

对上述公式(4)进行求导，得到概率密度函数为：

则其对应的对数似然函数为：

对该似然函数式子求最大值，就可以得到形状参数ξ和尺度参数σ的估计值。

将求解得到的阈值、形状参数和尺度参数带回POT模型中。将求的阈值μ、形状参数ξ和尺度参数σ带到公式(4)中，可得到的该性能指标X

因为数据库的各个性能指标之间存在相关性，而这种相关性并不是简单的加总。故而为了描述各个性能指标互相联系的关系，利用Copula模型可以很好地揭示这种关系。

根据本公开实施例，各个的性能指标之间的Copula模型的具体建立过程如图4所示。本公开实施例的Copula模型的建立方法包括操作S410～操作S420。

在操作S410，构建各个性能指标之间的Copula模型。

本公开基于Sklar定理构建Copula模型，以构建联合分布函数，所涉及的相关定理及公式内容描述如下：

Copula模型的基本思想是将变量X

F(X

这里的函数C就称为边际分布函数F

在操作S420，确定Copula模型的参数。

根据本公开实施例，构建Copula模型后，需要对Copula模型的参数进行估计。有多种方式可以估计Copula模型中的参数，例如一步极大似然估计法、伪极大似然估计法、两阶极大似然段估计法、非参数估计法等，其中以两阶极大似然段估计法为例子说明。

两阶极大似然段估计法就是将为各个边缘分布函数的未知参数θ

第一步：

第二步：

根据本公开实施例，对于构建好的Copula模型，可以基于K-S检验法和Q-Q图法进行校验。当校验结果良好时，将构建完成的Copula模型作为本公开各个性能指标之间的联合分布函数。

根据本公开实施例，如图5所示，操作S230包括操作S231～操作S235。

操作S231，生成服从联合分布函数的随机数序列，其中，随机数序列中随机数的数量与性能指标的数量相同。例如各性能指标为X

操作S232，根据随机数序列中各随机数与相应的性能指标的边际分布函数，得到各个性能指标预测值。假设各个指标的边际分布函数为F

操作S233，设定各个性能指标的权重，其中，各个性能指标的权重的总和为1。假设各个性能指标权重为w

操作S234，将每个性能指标预测值与相应的权重的乘积进行累加，得到整体性能指标的预测值。整体性能指标预测值的公式为

操作S235，多次重复上述步骤，得到多个整体性能指标的预测值。多次重复操作S231～操作S234，每次重复时，改变随机数序列的值，从而得到预测值的多种可能性。重复次数可以为1000次以上。

根据本公开实施例，操作S240包括：设定一个置信水平；根据多个整体性能指标的预测值，计算在置信水平下的故障值；当故障值超过预定阈值时，发出故障预警。置信水平是指所有预测值落在某一区内的概率。假设置信水平95％，利用公式P(z

本公开数据库性能预测的方法还包括：基于多个整体性能指标的预测值，对整体性能指标的运行趋势曲线进行预测。

根据本公开实施例，根据如下Prophet时间序列模型预测数据库整体性能的变化趋势，趋势曲线的函数式为：

y(t)＝g(t)+f(t)+h(t)+ε

其中，t为时间，g(t)表示趋势函数，可以模拟时间序列的非周期性变化，f(t)表示周期性变化(如每天，每周)，h(t)表示不定期的影响，ε

本公开通过POT模型对得到数据库各个常用的性能指标的边缘分布函数，通过copula函数得到各个性能指标之间的相关关系，最后得以预测数据库的整体性能，并可以预测未来一段时间如三天或未来一周的趋势变化，帮助运维人员及早地进行应对部署，调整资源分配，有效节约运维成本缩短应急时间。

基于上述数据库性能预测方法，本公开还提供了一种数据库性能预测装置。以下将结合图6对该装置进行详细描述。

如图6所示，该实施例的数据库性能预测装置600包括数据收集模块610、分布函数计算模块620、整体性能预测模块630、故障预警模块640。

数据收集模块610用于收集数据库多个性能指标的历史数据。在一实施例中，数据收集模块610可以用于执行前文描述的操作S210，在此不再赘述。

分布函数计算模块620用于基于各个所述性能指标的历史数据，计算各个所述性能指标的边际分布函数及各个所述性能指标之间的联合分布函数。在一实施例中，分布函数计算模块620可以用于执行前文描述的操作S220，在此不再赘述。

整体性能预测模块630用于多次基于各个所述性能指标的边际分布函数及各个所述性能指标之间的联合分布函数，得到所述数据库的多个整体性能指标的预测值。在一实施例中，整体性能预测模块630可以用于执行前文描述的操作S230，在此不再赘述。

故障预警模块640用于当所述预测值满足预设条件时，发出故障预警。在一实施例中，故障预警模块640可以用于执行前文描述的操作S240，在此不再赘述。

根据本公开的实施例，数据收集模块610、分布函数计算模块620、整体性能预测模块630、故障预警模块640中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，数据收集模块610、分布函数计算模块620、整体性能预测模块630、故障预警模块640中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，数据收集模块610、分布函数计算模块620、整体性能预测模块630、故障预警模块640中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图7示意性示出了根据本公开实施例的适于实现数据库性能预测方法的电子设备的方框图。

如图7所示，根据本公开实施例的电子设备700包括处理器701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 703中，存储有电子设备700操作所需的各种程序和数据。处理器701、ROM702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，程序也可以存储在除ROM702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备700还可以包括输入/输出(I/O)接口705，输入/输出(I/O)接口705也连接至总线704。电子设备700还可以包括连接至I/O接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的物品推荐方法。

在该计算机程序被处理器701执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分709被下载和安装，和/或从可拆卸介质711被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。