一种基于参数平滑的指标规范化方法及系统

技术领域

本发明属于数据处理技术领域，尤其涉及一种基于参数平滑的指标规范化方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

在使用大数据技术处理业务数据过程中，需要对数据指标进行规范化处理。数据指标进行规范化是指通过一系列数学和统计方法，对数据进行变换，使其符合特定的标准或规范。这种变换的目的是消除或减弱原始数据中的一些特定影响，使得数据更具有可比性、可解释性，并更适合于分析、建模和比较。通常使用Z-Score标准化、Min-Max缩放、百分位数等方法来规范化这些指标，这些方法通常用于处理具有不同尺度、单位或分布的指标，使它们在进行比较和分析时更具有一致性。

在传统的指标规范化方法处理大数据中较为实时的业务数据的过程中，存在异常事件或离群值时，这些极端值可能导致瞬时波动，使得规范化过程受到不稳定的影响，例如，突发性的业务事件或者数据采集系统存在延迟会导致实时数据的突然变化，而这些传统的规范化过程可能无法即时应对。因此，这些规范化方法在面对极端值和瞬时波动时可能表现出不稳定性的问题。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于参数平滑的指标规范化方法及系统，引入平滑参数对实时的业务数据进行处理，引入自适应学习速率的Adam优化算法来优化平滑指数，进一步提高系统的性能和鲁棒性。

为实现上述目的，本发明的第一个方面提供一种基于参数平滑的指标规范化方法，包括：

实时获取业务数据；

根据不断更新后的平滑参数，对实时获取的业务数据进行平滑处理，得到平滑序列；其中，所述平滑参数采用Adam优化算法进行实时更新优化处理。

本发明的第二个方面提供一种基于参数平滑的指标规范化系统，包括：

获取模块：实时获取业务数据；

处理模块：根据不断更新后的平滑参数，对实时获取的业务数据进行平滑处理，得到平滑序列；其中，所述平滑参数采用Adam优化算法进行实时更新优化处理。

本发明的第三个方面提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行一种基于参数平滑的指标规范化方法。

本发明的第四个方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行一种基于参数平滑的指标规范化方法。

以上一个或多个技术方案存在以下有益效果：

在本发明中，引入平滑参数对实时的业务数据进行处理，在处理过程中，采用实时更新的平滑参数，避免对系统的不稳定性影响；引入自适应学习速率的Adam优化算法来优化平滑指数，进一步提高系统的性能和鲁棒性。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例一中一种基于参数平滑的指标规范化方法流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例公开了一种基于参数平滑的指标规范化方法，包括：

实时获取业务数据；

根据不断更新后的平滑参数，对实时获取的业务数据进行平滑处理，得到平滑序列；其中，所述平滑参数采用Adam优化算法进行实时更新优化处理。

本实施的方案通过引入平滑因子、渐变过程和适应性调整，对规范化过程中的参数进行灵活调整，以应对实时数据中的不稳定性，提高规范化过程的准确性和鲁棒性。

本实施例的一种基于参数平滑的指标规范化方法，具体包括：

步骤1：设定初始规范化参数和平滑因子，以确保系统具备合理的初始状态。

设定初始参数：在规范化系统启动时，需要设定初始参数。这些初始参数是根据领域知识、历史数据或其他先验信息确定的。

设定平滑因子：确定用于平滑过程的平滑因子，可以是固定的常数，也可以是根据实时数据的特性动态调整的参数。平滑因子的选择影响了规范化过程中参数的平滑程度。

设定目标参数：规范化过程中存在需要过渡到新的目标参数值的情况，在初始化阶段设定这些目标参数。目标参数可能是根据业务需求、环境变化或其他因素确定的。

设定过渡状态：确定过渡过程的初始状态。这包括过渡过程的启动时间、过渡速率等参数。过渡状态的设定影响规范化系统在过渡过程中的调整速度和稳定性。

初始适应性调整：规范化系统具有适应性调整的能力，在初始化阶段进行初步的适应性调整。

通过上述对初始参数、平滑因子、目标参数、过渡状态等的设定，使得系统具备较为合理的初始状态。

步骤2：针对业务数据，连续计算最新的分位数信息，以捕捉数据分布的动态变化。主要针对分位数信息的计算，分位数是这个指标当前在全局范围内累积的百分比，作为步骤3输入的平滑参数SmoothingFactor，使用累积分布函数(CDF)确保计算反映了数据的整体趋势而不受瞬时波动的影响，其计算过程如下：

CDF F(x)定义为：

这表示X小于或等于x的概率等于f(t)在-∞到x范围内的积分。

对于连续型随机变量，需要对概率密度函数f(x)进行积分。对于离散型随机变量，CDF是概率质量函数(Probability Mass Function，PMF)的累积和。

对于离散型：

概率密度函数f(x)提供了关于指标分布的局部信息，而累积分布函数F(x)则提供了关于指标分布的全局信息。累积分布函数CDF的计算通过对概率密度函数进行累积，提供了对业务数据整体分布的描述，有助于减轻瞬时波动对后续分析的影响。

步骤2计算得到的结果，就是目前通用的解决方案，在下一个时间点采样时，不再修改这个结果了，即每一个时间点采样后CDF值就不再变化了。本实施例通过步骤4，在步骤2计算结果后，重新对历史业务数据引入深度学习模型进行学习，进一步修改步骤2的CDF值，调整学习率。

步骤3：采用一种基于权重的平滑方法，赋予最新观测值更高的权重，过去观测值的权重逐渐减小。

在每个时间步骤，通过以下步骤逐步更新规范化参数：

计算平滑后的规范化参数，使用公式：

X

其中，X

逐步增加平滑因子，以适应新的数据分布；

逐步应用新规范化参数，完成平滑过渡。

步骤4：在参数平滑和过渡之后，使用Adam优化算法来优化平滑指数，并继续使用优化后的指数计算业务数据上最新的分位数信息，以保持对数据动态变化的敏感性。在步骤2计算结果后，在下一时间点采样时，重新将历史业务数据引入深度学习模型进行学习，进一步修改步骤2的CDF值，调整学习率。

Adam是一种结合了动量和自适应学习速率的优化算法，可以根据梯度的历史信息自动调整学习率，从而加速模型的收敛速度并提高模型的性能。所述的动量项类似于物理学中的动量，考虑了梯度的历史信息，动量的引入有助于加速收敛并减小更新的方差。

其适应性学习优化过程如下：

步骤4-1，计算动量项：计算一阶矩动量V(t)和二阶矩动量S(t)：

V(t)＝β

其中，β

步骤4-2，修正偏差：由于V(t)和S(t)在初始时候会偏向于零，需要进行修正：

其中，

步骤4-3，更新平滑参数：使用修正后的一阶矩动量和二阶矩动量来更新参数：

其中，∈是一个很小的常数，用于防止除零错误。

调整得到修正后的平滑因子SmoothingFactor

步骤5：对实时计算输得到的规范化结果根据需求，对结果进行格式化，这包括数据的时间戳格式、小数点位数、单位等，以确保规范化结果与系统其他部分的兼容性。该模块还包含了异常值的进一步修正以及标记异常值，以确保输出的规范化数据是可靠的，并对规范化结果进行额外的滤波器或算法过滤，以进一步平滑数据，去除噪音或不必要的波动。在规范化输出模块中，包含实时监控和报告机制，用于监测规范化数据的变化趋势和异常情况，有助于及时发现问题并采取必要的纠正措施。

实施例二

本实施例的目的是提供一种基于参数平滑的指标规范化系统，包括：

获取模块：实时获取业务数据；

处理模块：根据不断更新后的平滑参数，对实时获取的业务数据进行平滑处理，得到平滑序列；其中，所述平滑参数采用Adam优化算法进行实时更新优化处理。

实施例三

本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

实施例四

本实施例的目的是提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。

以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。