基于网络数据分析溯源的规则调整方法及装置

技术领域

本发明涉及计算机应用技术领域，具体涉及一种基于网络数据分析溯源的规则调整方法及装置。另外，还涉及一种电子设备及非暂态计算机可读存储介质。

背景技术

随着计算机技术的快速发展，网络数据呈现爆炸式的增长，目前这些网络数据已经成为了这个信息时代最具价值的资产之一。如何通过分析海量的网络数据从中发现数据与数据之间的关联关系，从而进一步获取更有价值的信息已经成为当前计算机领域研究的重要课题。

然而，目前大数据分析技术中包括flink(流计算分析引擎)大数据框架在内都只做了分析引擎，缺少对分析结果进行解释、溯源的相关技术。由于分析结果是一个高度收敛的数据，如何知道分析结果数据的正确性以及产生过程，从而根据分析结果有效的反馈到分析规则中成为目前业界亟待解决的需要课题。

发明内容

为此，本发明提供一种基于网络数据分析溯源的规则调整方法及装置，用以解决现有技术中存在的缺少对大数据分析结果进行解释及溯源的相关过程，导致分析规则容易设置不合理的缺陷。

本发明提供一种基于网络数据分析溯源的规则调整方法，包括：获得分析结果数据；基于预设的回溯引擎模块在沙箱环境中对所述分析结果数据进行溯源分析；根据溯源分析结果对分析规则进行调整，确定目标分析规则；其中，所述分析规则和所述分析结果数据相对应。

进一步的，所述基于预设的回溯引擎模块在沙箱环境中对所述分析结果数据进行溯源分析，具体包括：

在分析引擎模块执行分析操作过程中，基于预设的原始日志收集模块获取所述分析结果数据对应的原始日志数据；

基于预设的回溯引擎模块在所述沙箱环境对所述原始日志数据进行回溯操作，输出所述分析结果数据的产生过程信息。

进一步的，所述的基于网络数据分析溯源的规则调整方法，还包括：

基于所述沙箱环境模块中的时间线管理子模块设置沙箱环境对应的时间速度信息；

基于所述时间速度信息，执行相应的追溯操作。

进一步的，所述原始日志收集模块包括标识信息记录模块和时间信息记录模块；

所述基于预设的原始日志收集模块获取所述分析结果数据对应的原始日志数据，具体包括：

基于所述标识信息记录模块，获取所述原始日志数据对应的标识信息；

基于所述时间信息记录模块，获取所述原始日志数据对应的时间跨度信息；

基于所述标识信息和所述时间跨度信息，得到所述分析结果数据对应的原始日志数据。

进一步的，所述的基于网络数据分析溯源的规则调整方法，还包括：在所述沙箱环境运行时，基于预设的可视编辑器对所述分析结果数据的产生过程信息及追溯分析结果进行展示。

本发明还提供一种基于网络数据分析溯源的规则调整装置，包括：

分析结果获得单元，用于获得分析结果数据；

溯源分析单元，用于基于预设的回溯引擎模块在沙箱环境中对所述分析结果数据进行溯源分析；

规则调整单元，用于根据溯源分析结果对分析规则进行调整，确定目标分析规则；其中，所述分析规则和所述分析结果数据相对应。

进一步的，所述溯源分析单元，具体用于：

在分析引擎模块执行分析操作过程中，基于预设的原始日志收集模块获取所述分析结果数据对应的原始日志数据；

基于预设的回溯引擎模块在所述沙箱环境对所述原始日志数据进行回溯操作，输出所述分析结果数据的产生过程信息。

进一步的，所述的基于网络数据分析溯源的规则调整装置，还包括：

时间线设置单元，用于基于所述沙箱环境模块中的时间线管理子模块设置沙箱环境对应的时间速度信息；

追溯操作执行单元，用于基于所述时间速度信息，执行相应的追溯操作。

进一步的，所述原始日志收集模块包括标识信息记录模块和时间信息记录模块；

所述基于预设的原始日志收集模块获取所述分析结果数据对应的原始日志数据，具体包括：

基于所述标识信息记录模块，获取所述原始日志数据对应的标识信息；

基于所述时间信息记录模块，获取所述原始日志数据对应的时间跨度信息；

基于所述标识信息和所述时间跨度信息，得到所述分析结果数据对应的原始日志数据。

进一步的，所述的基于网络数据分析溯源的规则调整装置，还包括：

展示单元，用于在所述沙箱环境运行时，基于预设的可视编辑器对所述分析结果数据的产生过程信息及追溯分析结果进行展示。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上任一项所述的基于网络数据分析溯源的规则调整方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其特征在于，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如上任一项所述的基于网络数据分析溯源的规则调整方法的步骤。

本发明提供的所述的基于网络数据分析溯源的规则调整方法，通过预设的回溯引擎模块在沙箱环境中对所述分析结果数据进行溯源分析，并根据溯源分析结果对分析规则进行调整。其能够实现根据分析结果有效的反馈到相应的分析规则中，基于回溯过程发现原有分析规则中设置不合理、存在缺陷的地方，从而进行修正，改进网络数据分析规则，提高了对分析中间数据和结果数据分析能力。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于网络数据分析溯源的规则调整方法的流程示意图；

图2为本发明提供的基于网络数据分析溯源的规则调整装置的结构示意图；

图3为本发明提供的电子设备的实体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面基于本发明所述的基于网络数据分析溯源的规则调整方法，对其实施例进行详细描述。如图1所示，其为本发明提供的基于网络数据分析溯源的规则调整方法的流程图，具体实现过程包括以下步骤：

步骤101：获得分析结果数据。

具体的，本发明实施例以flink(流计算分析引擎)为技术基础，采用大数据流式架构，能够根据不同的业务需求，进行自定义算子组合配置，搭建相应的数据采集组件、数据传输组件、分析组件，完成数据挖掘、行为分析、统计分析等任务，并获得相应的分析结果。在具体实施过程中，可针对某个特定的分析结果进行溯源分析。

步骤102：基于预设的回溯引擎模块在沙箱环境中对所述分析结果数据进行溯源分析。

本发明实施例中，在分析引擎模块执行分析操作过程时，基于预设的原始日志收集模块获取所述分析结果数据对应的原始日志数据；并基于预设的回溯引擎模块在所述沙箱环境对所述原始日志数据进行回溯操作，实现分析场景还原，从而输出所述分析结果数据的产生过程信息。需要说明的是，在具体实施过程中，原始日志收集模块有多套内置方案，针对不同的分析场景可以有不同的选择，从而更好的支持原始日志关联。所述回溯引擎模块在独立沙箱环境中运行，不影响正常业务分析场景和业务数据过程。

其中，所述原始日志收集模块包括标识信息记录模块(即ID盒子)和时间信息记录模块(即时间盒子)等日志追溯模块。

所述的基于预设的原始日志收集模块获取所述分析结果数据对应的原始日志数据，具体实现过程至少包括：基于所述标识信息记录模块，获取所述原始日志数据对应的标识信息；基于所述时间信息记录模块，获取所述原始日志数据对应的时间跨度信息，从而基于所述标识信息和所述时间跨度信息得到所述分析结果数据对应的原始日志数据。在分析引擎模块执行过程中，基于所述原始日志收集模块可将原始日志的标识信息或时间信息进行记录，并依次流转下去，最终合并到最终的分析结果中。这样最终的分析结果会关联到产生这个分析结果的所有原始日志，从而达到更加准确的追踪效果。

具体的，所述标识信息记录模块是直接记录原始日志主键的模块，在日志分析过程中，会不断累加日志标识信息(即ID信息)，并传递下去，并支持去重能力，其适用于分析时间较短，日志分析较精确的场景。所述时间信息记录模块收集的是日志的时间跨度，比如分析6个小时的日志，这个时间信息记录模块会记录这批6小时的开始时间和结束时间，并在后续分析中进行时间合并，其适用于大量日志长时间的分析。

另外，在所述沙箱环境运行时，可基于预设的可视编辑器对所述分析结果数据的产生过程信息及追溯分析结果进行展示，并针对中间每个过程的分析结果进行推送和说明，从而让分析员清晰看出分析数据产生的过程。

除此之外，在沙箱环境中还可针对分析规则单独启动沙箱任务，并对输入和输入做局部修改，让原始业务输入改成从原始日志库中进行数据主动检索和拉取，并对输出做实时web推送功能，而不是进入分析结果表。

步骤103：根据溯源分析结果对分析规则进行调整，确定目标分析规则。其中，所述分析规则和所述分析结果数据相对应。

在本发明实施例中，沙箱环境可针对任意节点进行再次执行回溯。并支持调准原有规则，进行分析规则优化。这样可以更方便地专注于某个点的分析，并改进分析规则。

另外，为了进一步提高效率，还可基于所述沙箱环境模块中的时间线管理子模块设置沙箱环境对应的时间速度信息，并基于所述时间速度信息执行相应的追溯操作。具体的，所述时间线管理子模块是沙箱环境的子功能，其可以完成沙箱场景的时间速度设置。

比如：6小时运行的一个分析规则，可以基于时间线管理子模块设置时间在沙箱内运行快进60倍，这样6分钟左右即可运行完成该任务，从而在沙箱环境中基于时间线管理子模块重新定义更快的时间线，实现对原始规则进行时间线转换。时间线管理子模块会处理原始日志抽取，发送沙箱的速度、规则中的窗口大小等内容，做到相同任务场景的等价快进效果，这样既可以真实的反应过程，又可以较快地得到最终分析结果。

采用本发明所述的基于网络数据分析溯源的规则调整方法，通过预设的回溯引擎模块在沙箱环境中对所述分析结果数据进行溯源分析，并根据溯源分析结果对分析规则进行调整。其能够实现根据分析结果有效的反馈到相应的分析规则中，基于回溯过程发现原有分析规则中设置不合理、存在缺陷的地方，从而进行修正，改进网络数据分析规则，提高了对分析中间数据和结果数据分析能力。

与上述提供的一种基于网络数据分析溯源的规则调整方法相对应，本发明还提供一种基于网络数据分析溯源的规则调整装置。由于该装置的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的基于网络数据分析溯源的规则调整装置的实施例仅是示意性的。请参考图2所示，其为本发明提供的一种基于网络数据分析溯源的规则调整装置的结构示意图。

本发明所述的一种基于网络数据分析溯源的规则调整装置具体包括如下部分：

分析结果获得单元201，用于获得分析结果数据。

溯源分析单元202，用于基于预设的回溯引擎模块在沙箱环境中对所述分析结果数据进行溯源分析。

规则调整单元203，用于根据溯源分析结果对分析规则进行调整，确定目标分析规则；其中，所述分析规则和所述分析结果数据相对应。

采用本发明所述的基于网络数据分析溯源的规则调整装置，通过预设的回溯引擎模块在沙箱环境中对所述分析结果数据进行溯源分析，并根据溯源分析结果对分析规则进行调整。其能够实现根据分析结果有效的反馈到相应的分析规则中，基于回溯过程发现原有分析规则中设置不合理、存在缺陷的地方，从而进行修正，改进网络数据分析规则，提高了对分析中间数据和结果数据分析能力。

与上述提供的基于网络数据分析溯源的规则调整方法相对应，本发明还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的电子设备仅是示意性的。如图3所示，其为本发明公开的一种电子设备的实体结构示意图。该电子设备可以包括：处理器(processor)301、存储器(memory)302、通信总线303以及通信接口304，其中，处理器301，存储器302通过通信总线303完成相互间的通信，通过通信接口304与外部设备实现通信。处理器301可以调用存储器302中的逻辑指令，以执行基于网络数据分析溯源的规则调整方法，该方法包括：获得分析结果数据；基于预设的回溯引擎模块在沙箱环境中对所述分析结果数据进行溯源分析；根据溯源分析结果对分析规则进行调整，确定目标分析规则；其中，所述分析规则和所述分析结果数据相对应。

此外，上述的存储器302中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的基于网络数据分析溯源的规则调整方法，该方法包括：获得分析结果数据；基于预设的回溯引擎模块在沙箱环境中对所述分析结果数据进行溯源分析；根据溯源分析结果对分析规则进行调整，确定目标分析规则；其中，所述分析规则和所述分析结果数据相对应。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于网络数据分析溯源的规则调整方法，该方法包括：获得分析结果数据；基于预设的回溯引擎模块在沙箱环境中对所述分析结果数据进行溯源分析；根据溯源分析结果对分析规则进行调整，确定目标分析规则；其中，所述分析规则和所述分析结果数据相对应。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。