日志归并方法、装置、介质和设备

技术领域

本说明书一个或多个实施例涉及数据处理技术领域，尤其涉及一种日志归并方法、装置、介质和设备。

背景技术

DNS是企业IT系统基础且核心服务之一。通过采集DNS日志可以有效分析客户上网行为，同时结合域名情报库和机器学习特征，能进一步检测和挖掘客户IT系统中可能存在的DNS服务风险以及突发的DNS攻击行为并及时处置。

DNS日志的一个显著特点就是随着企业IT系统规模的增加，日志量呈爆发式增长，因此带来日志分析难度和日志存储成本的增加。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种日志归并方法、装置、介质和设备，以解决日志数据分析难度大、分析效率低下、日志存储成本高等问题。

基于上述目的，本说明书一个或多个实施例提供了一种日志归并方法，包括：

确定请求日志的固化特征；

基于所述固化特征，通过预设的日志归并策略对待归并的日志数据进行归并；所述的日志归并策略包括：通过预设的日志归并算法，大日志归并窗口对所述待归并的日志数据进行归并；

输出归并后的日志数据。

结合上述说明，在本发明实施例另一种可能的实施方式中，所述确定请求日志的固化特征，包括：

对不同业务场景的日志数据进行规律分析，从日志数据的组成项中选取若干项作为所述固化特征。

结合上述说明，在本发明实施例另一种可能的实施方式中，所述通过预设的日志归并策略对待归并的日志数据进行归并，包括：

通过所述日志归并窗口确定日志数据的第一归并特征和第二归并特征；

结合所述预设的日志归并算法，按照所述第一归并特征和所述第二归并特征对待归并的日志数据进行归并。

结合上述说明，在本发明实施例另一种可能的实施方式中，所述基于所述固化特征，通过预设的日志归并策略对待归并的日志数据进行归并之前，所述方法还包括：

获取待归并的日志数据的第三归并特征；

根据所述第三归并特征配置所述归并日志窗口。

结合上述说明，在本发明实施例另一种可能的实施方式中，所述固化特征包括源IP、请求域名、请求类型中的一种或两种及以上的组合。

结合上述说明，在本发明实施例另一种可能的实施方式中，所述方法还包括：

验证日志归并效果的步骤，通过输入已知特征及数量的日志数据，检查实际日志数据输出的特征及数量，对日志归并效果进行验证并不断修正。

第二方面，本发明还提供了一种日志归并装置，包括：

确定模块，用于确定请求日志的固化特征；

归并模块，用于基于所述固化特征，通过预设的日志归并策略对待归并的日志数据进行归并；所述的日志归并策略包括：通过预设的日志归并算法，大日志归并窗口对所述待归并的日志数据进行归并；

输出模块，用于输出归并后的日志数据。

上述的装置，所述确定模块还用于：

对不同业务场景的日志数据进行规律分析，从日志数据的组成项中选取若干项作为所述固化特征。

第三方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的日志归并方法。

第四方面，本发明还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述的日志归并方法。

从上面所述可以看出，本说明书一个或多个实施例提供的日志归并方法、装置、介质和设备，将日志归并特征固定为特定的若干固化特征，并通过窗口化的日志归并策略对待归并的日志数据进行归并操作，达到了减少DNS日志量、抑制DNS日志风暴、提高DNS日志分析效率及降低DNS日志存储成本的效果。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例的日志归并方法流程示意图；

图2为本说明书一个或多个实施例的窗口归并流程示意图；

图3为本说明书一个或多个实施例的日志归并装置示意图；

图4为本说明书一个或多个实施例的电子设备结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

本发明涉及一种日志归并方法、装置、介质和设备，其主要运用于需要对日志数据进行归并分析的场景中，其基本思想是：将日志数据的特征固定为若干个固化特征，并通过窗口化的日志归并策略对待归并的日志数据进行归并操作，达到了减少DNS日志量、抑制DNS日志风暴、提高DNS日志分析效率及降低DNS日志存储成本的效果。

本实施例可适用于带有日志归并策略的智能型终端中以进行日志归并的情况中，该方法可以由日志归并的装置来执行，其中该装置可以由软件和/或硬件来实现，一般地可集成于智能终端中，或者终端中的中心控制模块来控制，如图1所示，所述方法具体包括如下步骤：

在步骤110中，确定请求日志的固化特征；

以DNS(Domain Name System，域名系统)为例，其日志数据包括以下几个重要组成项：源IP、请求域名、请求时间、请求类型以及响应结果等。

分析不同业务场景下大量DNS请求日志的规律，从上述组成项中选取源IP、请求域名、请求类型作为日志数据的固化特征，该固化特征用于下一步在日志归并窗口的日志归并操作。

在步骤120中，基于所述固化特征，通过预设的日志归并策略对待归并的日志数据进行归并；所述的日志归并策略包括：通过预设的日志归并算法，大日志归并窗口对所述待归并的日志数据进行归并；

本发明示例性实施例的一种实施方式中，DNS日志归并策略由两部分组成：日志归并窗口和日志归并算法。

日志归并窗口由归并时间窗口和归并数量窗口组成，其中归并时间窗口定义了DNS日志归并的时间范围以及归并刷新周期，以分钟为单位。当设置日志归并窗口设置为1分钟时，采用整点划分算法，将DNS日志请求时间以1分钟为时间维度，划分为若干部分。同时会生成一个刷新计时器，每隔1分钟将DNS日志缓冲区的日志刷新到日志输出区。

归并数量窗口定义了刷新计数器的日志总数上线。当DNS日志缓冲区的日志总数达到刷新计数器限制时，会自动将日志刷新到日志输出区中。

在步骤130中，输出归并后的日志数据。

将上述归并后提到的日志数据输出至日志输出区域。

图2所示为本发明示例性实施例的日志数据归并流程示意图，结合图2所示，DNS原始日志为待归并的日志数据，其中，所述待归并的日志数据中的日志数据为5条，按照第一个时间窗口确定了其中两条日志数据，基于所述固化特征，当两条日志数据中仅时间参数不同时，将其归并为一条日志数据并以上述固化特征的相关参数对该条日志数据进行表示；按照第二个时间窗口能够确定另外三条日志数据，基于所述固化特征，当该三条日志数据中归并特征(域名)不一致时，则按照该归并特征再次进行归并，以相同域名的固化特征的日志数据为一组(两条日志数据)，不同域名的固化特征的日志数据为一组(1条日志数据)，最终归并出三条日志数据。

上述归并操作发生于日志缓冲区。

归并出的三条日志数据输出至日志输出区。

本发明的方法，将日志归并特征固定为特定的若干固化特征，并通过窗口化的日志归并策略对待归并的日志数据进行归并操作，使得数目庞大的日志数据减少了归并操作时的数据对比达到了减少DNS日志量、抑制DNS日志风暴、提高DNS日志分析效率及降低DNS日志存储成本的效果。

结合上述说明，在本发明实施例另一种可能的实施方式中，所述确定请求日志的固化特征，包括：对不同业务场景的日志数据进行规律分析，从日志数据的组成项中选取若干项作为所述固化特征。

通过人机结合的方式对不同业务场景的日志数据进行规律分析，根据实际日志数据产生的场景的不同，其组成项的重要程度亦可能不同，因此，所述固化特征可能根据应用场景的不同而有所变化。

本发明示例性实施例的一种实施方式中，结合图2所示，所述通过预设的日志归并策略对待归并的日志数据进行归并，包括：

通过所述日志归并窗口确定日志数据的第一归并特征和第二归并特征；

结合所述预设的日志归并算法，按照所述第一归并特征和所述第二归并特征对待归并的日志数据进行归并。

所述第一归并特征可为时间，所述第二归并特征可为数量，当同一时间存在多条日志数据时，且该日志数据的其它固化特征均一致的情况下，可将在该时间内的多条日志数据归并为一条日志数据；当同一时间存在多条日志数据时，且该日志数据的其它固化特征不一致的情况下，则需要将在该时间内的多条日志数据按照具体不同的固化特征进行归并上的细分，如图2所示，当除域名之外的其它固化特征均一致时，则此时按照域名的不同对按照时间第一次归并后的日志数据进行再一次归并。

结合上述说明，在本发明实施例另一种可能的实施方式中，所述基于所述固化特征，通过预设的日志归并策略对待归并的日志数据进行归并之前，所述方法还包括：

获取待归并的日志数据的第三归并特征；

根据所述第三归并特征配置所述归并日志窗口。

所述第三归并特征为根据日志数据的具体产生场景而灵活设定的特征，以用于根据该第三特征进行第一次归并后能够按照上述固化特征快速进行归并，如图2中的时间参数即可为第三归并特征，当引入时间参数后，固化特征为域名、源IP以及请求类型后，能够实现快速的归并日志窗口的配置。

本发明的方法，第三归并特征是根据日志数据的产生场景而灵活选择的，并不限于时间参数，其可以为其它任意类型的能够用以在引入后快速配置归并日志窗口，以根据固化特征快速归并，通过第三归并特征的引入，极大地丰富了本发明的方法的应用场景。

本发明示例性实施例的一种实施方式中，所述方法还包括：

验证日志归并效果的步骤，通过输入已知特征及数量的日志数据，检查实际日志数据输出的特征及数量，对日志归并效果进行验证并不断修正。

获取已知特征及数量的日志数据，结合日志输出区输出的日志数据的特征及数量，及时对日志归并效果进行验证，并根据验证结果进行修正，以使归并效果更符合用户需求。

可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。

图3为本发明实施例提供的一种日志归并装置的结构示意图，该装置可由软件和/或硬件实现，一般地集成于智能终端中，可通过日志归并方法来实现。如图所示，本实施例可以以上述实施例为基础，提供了一种日志归并装置，其主要包括了确定模块310、归并模块320及输出模块330。

其中的确定模块310，用于确定请求日志的固化特征；

其中的归并模块320，用于基于所述固化特征，通过预设的日志归并策略对待归并的日志数据进行归并；所述的日志归并策略包括：通过预设的日志归并算法，大日志归并窗口对所述待归并的日志数据进行归并；

其中的输出模块330，用于输出归并后的日志数据。

本发明示例性实施例的一种实施场景中，所述确定模块310还用于：

对不同业务场景的日志数据进行规律分析，从日志数据的组成项中选取若干项作为所述固化特征。

上述实施例中提供的日志归并装置可执行本发明中任意实施例中所提供的日志归并方法，具备执行该方法相应的功能模块和有益效果，未在上述实施例中详细描述的技术细节，可参见本发明任意实施例中所提供的日志归并方法。

需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

图4示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行本发明实施例的日志归并方法。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序及程序本身的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息，以用于执行本发明实施例的上述技术方案。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。