一种日志管理方法、装置、系统及存储介质

技术领域

本申请涉及日志处理技术，尤其涉及一种日志管理方法、装置、系统及存储介质。

背景技术

随着物联技术的发展与智能设备、终端的普及，通过对能设备与智能设备建立关联关系后，可更加便捷地操控智能设备，如通过终端实现对智能设备的远程控制等。为了保证终端与智能设备建立关联关系能够稳定以及可及时了解到智能设备的使用情况，对终端与智能设备之间交互的日志数据处理成为实现这一问题的关键。

现有技术中，通常是使用Java技术对终端与智能设备日志与绑定信息进行处理，其中使用ES(Elasticsearch)作为数据的转存地以及使用内部计时器，用以实现对日志数据的批量处理，且与这些信息相关的点位均在程序中设定。

但是，现有技术使用Java很难达到毫秒的时间间隔，即无法实现对日志数据的实时处理，且将日志数据存放在ES中转存后又提取出来再对日志数据进行数据，这样处理数据到的效率不高，点位信息固定在程序中，无法随时调整，这就造成了灵活性差的问题。

发明内容

本申请提供一种日志管理方法、装置、系统及存储介质，用以解决日志数据处理效率低及灵活性差的问题。

一方面，本申请提供一种日志管理方法，包括：

获取数据源中终端的原始日志数据；

对原始日志数据进行数据清洗，得到终端的日志数据；

利用预设的点位规则表对所述日志数据进行处理，得到所述终端的当前绑定信息；

根据所述日志数据和当前绑定信息生成所述终端的日志信息。

又一方面，本申请提供一种日志管理装置，包括：

获取模块：用于获取数据源中终端的原始日志数据；

清洗模块：用于对原始日志数据进行数据清洗，得到终端的日志数据；

处理模块：用于利用预设的点位规则表对所述日志数据进行处理，得到所述终端的当前绑定信息；

生成模块：根据所述日志数据和当前绑定信息生成所述终端的日志信息。

又一方面，本申请提供一种日志管理系统，包括：日志管理装置、设备及终端；

所述日志管理装置用于处理设备与终端绑定过程产生的日志信息，并根据权利要求如前任一项所述的日志管理方法对日志进行管理。

又一方面，本申请提供一种电子设备，包括：

处理器，以及与所述处理器通信连接的存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，以实现如前任一项所述的方法。

又一方面，本申请提供一种计算机可读存储介质，包括所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如前任一项所述的光传输环路网的配置方法。

最后一方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如前任一项所述的方法。

本申请提供一种日志管理方法、装置、系统及存储介质。该方法包括：获取数据源中终端的原始日志数据，对原始日志数据进行数据清洗，得到终端的日志数据，利用预设的点位规则表对所述日志数据进行处理，得到所述终端的当前绑定信息，根据所述日志数据和当前绑定信息生成所述终端的日志信息。本申请的方法，提高了管理日志的效率，又提高了管理日志的灵活性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请所基于的一种网络架构的示意图；

图2是本申请提供的一种信号故障监控方法的流程示意图；

图3是本申请提供的一种信号故障监控装置的结构示意图；

图4是本申请提供的一种信号故障监控系统的示意图；

图5是本申请提供的电子设备的硬件结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

随着物联网技术与计算机技术的发展，智能设备与终端之间的联系越来越紧密，通过终端绑定智能设备，以实现对智能设备的控制与了解其使用情况，在大数据时代下，这两个设备之间基于近场通信产生的日志数据是具有一定的研究价值的，这使得研究智能设备与终端之间的日志数据及其绑定信息成为当下研究的热点。

现有技术中，通常采用Java技术实现对智能设备与终端间生成的日志数据以及绑定信息进行处理，即预先在程序中设定好计时器功能，以便对一定时间间隔内的日志数据与绑定信息进行处理，被处理的数据来源于附带埋点技术专用于采集智能设备与终端之间日志数据与绑定信息的数据库，将获取到的数据转存至ES中，然后ES中批量提取，对数据进行清洗处理，然后将日志数据与点位信息进行匹配，进而获取到日志数据与绑定信息所处的绑定阶段，然后，将处理好的数据缓存起来，最后将处理好的数据存储至MYSQL中，以便后续在终端界面进行可视化展示或者便于后续其他流程的处理。

显然，现有技术使用Java技术，因为其技术本身的限制很难将预设的闹钟间隔设置在毫秒单位上，因此，对日志数据及绑定信息的处理不能实现实时处理；将小处理的数据转存至ES中，这样存储与提出数据，将会浪费大量的存储资源，且从时效上来说会造成处理效率降低；用于判断日志数据与绑定信息的点位信息写在固定的程序中，后期因为埋点改变或者用户绑定方式的改变所诱发点位信息的改变，即埋点改变也就是用于触发采集数据的用户行为事件发生了变化，或者终端与智能设备之间绑定方式改变，均可导致处理相应日志数据的业务流程发生变化，进而与流程相关的点位信心也发生了变化，但目前改变点位信息只能对程序进行更改，这使得处理日志数据与绑定信息既不够灵活，也不具有效率。

针对这样的技术问题，本申请使用Flink技术框架提供的方法，以实现对日志数据实时处理与监测，即从带有埋点技术采集数据的数据库中获取到的实时日志数据，将其对接到Kafka中，来一条处理一条数据，对数据进行预处理后，将处理后的数据与引入的点位信息表进行比对匹配，用于确定每一条日志数据所处的绑定阶段、类型及流程，然后根据处理完成的日志数据对缓存日志数据库进行更新，将更新后的日志数据与调用的设备维度表进行匹配，进而确定出日志数据所对应的设备，最后将完整的日志数据及其绑定信息输出到MYSQL中，以供后续处理的使用。

具体来说，本申请提供一种日志管理方法。该方法包括：获取数据源中终端的原始日志数据，对原始日志数据进行数据清洗，得到终端的日志数据，利用预设的点位规则表对所述日志数据进行处理，得到所述终端的当前绑定信息，根据所述日志数据和当前绑定信息生成所述终端的日志信息。本申请的方法，提高了管理日志的效率，又提高了管理日志的灵活性。

下面以具体地实施例对本申请的实施例的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

参考图1，图1为本申请所基于的一种网络架构的示意图，如图1所示，该网络架构包括服务器1、智能设备2、终端3。

其中，服务器1具体为可处理海量数据的服务器集群，其内可集成或安装有本申请提供的日志管理装置，其中，该日志管理装置可基于本申请提供的信号日志管理方法处理终端3与智能设备2之间绑定通信的日志数据。此外，服务器1可以调用带有埋点技术专用于采集绑定日志数据信息的数据库，以便对智能设备2的日志数据进行实时处理。

智能设备2具体可为智能电视、智能音箱等，其可实时或者周期将自身的日志数据以及其运行状态信息上传至带有埋点技术专用于采集绑定日志数据信息的数据库。

终端3具体可为用户手机、台式电脑、平板电脑等硬件设备，其基于近场通信与智能设备2建立关联关系。

实施例一

图2是本申请提供的一种日志管理方法的流程示意图，如图2所示的，该方法包括：

步骤201、获取数据源中终端的原始日志数据；

步骤202、对原始日志数据进行数据清洗，得到终端的日志数据；

步骤203、利用预设的点位规则表对所述日志数据进行处理，得到所述终端的当前绑定信息；

步骤204、根据所述日志数据和当前绑定信息生成所述终端的日志信息。

具体来说，本申请提供的日志管理方法的执行主体为前述的日志管理装置，如前所述的，该日志管理装置具体可安装或承载于前述的服务器1中。

在执行步骤201之前，需要说明本申请中的数据来源于其他的数据库，也就是说本申请的数据是依据定义好的埋点采集到的数据库，当用户用设备与智能设备发生绑定或者其他交互式，智能设备会将自身的日志数据及其运行状态信息上报，所述的数据库若监听到用户操作的事件行为与埋点的内容相符合，则采集终端与智能设备之间交互产生的日志数据信息上传至数据库中，以供服务器中的日志管理装置调用处理日志数据信息。

具体来说步骤201中，日志管理装置获取数据源中终端的原始日志数据，即日志管理装置从调用数据源中的日志数据，其中，所述的数据源是根据埋点技术采集到终端与智能设备之间交互的日志数据，所述的埋点技术是指的是针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程，用于监听软件应用运行过程中的事件，当需要关注的事件发生时进行判断和捕获相关数据信息。

在获取到数据源中终端的原始日志数据后，将对原始数据进行数据清洗，以便后续处理能够得到规整及有效的日志数据，在步骤202中，日志管理装置将数据源中获取到的终端原始日志数据，对接存放在Kafka中以便实现对日志数据进行实时处理，然后在这里对原始日志数据清洗，以便得到后续需要处理的日志数据。

具体的，日志管理装置首先过滤掉非预设格式的数据，保留符合预设数据格式的原始数据以作为中间的日志数据，然后，再过滤掉所述中间日志数据内容为空的数据，进而完成对原始数据的处理，以便后续步骤203的执行。其中，所述预设的格式是符合Flink框架的数据格式，如josn格式。

具体来说步骤203中，日志管理装置在获取到清洗后的日志数据后，对其进行时间的排序，然后获取到排序好的日志数据的点位信息，将点位信息与服务器中的点位信息规则表进行比对匹配，进而判断出每一条日志所处的阶段与绑定流程，进而得到所述终端的当前绑定信息。

其中，上述的点位信息包括：访问请求、调用接口、所用系统、设备型号、绑定类型等，用于记录设备与智能家电之间绑定交互过程的关键点位信息；上述中的点位信息规则表中的信息包括：阶段、系统、接口、类型、步骤等。

进一步来说，依据日志数据信息中的点位信息与点位规则表进行比对，首先确定出该条日志数据信息采用的绑定类型，依据调用的接口字段信息进行匹配，进而确定出该条日志数据所处的绑定类型，其中，所述的绑定类型可包括，局域网绑定、蓝牙绑定、扫码绑定等；

然后，确定出该条日志数据信息所处的绑定阶段，其中，所述的绑定过程可划分为选型阶段，即终端要选取什么样的方式与智能家电进行绑定；准备配网阶段，即终端选取绑定方式后智能设备响应用户匹配做出相应的准备工作；配网阶段，即终端与智能设备之间建立通信的过程；绑定阶段，即终端与智能家电设备已完成建立通信过程。

接下来，日志管理装置用处理完成的日志数据信息对缓存日志数据进行更新，然后调用预设设备维度表用以获取该设备的信息生成所述的日志信息。可选的，所述的预设设备维度表用于确定所述终端设备数据，将其与处理完成后的日志数据进行关联整合，即获取到所述的日志信息。其中，所述的设备维度表可提供远程字典服务，即可作为远程的存储系统，所述的预设设备维度表中包含设备类型、型号以及设备出厂的基础信息等。

其中，上述中所述的对缓存日志数据进行更新指的是将处理好的日志数据与原缓存日中的数据进行比较，然后依据设备型号用最新的日志数据信息替换掉原缓存中的信息。

在步骤304中，日志管理装置在获取到终端的当前绑定信息后，将其依据设备型号进行关联整合，生成终端的日志信息，即该条信息包括：设备类型、设备型号、阶段、系统、接口、类型及步骤等。

基于上述的实施方式，生成所述的终端日志信息后，还需要对智能设备的日志数据及绑定信息进行更新，可选的，具体可以按照下述的实施方式实现。

具体的，日志管理数据先获取到智能更新的日志数据数据，将这些信息与预设在服务器中的点位规则表进行匹配比对，按照上述实施例的步骤操作，确定出智能设备与终端之间绑定交互后的绑定信息。

进一步的，将获取到智能设备更新后的绑定信息与所述更新后的日志信息，依据设备型号字段值将其进行关联整合，最后获得所述智能设备的日志信息进行更新。

将更新后的终端与智能设备的绑定信息及日志数据最终输入到MYSQL数据库中，以便后续的处理操作，如利用UI技术将绑定信息以可视化的形式展现给使用终端的用户，或利用这些数据分析设备的使用情况。

本申请提供一种日志管理方法。该方法包括：获取数据源中终端的原始日志数据，对原始日志数据进行数据清洗，得到终端的日志数据，利用预设的点位规则表对所述日志数据进行处理，得到所述终端的当前绑定信息，根据所述日志数据和当前绑定信息生成所述终端的日志信息。本申请的方法，提高了管理日志的效率，又提高了管理日志的灵活性

实施例二

对应于本申请的信号故障的监控方法，图3是本申请提供的一种日志管理装置的结构示意图。为了便于说明，仅示出了与本申请相关的部分。

参照图3，该日志管理装置包括：

获取模块10：用于获取数据源中终端的原始日志数据；

清洗模块20：用于对原始日志数据进行数据清洗，得到终端的日志数据；

处理模块30：用于利用预设的点位规则表对所述日志数据进行处理，得到所述终端的当前绑定信息；

生成模块40：根据所述日志数据和当前绑定信息生成所述终端的日志信息。

可选的，所述日志管理装置还包括：更新模块；

所述的更新模块，具体用于：

获取智能设备的更新日志数据；

利用所述预设的点位规则表对所述更新日志数据进行处理，得到智能设备的更新后的绑定信息；

利用所述更新后的绑定信息和更新日志数据对所述智能设备的日志信息进行更新。

可选的，所述日志管理装置还包括：

根据终端的日志数据，在预设的设备维度表中确定所述终端的设备数据；

相应的，所述根据所述日志数据和当前绑定信息生成所述日志设备的日志信息，包括：

根据所述日志数据、设备数据以及当前绑定信息生成所述日志信息。

可选的，所述终端的日志信息存储至MYSQL数据库中。

清洗模块20，具体用于：

对所述原始日志数据的数据格式进行筛选，保留符合预设数据格式的原始日志数据以作为中间日志数据；

对所述中间日志数据中的数据内容进行过滤，以得到所述终端的日志数据。

本申请所提供的日志管理装置的实现原理，与上述任一实施例中的方式类似，在此不进行赘述。

本申请提供一种日志管理装置。该方法包括：获取数据源中终端的原始日志数据，对原始日志数据进行数据清洗，得到终端的日志数据，利用预设的点位规则表对所述日志数据进行处理，得到所述终端的当前绑定信息，根据所述日志数据和当前绑定信息生成所述终端的日志信息。本申请的方法，提高了管理日志的效率，又提高了管理日志的灵活性。

实施例三

对应于本申请提供的日志管理方法，图4是本申请提供的一种日志管理系统的示意图，为了便于说明，仅示出了与本申请相关的部分。

参照图4，信号故障的监控管理系统包括：日志管理装置101、智能设备2及终端3。

所述日志管理装置用于处理设备与终端绑定过程产生的日志信息，并根据权利要求实现实施例一任一项所述的日志管理方法对日志进行管理。

实施例四

本申请提供的电子设备，可用于执行上述方法实施例的技术方案，图5是本申请提供电子设备的硬件结构示意图，为了便于说明，仅示出了与本申请相关的部分。

参考图5，其示出了适于用来实现本是申请实施例的电子设备1000的结构示意图，该电子设备1000可以为终端设备。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体播放器(Portable Media Player，简称PMP)、车载设备(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示，电子设备1000可以包括管理装置(例如中央处理器、图形处理器等)1001，其可以根据存储在只读存储器(Read Only Memory，简称ROM)1002中的程序或者从存储装置1009加载到随机访问存储器(Random Access Memory，简称RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有电子设备1000操作所需的各种程序和数据。管理装置1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1006也连接至总线1004。

通常，以下装置可以连接至I/O接口1006：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1006；包括例如液晶显示器(Liquid CrystalDisplay，简称LCD)、扬声器、振动器等的输出装置1007；包括例如磁带、硬盘等的存储装置1009；以及通信装置10010。通信装置10010可以允许电子设备1000与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备1000，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置10010从网络上被下载和安装，或者从存储装置1009被安装，或者从ROM 1002被安装。在该计算机程序被管理装置1001执行时，执行本申请实施例的方法中限定的上述功能。

需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。

本申请提供的一种计算机程序产品，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或媒体库上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(Local Area Network，简称LAN)或广域网(Wide AreaNetwork，简称WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。