业务日志的处理方法、装置、设备及存储介质

技术领域

本发明一般涉及信息处理技术领域，具体涉及一种业务日志的处理方法、装置、设备及存储介质。

背景技术

随着公司业务的升级和拓展，业务类型愈发丰富，越来越多的应用系统被引入和部署，各种应用系统被部署在众多的服务器上，这些系统在运行过程中，会输出各种业务日志，来反映系统状态、反馈业务执行情况等。但是，在业务运行过程中，一些业务模块出现故障会对业务运行产生影响，因此，对业务模块进行监控处理显得至关重要。

目前，相关技术中通过建立对应的业务监控系统对业务模块进行监控，但是，在大业务量的环境下，会生成海量业务日志，而传统的业务监控系统无法对海量的业务日志准确定位，导致无法及时处理故障，从而降低了业务处理效率。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种业务日志的处理方法、装置、设备及存储介质。

第一方面，本申请提供了一种业务日志的处理方法，该方法包括：

采集业务系统的日志数据并通过消息分发中间件传输至实时流计算组件，所述日志数据包括至少一种业务级别；

通过所述实时流计算组件对所述日志数据进行预处理，生成与每个所述业务级别对应的日志流并存储至搜索引擎；

根据预设的告警规则，对所述搜索引擎上的日志流进行分析，生成告警推送结果；

基于所述告警推送结果执行对应的处理操作。

第二方面，本申请提供了一种业务日志的处理装置，该装置包括：

数据传输模块，用于采集业务系统的日志数据并通过消息分发中间件传输至实时流计算组件，所述日志数据包括至少一种业务级别；

存储模块，用于通过所述实时流计算组件对所述日志数据进行预处理，生成与每个所述业务级别对应的日志流并存储至搜索引擎；

分析模块，用于根据预设的告警规则，对所述搜索引擎上的日志流进行分析，生成告警推送结果；

执行模块，用于基于所述告警推送结果执行对应的处理操作。

第三方面，本申请实施例提供一种终端设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如第一方面的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于实现如第一方面所述的方法。

本申请实施例提供的业务日志的处理方法、装置、设备及存储介质，通过采集业务系统的日志数据并通过消息分发中间件传输至实时流计算组件，并通过实时流计算组件对日志数据进行预处理，生成与每种业务级别对应的日志流并存储至搜索引擎，然后根据预设的告警规则，对搜索引擎上的日志流进行分析，生成告警推送结果，基于告警推送结果执行对应的处理操作。该技术方案能够通过预设的告警规则自动发现日志流中存在的业务问题，从而能够提前预判故障发生的可能性，使得准确生成告警推送结果，并通过基于告警推送结果执行对应的处理操作，能够及时对故障问题进行处理，进而提高了业务的处理效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本申请实施例提供的业务日志的处理系统的结构示意图；

图2为本申请实施例提供的业务日志的处理方法的流程示意图；

图3为本申请实施例提供的业务日志的处理方法的流程示意图；

图4为本申请实施例提供的告警推送结果的界面示意图；

图5为本申请实施例提供的执行对应操作的界面示意图；

图6为本申请实施例提供的业务日志的处理方法的结构示意图；

图7为本申请实施例提供的运维平台系统架构图；

图8为本申请实施例提供的业务日志的处理装置的结构示意图；

图9为本申请实施例提供的业务日志的处理装置的结构示意图；

图10为本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

可以理解，随着网络信息技术的不断发展，通过使用各大数据业务系统为用户提供了诸多便利，该数据业务系统通常可以包括多个服务器，各项业务的完成需要该多个服务器协同完成。其中，在某业务流程的执行过程中，各业务服务器均会生成业务日志，在业务运行过程中，业务模块出现故障不能被及时发现而导致不断传播升级甚至影响所有业务，为了保证业务模块不会出现故障而对业务运行产生影响，对业务模块进行监控处理显得尤为重要。目前，相关技术中通过建立业务监控系统对业务模块进行监控，但是在大业务量的环境下，会生成海量业务日志，而传统的业务监控系统无法对海量的业务日志准确定位，导致无法及时处理故障，从而降低了业务处理效率。

基于上述缺陷，本申请提供了一种业务日志的处理方法、装置、设备及存储介质，与相关技术相比，该方案能够通过预设的告警规则自动发现日志流中存在的业务问题，从而可以提前预判故障发生的可能性，使得准确生成告警推送结果，并通过基于告警推送结果执行对应的处理操作，能够及时对故障问题进行处理，进而提高了业务的处理效率。

图1是本申请实施例提供的业务日志的处理方法的实施环境结构图。如图1所示，该实施环境结构包括：终端100和服务器200。

可选的，上述终端100可以为智能手机、笔记本电脑或平板电脑等，本申请对操作系统的类型不做限定，例如可以是包括安卓(Android)操作系统，也可以是苹果(ios)操作系统，还可以是窗口(Windows)操作系统等。终端100上运行有客户端，用户可在终端100的客户端上执行任意业务操作，从而产生日志数据，并将业务数据进行存储。

服务器200可以是一台服务器，也可以是由若干台服务器构成的服务器集群，或者服务器200可以包含一个或多个虚拟化平台，或者服务器200可以是一个云计算服务中心。

其中，服务器200可以是为上述终端100中安装的应用系统提供后台服务的服务器设备。服务器200具有数据处理功能。

终端100与服务器200之间通过有线或无线网络建立通信连接。

可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。

为了便于理解和说明，下面通过图2至图10详细阐述本申请实施例提供的业务日志的处理方法、装置、设备及存储介质。

图2所示为本申请实施例提供的业务日志的处理方法的流程示意图，该方法应用于业务日志的处理装置，如图2所示，该方法包括：

S101、采集业务系统的日志数据并通过消息分发中间件传输至实时流计算组件，日志数据包括至少一种业务级别。

具体的，业务以微服务的形态存在于服务网络中，业务系统在运行过程中会产生日志数据，可以通过Filebeat、Logstash采集日志数据，也可以通过日志API接口采集日志数据，采集到的日志数据可以通过UDP的传输方式传输至消息分发中间件中，该消息分发中间件可以为kafka。

需要说明的是，Filebeat是使用Golang实现的轻量型日志采集器，用于日志的上报和搜集，也是Elasticsearch stack的一员，能够根据配置读取对应位置的日志，并上报到kafka数据管道中。Logstash是服务器端数据处理管道，能够从多个来源动态地采集数据，转换数据，然后将数据发送至kafka数据管道中。

上述日志数据可以是一个二进制的日志文件，用于记录用户对业务系统的数据操作的sql语句信息，例如更改数据库表和更改内容的sql语句将会记录到日志数据中。

可选的，可以先采集业务系统的日志数据，该采集到的日志数据可以是行的日志格式，也可以是json串的日志格式，然后统一该日志数据的数据格式，在采集日志数据时会对每种日志数据标记对应的业务级别，以确定统一数据格式的日志数据的业务级别，并根据业务级别，将对应的日志数据发送至消息分发中间件kafka，然后通过kafka将日志数据传输至实时流计算组件，该实时流计算组件例如可以为Flink。

需要说明的是，上述Kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据，这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决，kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，为了通过集群来提供实时消息。可以利用kafka开源组件进行多线程并发，实现高性能处理。采集的日志数据可以包括多条消息数据，条消息数据都有一个类别，这个类别称为topic，用户可以根据自己的业务形态将不同业务类别的消息分别存储到不同topic，物理上不同topic的消息分开存储。Kafka以topic来进行消息管理，每个topic包含一个或多个消息分区。

上述Flink是一个针对流数据和批数据的分布式处理引擎，能够以数据并行和流水线方式执行任意数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。

S102、通过实时流计算组件对日志数据进行预处理，生成与每种业务级别对应的日志流并存储至搜索引擎。

该步骤中，在得到不同业务级别的日志数据后，可以通过实时流计算组件对每个业务级别对应的日志数据进行解析过滤处理，得到过滤后的日志数据，然后对过滤后的日志数据进行脱敏处理，生成与各个业务级别对应的日志流，并将每个业务级别对应的日志流按照预设存储方式存储至搜索引擎，该搜索引擎例如可以为Elasticsearch。

具体的，在对日志数据进行解析过滤处理时，可以先确定日志数据对应的数据格式，并解析数据格式中的关键字，从而得到日志信息，并过滤掉其他的干扰数据，然后对过滤后的日志数据进行脱敏处理。在对过滤后的日志数据进行脱敏处理，生成与每个业务级别对应的日志流后，可以按照业务级别的不同，将每个业务级别对应的日志流按照预设存储方式存储至Elasticsearch。该预设存储方式可以是同一业务级别的日志流存储在同一存储数据库中。例如可以将日志数据按照业务级别分为冷数据、热数据和温数据，其中，冷数据是指离线日志数据，热数据是指实时性较高的日志数据，温数据是指除冷数据和热数据以外的其他数据。可以将该冷数据、热数据和温数据分别存储在Elasticsearch日志集群中对应的存储数据库中，例如可以将冷数据存储在HDFS文件数据库中，温数据存储在Database中，热数据存储在Cache中。

可以理解的是，上述Elasticsearc作为一款功能强大的分布式搜索引擎，支持近实时的存储、搜索数据，其存储数据量可以达到1亿个文档，并支持日志查询，日均查询量可以达到5万。随着业务的快速发展，日志中心ES架设方案也在不断演进，能够实时保障ES集群读写的稳定性。

其中，上述数据脱敏指的是对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保，在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如用户的身份证号、手机号、银行卡号、客户号等个人信息都需要进行数据脱敏。可以使用脱敏算法对过滤后的日志数据进行脱敏处理，该脱敏算法例如可以是保留头尾字符，把中间的部分用特殊字符如星号“*”作为掩码来表示。

例如，身份证号120115201406180712脱敏处理后可以为：120115********0712；银行卡号9558820200019833888脱敏处理后可以为：955882*********3888。

本实施例中能够对采集的业务系统的日志数据进行统一存储，且在采集日志数据时对其进行业务级别分级，并在Elasticsearch中分级存储，从而实现日志数据的统一管理，并且业务数据能够在监控平台上展示，有利于团队成员实时观测业务运行状况。

S103、根据预设的告警规则，对搜索引擎上的日志流进行分析，生成告警推送结果。

本步骤中，上述告警规则是开发人员根据日志数据不同的业务级别预先基于告警服务设置好的，可以通过编写BOE_ALERT告警程序实现告警规则的设置。其中，该告警服务例如可以是BOE_ALERT服务，其中，BOE_ALERT服务实现了Elasticsearch和即时通信(Instant Message，IM)的http restful，其中，业务方可以通过api直接访问BOE_ALERT服务，且BOE_ALERT服务运行在告警平台中，可以通过在界面展示的方式使得业务方直接使用页面访问告警平台。BOE_ALERT服务还提供了访问记录、告警规则设置、限流、降级等功能，并且提供了同一接入、应用权限的管控等功能。

在上述实施例的基础上，作为一种可实现方式，作为S103的一种可实现方式，图3为本申请实施例提供的对日志流进行告警分析方法的流程示意图，如图3所示，该方法包括：

S201、向搜索引擎发送数据查询请求，数据查询请求包括日志标识。

S202、接收搜索引擎发送的日志标识对应的查询结果信息，该查询结果信息用于指示在第一预设时间内接收到日志标识对应的日志流的条数和业务级别。

S203、基于在第一预设时间内接收到日志标识对应的日志流的条数和业务级别，按照预设的告警规则生成告警推送结果。

具体的，以搜索引擎为Elasticsearch为例，在对Elasticsearch中的日志流进行告警分析的过程中，可以通过即时通信软件向Elasticsearch发送数据查询请求，该数据查询请求包括日志标识，Elasticsearch接收并响应于该数据查询请求，基于日志标识得到查询结果信息并发送，从而使得即时通信软件接收到该日志标识对应的查询结果信息，该查询结果信息用于指示在第一预设事件内接收到日志标识对应的日志流的条数和业务级别。

可选的，可以基于在第一预设时间内接收到日志标识对应的日志流的条数和业务级别，确定计数值，并在第二预设时间内累计计数值，得到计数值之和，且该第二预设时间大于第一预设时间。然后将计数值与预设阈值进行比较，当计数值之和大于预设阈值时，生成告警推送结果；当计数值之和不大于预设阈值时，则不进行告警推送，表示日志流为正常状态，其中，该第一预设时间和第二预设时间可以是预先根据需求设置好的经验值。

本步骤中，在确定计数值的过程中，可以先获取预先定义的与每个业务级别对应的数据维度权重值，然后将业务级别对应的日志流的条数和对应的数据维度权重值进行加权求和处理，确定计数值，该数据维度权重值是预先定义的，根据业务级别的高低不同定义不同的数据维度权重值。其中，第一数据维度权重值可以是第一级别的日志流对应的数据维度权重值，该第一级别可以是热数据对应的级别；第二数据维度权重值可以是第二级别的日志流对应的数据维度权重值，该第二级别可以是温数据对应的级别；第三数据维度权重值可以是第三级别的日志流对应的数据维度权重值，该第三级别可以是冷数据对应的级别。可以通过如下公式表示：

其中，x

示例性的，上述第一预设时间可以是1分钟，第二预设时间可以是5分钟，可以先获取到第一预设时间内不同业务级别对应日志流的条数和条数和业务级别，例如可以包括第一级别、第二级别和第三级别，且获取到的第一级别对应的日志流条数为0，第二级别对应的日志流条数为1，第三级别对应的日志流条数为1，然后获取与每个业务级别对应的数据维度权重值，如第一级别对应的第一数据维度权重值为80％，第二级别对应的第二数据维度权重值为15％，第三级别对应的第三数据维度权重值为5％，然后分别将第一级别的条数0与第一数据维度权重值80％、第二级别的条数1与第二数据维度权重值15％、第三级别的条数1与第三数据维度权重值5％加权求和，从而得到计数值0.2，然后继续得到下一个1分钟内的计数值，从而在五分钟内得到五个计数值，例如得到的五个计数值分别为0.2，0.3，0.2，0.2，0.2，将该五个计数值相加累计得到计数值之和1.1，当该计数值之和1.1大于预设阈值1时，则生成告警推送结果。

上述告警推送结果例如可以是触发告警消息至即时通信软件，例如以复选框的形式在即时通信软件界面上展示，从而提醒用户对该问题故障进行及时处理。如图4所示，例如可以在界面上展示告警时间、告警来源以及告警内容，该告警时间例如可以是0：31PM，告警来源例如可以是来自火星，告警内容例如可以是以下内容：“该小程序报错，现在请您做出选择#当前错误日志共计242条”。

本实施例中通过设置告警规则，能够提前预判故障发生的可能性，使得用户及时处理问题故障。

S104、基于告警推送结果执行对应的处理操作。

具体的，在向用户推送告警推送结果后，用户可以根据该告警推送结果在界面上进行操作，从而使得该业务处理装置接收到用户的处理操作指令，该处理操作指令中携带有基于告警推送结果确定的处理类型，然后响应于该处理操作指令，执行与处理类型对应的处理操作。其中，上述处理类型例如可以是重启系统，还可以是查看错误详情，也可以是其他处理操作，可以参见图5所示，当用户点击告警推送结果的复选框后，可以出现三种处理类型，分别为“点击重启服务”、“查看报错详情”、“什么也不做就是看看”。

本步骤中用户能够在即时通信软件中做出相应选择从而触发人机交互界面，进而完成业务问题的故障处理。

为了更清楚地描述本申请，图6为本申请实施例提供的业务日志的处理方法的结构示意图，请参见图6所示，可以通过Filebeat、Logstash采集日志数据，也可以通过日志API接口采集日志数据，采集到的日志数据可以通过UDP的传输方式传输至kafka中进行数据汇聚，该日志数据可以包括至少一种业务级别，Kafka以topic来对不同业务级别的日志数据进行消息管理，并将日志数据传输至实时流计算引擎Flink进行数据预处理，例如可以包括脱敏处理，生成与各个业务级别对应的日志流，并将每个业务级别对应的日志流按照预设存储方式存储至Elasticsearch。

当日志数据存储至Elasticsearch后，可以进行日志应用，包括在监控平台进行可视化展示日志数据，从而实现可以化管理；还可以是通过即时通讯软件实现人机交互处理，例如可以通过即时通信软件向Elasticsearch发送数据查询请求，该数据查询请求包括日志标识，然后根据预设的告警规则，对Elasticsearch上与日志标识的日志流进行分析，生成告警推送结果，并使得用户基于告警推送结果执行对应的处理操作，其中，该告警规则是通过编写BOE_ALERT告警程序实现的，从而进行告警推送；也可以是通过API接口查询日志数据。

图7为本申请实施例提供的运维平台系统架构图，如图7所示，该系统架构可以包括展示层、负载均衡层、网关层、服务层、公共技术层和基础设施层。

其中，基础设施层可以包括MySql集群、Redis集群、Elasticsearch集群和RabbitMQ集群；公共技术层可以与基础设施层和服务层进行通信，可以用于进行网关服务、认证服务、任务调度、缓存服务、报表服务、工作流引擎、日志服务和通知服务等；服务层可以与公共技术层和网关层进行通信，可以包括业务微服务，该业务微服务可以包括数据端与居家物联网，数据端可以通过Istio Client/http通信协议与居家物联网进行通信；网关层可以与负载均衡层和服务层进行通信，可以包括多个网关，可以通过认证中心集群对网关进行认证和授权；负载均衡层分别与展示层和网关层进行通信，可以包括至少一个NGINX，NGINX用于接收网关层发送的数据，每个NGINX之间通过keepalived进行通信，然后将数据传输至展示层进行展示；展示层可以包括运行在终端设备上的运维后台、监控后台、管理后台等，从而使得开发人员或运维人员可以在运维后台和监控后台实时查看日志数据，该终端设备例如可以是移动终端、平板电脑或其他处理设备；客户或操作人员可以使用终端设备通过运行在终端设备上的网站等客户端执行对应的操作；运营人员可以在管理后台实时查看、监控和管理日志数据。

该架构中可以通过Prometheus监控和(Elasticsearch，Logstash和Kiabana，简称ELK)日志中心对日志数据进行监控，并且可以通过Maven、SVN/Git、Jenkins、Docker等实现系统的运维功能。

本申请实施例提供的业务日志的处理方法、装置、设备及存储介质，通过采集业务系统的日志数据并通过消息分发中间件传输至实时流计算组件，并通过实时流计算组件对日志数据进行预处理，生成与每种业务级别对应的日志流并存储至搜索引擎，然后根据预设的告警规则，对搜索引擎上的日志流进行分析，生成告警推送结果，基于告警推送结果执行对应的处理操作。该技术方案能够通过预设的告警规则自动发现日志流中存在的业务问题，从而能够提前预判故障发生的可能性，使得准确生成告警推送结果，并通过基于告警推送结果执行对应的处理操作，能够及时对故障问题进行处理，进而提高了业务的处理效率。

另一方面，图8为本申请实施例提供的一种业务日志的处理装置的结构示意图。该装置可以为终端内的装置，如图8所示，该装置600包括：

数据传输模块610，用于采集采集业务系统的日志数据并通过消息分发中间件传输至实时流计算组件，日志数据包括至少一种业务级别；

存储模块620，用于通过实时流计算组件对日志数据进行预处理，生成与每个业务级别对应的日志流并存储至搜索引擎；

分析模块630，用于根据预设的告警规则，对搜索引擎上的日志流进行分析，生成告警推送结果；

执行模块640，用于基于告警推送结果执行对应的处理操作。

可选的，上述存储模块620，用于：

通过实时流计算组件对每个业务级别对应的日志数据进行解析过滤处理，得到过滤后的日志数据；

对过滤后的日志数据进行脱敏处理，生成与每个业务级别对应的日志流；

将每个业务级别对应的日志流按照预设存储方式存储至搜

可选的，如图9所示，上述分析模块630，包括：

发送单元631，用于向搜索引擎发送数据查询请求，数据查询请求包括日志标识；

第一接收单元632，用于接收搜索引擎发送的日志标识对应的查询结果信息，查询结果信息用于指示在第一预设时间内接收到日志标识对应的日志流的条数和业务级别；

生成单元633，用于基于在第一预设时间内接收到日志标识对应的日志流的条数和业务级别，按照预设的告警规则生成告警推送结果。

可选的，上述生成单元633，具体用于：

基于在第一预设时间内接收到日志标识对应的日志流的条数和业务级别，确定计数值；

在第二预设时间内累计计数值，得到计数值之和，第二预设时间大于第一预设时间；

当计数值之和大于预设阈值时，生成告警推送结果。

可选的，上述生成单元633，还用于：

获取与每个业务级别对应的数据维度权重值；

对业务级别对应的日志流的条数和对应的数据维度权重值进行加权求和处理，确定计数值。

可选的，上述执行模块640，包括：

第二接收单元641，用于接收处理操作指令，处理操作指令中携带有基于告警推送结果确定的处理类型；

执行单元642，用于响应于处理操作指令，执行与处理类型对应的处理操作。

可选的，数据传输模块610，具体用于：

采集业务系统的日志数据并统一日志数据的数据格式；

确定统一数据格式的日志数据的业务级别；

根据业务级别，将对应的日志数据发送至消息分发中间件；

通过消息分发中间件将日志数据传输至实时流计算组件。

本申请实施例提供的业务日志的处理装置，数据传输模块通过采集业务系统的日志数据并通过消息分发中间件传输至实时流计算组件，并使用存储模块先通过实时流计算组件对日志数据进行预处理，生成与每种业务级别对应的日志流并存储至搜索引擎，然后通过分析模块根据预设的告警规则，对搜索引擎上的日志流进行分析，生成告警推送结果，通过执行模块基于告警推送结果执行对应的处理操作。该技术方案能够通过预设的告警规则自动发现日志流中存在的业务问题，从而能够提前预判故障发生的可能性，使得准确生成告警推送结果，并通过基于告警推送结果执行对应的处理操作，能够及时对故障问题进行处理，进而提高了业务的处理效率。

另一方面，本申请实施例提供的设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如上述的业务日志的处理方法。

下面参考图10，图10为本申请实施例的终端设备的计算机系统的结构示意图。

如图10所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分703加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分703从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器，包括：数据传输模块、存储模块、分析模块及执行模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，数据传输模块还可以被描述为“用于采集业务系统的日志数据并通过消息分发中间件传输至实时流计算组件，所述日志数据包括至少一种业务级别”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于本申请的业务日志的处理方法：

采集业务系统的日志数据并通过消息分发中间件传输至实时流计算组件，所述日志数据包括至少一种业务级别；

通过所述实时流计算组件对所述日志数据进行预处理，生成与每个所述业务级别对应的日志流并存储至搜索引擎；

根据预设的告警规则，对所述搜索引擎上的日志流进行分析，生成告警推送结果；

基于所述告警推送结果执行对应的处理操作。

综上所述，本申请实施例提供的业务日志的处理方法、装置、设备及存储介质，通过采集业务系统的日志数据并通过消息分发中间件传输至实时流计算组件，并通过实时流计算组件对日志数据进行预处理，生成与每种业务级别对应的日志流并存储至搜索引擎，然后根据预设的告警规则，对搜索引擎上的日志流进行分析，生成告警推送结果，基于告警推送结果执行对应的处理操作。该技术方案能够通过预设的告警规则自动发现日志流中存在的业务问题，从而能够提前预判故障发生的可能性，使得准确生成告警推送结果，并通过基于告警推送结果执行对应的处理操作，能够及时对故障问题进行处理，进而提高了业务的处理效率。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。