日志手机、保存、上传的方法及系统

技术领域

本发明涉及信息处理技术领域，具体地，涉及日志手机、保存、上传的方法及系统。

背景技术

现有技术中，当需要各端设备的日志时，如市场问题或者需要日志进行数据统计等情况。例如：当需要APP的日志时，需要由用户手动点击按钮触发日志上传，对用户体验不友好。需要服务器的日志时，需要运维人员登录云服务器查看日志。并且日志明文传输过程中，任何人都可以看到日志原文，一些敏感日志容易暴露。对于第三方来说，获取日志过于依赖存储日志的各端，无法独立、完证的获取到日志。

因此，需要一种不依赖设备的日志采集上传系统，能让各端独立、完整的获得测试/线上环境的日志。

现有技术各端收集存储一定时间范围内的日志，各端收集到日志后，以文件形式存储在本地，由于各端磁盘有限，通常不会无限制存储下去，只会存储最新时间范围内的日志，如一周，一月等。当需要对应时间的日志时，运维人员连接各端设备获取日志。该现有技术存在的缺陷：时间范围有限制，当需要时间范围外的日志进行分析处理时，拿不到；同时，如果存储日志的设备宕机了，也没有那么快拿到日志。

现有技术各端收集存储一定时间范围内的日志，定期上传到日志采集系统，各端收集到日志，以文件形式存储在本地，如单个日志文件大小为1M。再由各端定期将完整的日志文件上传到日志采集系统。该现有技术存在的缺陷：日志上传过程是明文的，敏感信息很容易暴露，日志上传过程中容易被第三方劫持篡改，完整性无法保证；在日志形成文件的过程中，如果文件大小还没达到1M。则不会上传到日志采集系统。此时存储日志的设备宕机的话，则这些还没上传的日志文件只能等下次文件大小达到1M时才能触发上传。时效性无法保证；同时，日志形成文件，需要定时清除掉，否则会占用磁盘资源。

专利文献CN110932918A(申请号：201911368492.9)公开了一种日志数据采集方法、装置及存储介质，所述方法包括：通过接收各个服务节点发送的该各个服务节点对应的日志数据信息，通过解析该日志数据信息，获取该各个服务节点的基本信息以及该各个服务节点的调用状态，当该调用状态为异常状态时，获取该服务节点的运行状态信息，将各个服务节点的基本信息以及该运行状态信息作为日志信息存储在存储系统中。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种日志手机、保存、上传的方法及系统。

根据本发明提供的一种日志手机、保存、上传的方法，包括：

步骤S1：各端将日志进行预处理，得到预处理后的日志；

步骤S2：将预处理后的日志进行加密处理，得到加密后的日志；

步骤S3：将加密后的日志实时上传至日志采集系统，日志采集系统对加密后的日志进行解密处理，得到解密后的日志。

优选地，所述步骤S1采用：各端对缓存的日志进行压缩，得到压缩后的日志。

优选地，所述步骤S2采用：

步骤S2.1：各端生成非对称密钥对，并将公钥发送至日志采集系统；

步骤S2.2：日志采集系统生成证书，并将生成的证书发送至各端；

步骤S2.3：各端生成随机的对称密钥，并利用日志采集系统的证书对生成的对称密钥进行加密；

步骤S2.4：各端日志使用对称密钥进行加密，并利用各端生成的私钥进行签名。

优选地，各端对连续的日志生成日志块，对不同的日志块使用加密的对称密钥进行加密，并根据日志块序列号使用不同的IV作为偏移向量，保证对每个日志块的加密方式都不一样。

优选地，所述步骤S3采用：日志采集系统利用非对称密钥对中的公钥对加密后的日志进行解密处理，得到解密后的日志。

优选地，日志采集系统利用非对称密钥对中的公钥对加密后的日志进行解密，再根据日志块序列号算出使用的IV偏移向量解密得到解密后的日志块。

根据本发明提供的一种日志手机、保存、上传的系统，包括：

模块M1：各端将日志进行预处理，得到预处理后的日志；

模块M2：将预处理后的日志进行加密处理，得到加密后的日志；

模块M3：将加密后的日志实时上传至日志采集系统，日志采集系统对加密后的日志进行解密处理，得到解密后的日志。

优选地，所述模块M2采用：

模块M2.1：各端生成非对称密钥对，并将公钥发送至日志采集系统；

模块M2.2：日志采集系统生成证书，并将生成的证书发送至各端；

模块M2.3：各端生成随机的对称密钥，并利用日志采集系统的证书对生成的对称密钥进行加密；

模块M2.4：各端日志使用对称密钥进行加密，并利用各端生成的私钥进行签名。

优选地，所述模块M3采用：日志采集系统利用非对称密钥对中的公钥对加密后的日志进行解密处理，得到解密后的日志。

优选地，各端对连续的日志生成日志块，对不同的日志块使用加密的对称密钥进行加密，并根据日志块序列号使用不同的IV作为偏移向量，保证对每个日志块的加密方式都不一样；

日志采集系统利用非对称密钥对中的公钥对加密后的日志进行解密，再根据日志块序列号算出使用的IV偏移向量解密得到解密后的日志块。

与现有技术相比，本发明具有如下的有益效果：

1、日志实时上传，日志文件可以存储在磁盘中，也可以在缓存中实时上传，避免形成文件的过程中，服务宕机或其他原因导致上传失败。保证上传的时效性；

2、上传过程中进行加密、签名保证隐私性、完整性，防止出现日志丢失、日志替换等情况；

3、各端独立与采集系统对接，方便快捷；

4、各端独立与采集系统对接，且日志上传过程中隐私性、安全性和完整性得到了保护。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为日志手机、保存、上传的方法流程图。

图2为各端日志块示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

在现有场景下，存日志的设备需要支持文件缓存和批量上传，非常占用磁盘资源。并且日志传输中隐私性、安全性、完整性无法保证。本发明能满足各端接入的情况；以缓存或者文件存储的形式将日志打包上传到日志采集系统，规范日志输出，传输前进行压缩；同时，传输过程中进行加密签名，保证隐私性、安全性。

实施例1

根据本发明提供的一种日志手机、保存、上传的方法，如图1至2所示，包括：

步骤S1：各端将日志进行预处理，得到预处理后的日志；

步骤S2：将预处理后的日志进行加密处理，得到加密后的日志；

步骤S3：将加密后的日志实时上传至日志采集系统，日志采集系统对加密后的日志进行解密处理，得到解密后的日志。

具体地，日志在各端生成，即日志可以以缓存或者文件的形式存储在各端，可以实时上传到日志采集系统，避免形成文件的过程中，服务宕机或其他原因导致上传失败。保证上传的时效性。

具体地，所述日志采集系统可以由存储日志的设备端通过网络请求，直接将日志加密发送到日志采集系统中。

具体地，所述支持各端接入：

各端提前预置日志采集系统的证书，在用户日志传输过程中加密使用。

生成非对称密钥，将公钥上报到采集系统，在日志文件签名使用。

满足APP、云服务器等各端接入，并且能分离管制，互不交叉。

更为具体地，各端都生成对应的公私钥在系统上配置，系统需要对各端统一管理。

具体地，规范日志输出，并对日志进行压缩、缓存：

各端收集日志需要先持续缓存，再写入到文件中。通常来说，日志都是尽量收集的比较全，需要各端运维人员定期进行日志清理，不然会非常占用磁盘资源。且一般日志都含有大量的重复文本，因此需要对缓存的日志进行压缩成JSON字符串，并使用压缩的格式(去除空格和换行)，最大的降低日志的大小。使用支持流式处理，支持flush的压缩算法。即保证日志边生成，边压缩。压缩的同时并逐条缓存日志。同时将日志逐条保存，立即更新到缓存。

具体地，上传过程进行加密并且签名：

在日志传输中，对传输的数据进行加密，如不加密，第三方截取到，可以直接以明文形式看到日志，如果设计到公司机密数据，就都暴露了。并且加密后对数据进行签名再上传，防止出现日志丢失、日志替换等情况。

更为具体地，各端对连续的日志生成日志块，对同一文件中的日志块加密使用连续的加密流程。

在数据处理过程中，先生成随机的对称密钥，该密钥使用日志采集系统的证书进行加密，保证只有日志采集系统能够解密出此对称密钥。再用各端自身的非对称密钥对加密后的文件头进行签名，保证文件头数据上传的完整性。日志采集系统可以使用各端提前预置的公钥进行签名验证。即此对称密钥可以安全、私密、完整的被日志采集系统所获取到。

对不同的日志块使用对称密钥加密，并且根据日志块序列号使用不同的IV作为偏移向量(如根据日志块序列号依次+1等)。保证对每个日志块的加密方式都不一样。

因为是对每个日志块进行了数据加密处理，所以日志块可以单个上传，也可以整合一起上传。日志采集系统只需要解密得到对称密钥，再根据日志块序列号算出使用的IV偏移向量，便可以解密出各个日志块的内容。

根据本发明提供的一种日志手机、保存、上传的系统，包括：

模块M1：各端将日志进行预处理，得到预处理后的日志；

模块M2：将预处理后的日志进行加密处理，得到加密后的日志；

模块M3：将加密后的日志实时上传至日志采集系统，日志采集系统对加密后的日志进行解密处理，得到解密后的日志。

具体地，日志在各端生成，即日志可以以缓存或者文件的形式存储在各端，可以实时上传到日志采集系统，避免形成文件的过程中，服务宕机或其他原因导致上传失败。保证上传的时效性。

具体地，所述日志采集系统可以由存储日志的设备端通过网络请求，直接将日志加密发送到日志采集系统中。

具体地，所述支持各端接入：

各端提前预置日志采集系统的证书，在用户日志传输过程中加密使用。

生成非对称密钥，将公钥上报到采集系统，在日志文件签名使用。

满足APP、云服务器等各端接入，并且能分离管制，互不交叉。

更为具体地，各端都生成对应的公私钥在系统上配置，系统需要对各端统一管理。

具体地，规范日志输出，并对日志进行压缩、缓存：

各端收集日志需要先持续缓存，再写入到文件中。通常来说，日志都是尽量收集的比较全，需要各端运维人员定期进行日志清理，不然会非常占用磁盘资源。且一般日志都含有大量的重复文本，因此需要对缓存的日志进行压缩成JSON字符串，并使用压缩的格式(去除空格和换行)，最大的降低日志的大小。使用支持流式处理，支持flush的压缩算法。即保证日志边生成，边压缩。压缩的同时并逐条缓存日志。同时将日志逐条保存，立即更新到缓存。

具体地，上传过程进行加密并且签名：

在日志传输中，对传输的数据进行加密，如不加密，第三方截取到，可以直接以明文形式看到日志，如果设计到公司机密数据，就都暴露了。并且加密后对数据进行签名再上传，防止出现日志丢失、日志替换等情况。

更为具体地，各端对连续的日志生成日志块，对同一文件中的日志块加密使用连续的加密流程。

在数据处理过程中，先生成随机的对称密钥，该密钥使用日志采集系统的证书进行加密，保证只有日志采集系统能够解密出此对称密钥。再用各端自身的非对称密钥对加密后的文件头进行签名，保证文件头数据上传的完整性。日志采集系统可以使用各端提前预置的公钥进行签名验证。即此对称密钥可以安全、私密、完整的被日志采集系统所获取到。

对不同的日志块使用对称密钥加密，并且根据日志块序列号使用不同的IV作为偏移向量(如根据日志块序列号依次+1等)。保证对每个日志块的加密方式都不一样。

因为是对每个日志块进行了数据加密处理，所以日志块可以单个上传，也可以整合一起上传。日志采集系统只需要解密得到对称密钥，再根据日志块序列号算出使用的IV偏移向量，便可以解密出各个日志块的内容。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。