一种基于kafka集群的区块链跨链监管方法、系统及装置

技术领域

本发明属于区块链技术领域，具体涉及一种基于kafka集群的区块链跨链监管方法、系统及装置。

背景技术

区块链跨链技术是实现区块链互联互通、提升区块链互操作性与可扩展性的重要技术手段，跨链技术已有一定程度的应用效果，但在实际应用中仍有不少问题，在跨链治理的监管友好及系统集成等多个方面仍待研究。

在跨链治理方面，随着区块链应用的深入，多链之间互通访问需求使得监管治理也要从单一链内监管转向多链跨链监管。目前，针对监管以及跨链治理监管方面的相关研究尚少，让诸多区块链平台成为洗钱等不法行为工具。跨链将承担大量数据交互任务。亟需在构建跨链准入有据、权限可控、身份可溯、奖惩分明、监管友好的治理体系的同时，构建一套完整的跨链对象监管系统。

kafka是一种高吞吐量的分布式发布-订阅模式的消息系统(消息引擎系统)，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览、搜索等)是现代网络上的许多社会功能的一个关键因素。这些数据通常是由于高吞吐量的要求而通过处理日志和日志聚合来解决，可通过kafka集群来提供实时的消息。消息的发送与接收方不直接对接，而是通过kafka这一中间件实现消息传递，实现对大流量的削峰填谷。在Kafka集群中，没有“中心主节点”的概念，集群中所有的节点都是对等的，具有高水平扩展和高吞吐量的特点。

Flink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。Flink功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink不仅可以运行在多种资源管理框架上，还支持在裸机集群上独立部署。在启用高可用选项的情况下，它不存在单点失效问题。Flink已经可以扩展到数千核心，其状态可以达到TB级别，且仍能保持高吞吐、低延迟的特性。世界各地有很多要求严苛的流处理应用都运行在Flink之上。

在区块链领域，kafka集群可作为消息传递的新形式，通过大流量削峰填谷实现对大数据的分流，Flink集群可对流数据进行实时处理。目前，亟需一种方法集成上述技术，构建完整的跨链对象监管系统，规范跨链对象监管治理流程。

发明内容

鉴于上述，本发明提供一种基于kafka集群的区块链跨链监管方法及系统，针对跨链对象监管治理方面的问题，提出基于kafka集群和flink集群的跨链对象监管方法，通过kafka集群进行消息传递实现对大数据的分流，并通过flink集群实时处理流数据，综合异常检测等方法，构建完整的跨链对象监管系统，进一步监督及规范跨链对象监管治理流程。

依据本发明的一个方面，提供一种基于kafka集群的区块链跨链监管方法，具体内容包括：

1)区块链监管节点通过可信监管组件从区块链网络中采集关键数据，将关键数据信息投递到kafka集群中，并对链上行为进行管控；

2)Flink集群订阅kafka中的数据流，针对Flink读入的Kafka中的实时数据进行数据预处理，执行实时检测作业，对异常行为进行检测，推送计算结果；

3)将检测结果及关键数据在Mysql数据库表中持久化存储，并通过面向监管部门提供统一的人机接口实现链上数据监管可视化。

所述内容1)的具体实现方法如下：

区块链监管节点通过可信监管组件从区块链网络中采集关键数据，关键数据包括系统和业务两个维度，针对系统级数据，通过订阅区块产生消息，对区块对象进行解析和统计，实时获取该部分信息，其中，所述系统级数据至少包括节点、区块、账户、合约；

针对业务数据，通过扩展执行虚拟机与合约库函数，提供一种预定义业务规则的智能合约监视方式，业务合约埋点在运行时自动向监管组件汇报关键数据，其中，所述业务数据至少包括智能合约的业务行为、业务合约的运行信息；

将关键数据信息投递到kafka集群中；

基于预编译的系统级监管合约，维护配置信息，所述配置信息至少包括黑名单、业务规则、业务合约，并基于所述配置信息，在合约虚拟机执行生命周期中执行拦截校验，阻断监管合约黑名单中的账户交易，实现对链上行为进行管控。

所述内容2)的具体实现方法如下：

Flink集群订阅kafka集群中的数据流，针对Flink读入的Kafka中的实时数据，进行转化与封装，过滤掉不需要的字段；

设置时间窗口长度，将数据流划分给所述时间窗口，通过Group算子进行分组，计算各组内每个用户的行为特征，将数据流给下游异常检测模型消费；

通过HTM算法或RRCF算法无监督型方法，构建异常检测模型，根据实时获取的数据对用户行为统计数据进行建模分析；

其中，HTM算法模拟人脑学习机制，学习输入数据的时间与空间特征，进行数据的实时预测，设置衡量预测结果偏差的指标，进行异常检测，输出结果；RRCF算法对孤立森林算法进行改进，动态增删节点调整树模型，将节点带给树的整体偏移程度作为异常指标，进行异常检测，输出结果；

使用flink集群的sink算子对异常检测的输出结果进行封装，将实时检测结果持久化存储至MySQL数据库中。

所述内容3)的具体实现方法如下：

面向监管部门提供统一的人机接口，包括数据展示和管控接入；

其中，数据展示部分通过可视化方法展示区块链系统基础数据，业务合约，异常检测结果等信息；

其中，管控接入部分集成可信监管组件的远程调用接口，支持异常情景下的应急响应。

依据本发明的另一个方面，提供一种区块链跨链监管系统，包括链上数据监管模块、行为检测模块及链上数据监管可视化模块：

所述链上数据监管模块，包括链上数据采集与链上行为管控功能，具体功能为：

1)区块链监管节点通过可信监管组件从区块链网络中采集关键数据，关键数据包括系统和业务两个维度，针对系统级数据，通过订阅区块产生消息，对区块对象进行解析和统计，实时获取该部分信息，其中，所述系统级数据至少包括节点、区块、账户、合约，针对业务数据，通过扩展执行虚拟机与合约库函数，提供一种预定义业务规则的智能合约监视方式，业务合约埋点在运行时自动向监管组件汇报关键数据，其中，所述业务数据至少包括智能合约的业务行为、业务合约的运行信息；

2)将关键数据信息投递到kafka集群中

3)基于预编译的系统级监管合约，维护配置信息，所述配置信息至少包括黑名单、业务规则、业务合约，并基于所述配置信息，在合约虚拟机执行生命周期中执行拦截校验，阻断监管合约黑名单中的账户交易，实现对链上行为进行管控；

所述行为检测模块，包括数据预处理、实时异常检测、计算结果推送等功能:

1)数据预处理：Flink集群订阅kafka集群中的数据流，针对Flink读入的Kafka中的数据，进行转化与封装，过滤掉不需要的字段，设置时间窗口长度，将数据流划分给所述时间窗口，通过Group算子进行分组，计算各组内每个用户的行为特征，将数据流给下游异常检测模型消费；

2)实时异常检测：通过HTM算法或RRCF算法无监督型方法，构建异常检测模型，根据实时获取的数据对用户行为统计数据进行建模分析，HTM算法模拟人脑学习机制，学习输入数据的时间与空间特征，进行数据的实时预测，设置衡量预测结果偏差的指标，进行异常检测，输出结果，RRCF算法对孤立森林算法进行改进，动态增删节点调整树模型，将节点带给树的整体偏移程度作为异常指标，进行异常检测，输出结果。

3)计算结果推送：使用flink集群的sink算子对异常检测的输出结果进行封装，将实时检测结果持久化存储至MySQL数据库中；

所述链上数据监管可视化模块，包括：面向监管部门提供统一的人机接口，包括数据展示和管控接入，其中，数据展示部分通过可视化方法展示区块链系统基础数据，业务合约，异常检测结果等信息，管控接入部分集成可信监管组件的远程调用接口，支持异常情景下的应急响应。

依据本发明的另一个方面，提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，处理器执行所述一个或多个程序时，实现上述方法。

依据本发明的另一个方面，提供一种区块链跨链监管装置，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述方法。

本发明有益效果：本发明提出基于kafka集群和flink集群的跨链对象监管方法及系统，通过kafka集群进行消息传递实现对大数据的分流，并通过flink集群实时处理流数据，综合异常检测等方法，实现实时检测异常，准确而快速发现异常，可帮助规避很多风险，综合上述，构建完整的跨链对象监管系统，进一步监督及规范跨链对象监管治理流程。

附图说明

图1为区块链跨链监管原型系统技术架构图；

图2为区块链跨链监管方法流程示意图；

图3为区块链跨链监管系统模块示意图。

具体实施例

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，可依照说明书的内容予以实施，并且为了更清晰的阐明本发明的上述和其他目的、特征和优点，以下结合附图及具体实施方式对本发明作进一步详细说明。

实施例1：

一种基于kafka集群的区块链跨链监管方法，如图1所示，包括以下步骤：

S100、区块链监管节点通过可信监管组件从区块链网络中采集关键数据，将关键数据信息投递到kafka集群中，并对链上行为进行管控；

S200、Flink集群订阅kafka中的数据流，针对Flink读入的Kafka中的实时数据进行数据预处理，执行实时检测作业，对异常行为进行检测，推送计算结果；

S300、将检测结果及关键数据在Mysql数据库表中持久化存储，并通过面向监管部门提供统一的人机接口实现链上数据监管可视化。

所述步骤S100的具体实现方法如下：

区块链监管节点通过可信监管组件从区块链网络中采集关键数据，关键数据包括系统和业务两个维度，针对系统级数据，通过订阅区块产生消息，对区块对象进行解析和统计，实时获取该部分信息，其中，所述系统级数据至少包括节点、区块、账户、合约；

针对业务数据，通过扩展执行虚拟机与合约库函数，提供一种预定义业务规则的智能合约监视方式，业务合约埋点在运行时自动向监管组件汇报关键数据，其中，所述业务数据至少包括智能合约的业务行为、业务合约的运行信息；将关键数据信息投递到kafka集群中；

基于预编译的系统级监管合约，维护配置信息，所述配置信息至少包括黑名单、业务规则、业务合约，并基于所述配置信息，在合约虚拟机执行生命周期中执行拦截校验，阻断监管合约黑名单中的账户交易，实现对链上行为进行管控。

所述步骤S200的具体实现方法如下：

Flink集群订阅kafka集群中的数据流，针对Flink读入的Kafka中的实时数据，进行转化与封装，过滤掉不需要的字段；

设置时间窗口长度，将数据流划分给所述时间窗口，通过Group算子进行分组，计算各组内每个用户的行为特征，将数据流给下游异常检测模型消费；通过HTM算法或RRCF算法无监督型方法，构建异常检测模型，根据实时获取的数据对用户行为统计数据进行建模分析；

其中，HTM算法模拟人脑学习机制，学习输入数据的时间与空间特征，进行数据的实时预测，设置衡量预测结果偏差的指标，进行异常检测，输出结果；RRCF算法对孤立森林算法进行改进，动态增删节点调整树模型，将节点带给树的整体偏移程度作为异常指标，进行异常检测，输出结果；

使用flink集群的sink算子对异常检测的输出结果进行封装，将实时检测结果持久化存储至MySQL数据库中。

所述步骤S300的具体实现方法如下：

面向监管部门提供统一的人机接口，包括数据展示和管控接入；

其中，数据展示部分通过可视化方法展示区块链系统基础数据，业务合约，异常检测结果等信息；

其中，管控接入部分集成可信监管组件的远程调用接口，支持异常情景下的应急响应。

实施例2：

一种基于kafka集群的区块链跨链监管系统，系统建立在图2所示的技术架构上，如图3所示，包括链上数据监管模块100、行为检测模块200、链上数据监管可视化模块300；

所述链上数据监管模块100，区块链监管节点通过可信监管组件从区块链网络中采集关键数据，将关键数据信息投递到kafka集群中，并对链上行为进行管控；

所述行为检测模块200，Flink集群订阅kafka中的数据流，针对Flink读入的Kafka中的实时数据进行数据预处理，执行实时检测作业，对异常行为进行检测，推送计算结果；

所述链上数据监管可视化模块300，将检测结果及关键数据在Mysql数据库表中持久化存储，并通过面向监管部门提供统一的人机接口实现链上数据监管可视化。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。