一种数据交换共享方法、系统、设备和存储介质

技术领域

本申请涉及数据处理领域，特别是涉及一种数据交换共享方法、系统和存储介质。

背景技术

在城市轨道交通安全生产网内，存在很多和城轨运营管理强相关的专业，比如车辆、信号、供电等。传统模式下，上述各个系统之间数据存在数据共享壁垒，对于数据的采集、传输、存储、安全、分析、管理、和服务标准不统一。

此外，在数据交换和共享领域，已经有不少的方法和系统，但是很多都是基于关系型数据库的技术，对应的数据采集、传输、存储的技术也都不是基于分布式的技术去实现的，对于数据安全，和数据服务方面几乎都没有做到可视化、配置式开发。

发明内容

基于此，有必要针对上述技术问题，提供一种数据交换共享方法、系统、设备和存储介质。

第一方面，本发明实施例提供了一种数据交换共享方法，该方法包括：

通过数据共享平台的统一授权，针对具备数据采集权限的用户，对所述数据共享平台中配置好的数据源进行数据采集；

根据数据采集的结果，并通过数据所属的源系统，按照业务的类别写入到不同的数据消息队列，再写入到所述数据共享平台的不同类型存储中；

利用配置式的开发页面，从所述数据消息队列中进行数据消费，并将不同专业的数据按照各专业数据类型，存储到不同类型的存储组件中；

根据数据存储环节产生的元数据信息，进行数据服务的在线发布，并对在线数据服务的监控和管理功能提供服务。

进一步的，所述通过数据共享平台的统一授权，针对具备数据采集权限的用户，对所述数据共享平台中配置好的数据源进行数据采集，包括：

在所述数据共享平台中配置好需要采集的数据源信息，并进行保存；

在所述数据共享平台中配置消息队列的数据主题，用于传输采集到的数据；

进入到数据采集作业配置页面，配置需要采集数据的数据源，配置采集后的数据需要的传输队列，配置数据采集的方式，保存数据采集作业；

启动对应的数据采集作业，完成对不同数据源的数据采集作业。

进一步的，所述根据数据采集的结果，并通过数据所属的源系统，按照业务的类别写入到不同的数据消息队列，再写入到所述数据共享平台的不同类型存储中，包括：

在所述数据共享平台中对消息队列进行主体创建，平台会记录对应消息主题的信息；

在数据采集作业配置过程中，根据需要选取采集后的数据发送到对应的消息队列的所述消息主题；

在启动数据采集作业之后，数据自动存储到配置好的所述消息主题。

进一步的，所述利用配置式的开发页面，从所述数据消息队列中进行数据消费，并将不同专业的数据按照各专业数据类型，存储到不同类型的存储组件中，包括：

建立数据存储的目标地址信息，并完成数据目标地址的联通性测试；

在所述数据共享平台中配置对应的数据处理作业，选中消息队列需要保存的数据，设置数据处理作业需要将数据存储的目标地址信息；

选择数据存储作业需要用到的计算引擎，配置数据处理的规则，保存数据处理作业；

在数据处理作业监控页面启动数据处理作业，对消息队列中不同类型数据的处理和存储。

进一步的，所述根据数据存储环节产生的元数据信息，进行数据服务的在线发布，并对在线数据服务的监控和管理功能提供服务，包括：

在所述数据共享平台中配置各类目标存储的信息，验证数据存储驱动是否正常，并主动拉去数据存储的元数据信息，对元数据信息进行保存；

对各个存储组件的元数据信息进行编排，提供统一的结构化查询语言编写人机交互页面，根据所需不同数据源的数据进行结构化查询语言编制，并配置入参、出参、调用方式；

通过统一结构化查询语言转化引擎，自动将标准结构化查询语言转化成不同存储组件内部能够执行的结构化查询语言，动态形成数据接口服务；

将服务接口服务注册到数据服务器总线，提供给第三方调用，在数据服务监控页面实现对发布的数据服务的状态进行监控。

进一步的，还包括覆盖数据采集、数据传输、数据存储、数据服务的数据安全管理，所述数据安全管理通过所述数据共享平台统一授权。

另一方面，本发明实施例还提供了一种数据交换共享系统，包括：

数据采集模块，用于通过数据共享平台的统一授权，针对具备数据采集权限的用户，对所述数据共享平台中配置好的数据源进行数据采集；

数据传输模块，用于根据数据采集的结果，并通过数据所属的源系统，按照业务的类别写入到不同的数据消息队列，再写入到所述数据共享平台的不同类型存储中；

数据存储模块，用于利用配置式的开发页面，从所述数据消息队列中进行数据消费，并将不同专业的数据按照各专业数据类型，存储到不同类型的存储组件中；

数据服务模块，用于根据数据存储环节产生的元数据信息，进行数据服务的在线发布，并对在线数据服务的监控和管理功能提供服务。

进一步的，所述数据交换共享系统还包括数据安全管理模块，所述数据安全管理模块覆盖数据采集、数据传输、数据存储、数据服务，所述数据安全管理通过所述数据共享平台统一授权。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

通过数据共享平台的统一授权，针对具备数据采集权限的用户，对所述数据共享平台中配置好的数据源进行数据采集；

根据数据采集的结果，并通过数据所属的源系统，按照业务的类别写入到不同的数据消息队列，再写入到所述数据共享平台的不同类型存储中；

利用配置式的开发页面，从所述数据消息队列中进行数据消费，并将不同专业的数据按照各专业数据类型，存储到不同类型的存储组件中；

根据数据存储环节产生的元数据信息，进行数据服务的在线发布，并对在线数据服务的监控和管理功能提供服务。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

通过数据共享平台的统一授权，针对具备数据采集权限的用户，对所述数据共享平台中配置好的数据源进行数据采集；

根据数据采集的结果，并通过数据所属的源系统，按照业务的类别写入到不同的数据消息队列，再写入到所述数据共享平台的不同类型存储中；

利用配置式的开发页面，从所述数据消息队列中进行数据消费，并将不同专业的数据按照各专业数据类型，存储到不同类型的存储组件中；

根据数据存储环节产生的元数据信息，进行数据服务的在线发布，并对在线数据服务的监控和管理功能提供服务。

上述数据交换共享方法、系统、设备和存储介质，本发明实施例主要是面向城轨安全生产网提供一种数据交换和共享，解决在城市轨道交通安全生产网内数据交换和共享的问题，并为各个专业提供统一的数据采集、传输、存储、安全、服务的数据管理全生命周期的解决方案。其中，包含了即兼容实时又兼容离线、即兼容传统关系型数据库，又兼容大数据平台的数据采集组件。还包含了能够对主流关系型数据库，非关系型数据库和大数据平台存储组件元数据进行管理的组件。此外，针对消息队列中的数据进行配置式生产、消费数据的组件，支持将数据消费结果自动输出到不同的存储的功能。本发明实施例还提供了一种对于存储到系统中的数据进行细粒度权限管控的组件，并提供了一种基于系统存储的数据进行数据服务线上热发布、监控、管理的组件。本发明实施例的数据集成、数据存储、数据服务模块支持多种主流数据源的适配，具备高扩展性，可以通过增加插件方式添加对新型数据源的适配。本发明实施例可以有效解决城轨行业内部各专业系统之间的数据壁垒，快速实现各专业之间数据的安全交互共享，同时可以应用到各类需要进行数据交换共享的场景。

附图说明

图1为一个实施例中数据交换共享方法的流程示意图；

图2为一个实施例中对数据采集的流程示意图；

图3为一个实施例中对数据传输执行的流程示意图；

图4为一个实施例中数据存储的流程示意图；

图5为一个实施例中数据服务的流程示意图；

图6为一个实施例中数据交换共享系统的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种数据交换共享方法，所述方法包括：

步骤101，通过数据共享平台的统一授权，针对具备数据采集权限的用户，对所述数据共享平台中配置好的数据源进行数据采集；

步骤102，根据数据采集的结果，并通过数据所属的源系统，按照业务的类别写入到不同的数据消息队列，再写入到所述数据共享平台的不同类型存储中；

步骤103，利用配置式的开发页面，从所述数据消息队列中进行数据消费，并将不同专业的数据按照各专业数据类型，存储到不同类型的存储组件中；

步骤104，根据数据存储环节产生的元数据信息，进行数据服务的在线发布，并对在线数据服务的监控和管理功能提供服务。

具体地，本实施例这种数据交换共享方法，主要是面向城轨安全生产网提供一种数据交换和共享，解决在城市轨道交通安全生产网内数据交换和共享的问题，并为各个专业提供统一的数据采集、传输、存储、安全、服务的数据管理全生命周期的解决方案。

其中，包含了即兼容实时又兼容离线、即兼容传统关系型数据库，又兼容大数据平台的数据采集组件。还包含了能够对主流关系型数据库，非关系型数据库和大数据平台存储组件元数据进行管理的组件。本发明实施例的数据集成、数据存储、数据服务模块支持多种主流数据源的适配，具备高扩展性，可以通过增加插件方式添加对新型数据源的适配。本发明实施例可以有效解决城轨行业内部各专业系统之间的数据壁垒，快速实现各专业之间数据的安全交互共享，同时可以应用到各类需要进行数据交换共享的场景。

在一个实施例中，如图2所示，对数据采集的流程包括以下步骤：

步骤201，在所述数据共享平台中配置好需要采集的数据源信息，并进行保存；

步骤202，在所述数据共享平台中配置消息队列的数据主题，用于传输采集到的数据；

步骤203，进入到数据采集作业配置页面，配置需要采集数据的数据源，配置采集后的数据需要的传输队列，配置数据采集的方式，保存数据采集作业；

步骤204，启动对应的数据采集作业，完成对不同数据源的数据采集作业。

具体地，在数据采集方面，本方法采用BS架构的数据ETL工具，能够适配各类传统关系型数据源，如Oracle、Mysql、SQLServer，同时也支持 Hbase、Hive等分布式数据源，针对离线数据，该系统支持对源端系统进行增量和全量数据抽取作业，针对实时数据，该系统支持对Socket、 WebSocket、Kafka等实时数据源进行数据采集作业，离线和实时的数据采集作业，在系统中配置好后，会自动在底层的大数据平台之上，提交分布式数据ETL任务，完成数据的ETL，同时会记录各个源系统所包含的元数据信息，并提供各个数据源系统的元数据进行管理的功能。丰富的数据库类型接入，包括主流的关系型、非关系型数据库以及分布式数据库，能将业务系统数据对接到平台中，提供后续建模分析使用，同时也支持通过接入其他数据库驱动的方式自定义数据库。

在一个实施例中，如图3所示，对数据传输执行的流程包括：

步骤301，在所述数据共享平台中对消息队列进行主体创建，平台会记录对应消息主题的信息。

步骤302，在数据采集作业配置过程中，根据需要选取采集后的数据发送到对应的消息队列的所述消息主题；

步骤303，在启动数据采集作业之后，数据自动存储到配置好的所述消息主题。

具体地，在数据传输过程中，针对消息队列中的数据进行配置式生产、消费数据的组件，支持将数据消费结果自动输出到不同的存储的功能。其中，通过采集作业抽取到的数据，会根据数据所属源系统，按照业务不同写入到不同的数据消息队列，最终写入到数据共享平台的不容类型存储中。

在一个实施例中，如图4所示，对数据存储的流程包括：

步骤401，建立数据存储的目标地址信息，并完成数据目标地址的联通性测试；

步骤402，在所述数据共享平台中配置对应的数据处理作业，选中消息队列需要保存的数据，设置数据处理作业需要将数据存储的目标地址信息；

步骤403，选择数据存储作业需要用到的计算引擎，配置数据处理的规则，保存数据处理作业；

步骤404，在数据处理作业监控页面启动数据处理作业，对消息队列中不同类型数据的处理和存储。

具体地，本实施例提供了一种对于存储到系统中的数据进行细粒度权限管控的组件，并提供了一种基于系统存储的数据进行数据服务线上热发布、监控、管理的组件。其中，系统提供配置式的开发页面，从数据消息队列中进行数据消费，并将不同专业的数据按照各专业数据类型，存储到不同类型的存储组件中。在平台中配置对应的数据处理作业，选中消息队列需要保存的数据，设置数据处理作业需要将数据存储的目标地址信息，选择数据存储作业需要用到的计算引擎，配置数据处理的规则(对于复杂数据处理逻辑，支持调用第三方jar包的方式来实现)，目前支持flink、 spark、KafkaStreaming、独立Java进程几种模式，保存数据处理作业。

在一个实施例中，如图5所示，对数据服务的流程包括：

步骤501，在所述数据共享平台中配置各类目标存储的信息，验证数据存储驱动是否正常，并主动拉去数据存储的元数据信息，对元数据信息进行保存；

步骤502，对各个存储组件的元数据信息进行编排，提供统一的结构化查询语言编写人机交互页面，根据所需不同数据源的数据进行结构化查询语言编制，并配置入参、出参、调用方式；

步骤503，通过统一结构化查询语言转化引擎，自动将标准结构化查询语言转化成不同存储组件内部能够执行的结构化查询语言，动态形成数据接口服务；

步骤504，将服务接口服务注册到数据服务器总线，提供给第三方调用，在数据服务监控页面实现对发布的数据服务的状态进行监控。

本实施例提供统一的数据服务API发布页面，根据数据存储环节产生的新的数据的元数据信息，进行数据服务的在线发布，并提供对在线数据服务的监控和管理功能，对于数据安全管理而言，在数据采集方面，通过平台统一授权，只有具备数据采集权限的用户，才能对平台中配置好的数据源进行数据采集，数据采集的权限控制可以根据需要进行调整，可以是数据源级别，可以是表级别，也可是表中具体的字段。在数据传输方面，通过平台统一授权，只有授权用户才能将采集的数据发送到消息队列对应的主题，同时也只有授权的用户才能对消息队列中的数据进行数据消费。在数据存储方面，平台提供统一的数据写入权限控制功能，授权用户才有对应数据存储组件的写入权限。在数据服务方面，两个层面，一个是数据服务创建的权限控制，平台具备对特定用户进行服务创建和发布的权限控制功能，在数据服务消费方面，只允许授权的用户才能够对数据服务进行调用。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种数据交换共享系统，包括：

数据采集模块601，用于通过数据共享平台的统一授权，针对具备数据采集权限的用户，对所述数据共享平台中配置好的数据源进行数据采集；

数据传输模块602，用于根据数据采集的结果，并通过数据所属的源系统，按照业务的类别写入到不同的数据消息队列，再写入到所述数据共享平台的不同类型存储中；

数据存储模块603，用于利用配置式的开发页面，从所述数据消息队列中进行数据消费，并将不同专业的数据按照各专业数据类型，存储到不同类型的存储组件中；

数据服务模块604，用于根据数据存储环节产生的元数据信息，进行数据服务的在线发布，并对在线数据服务的监控和管理功能提供服务。

在一个实施例中，数据交换共享系统还包括数据安全管理模块，所述数据安全管理模块覆盖数据采集、数据传输、数据存储、数据服务，所述数据安全管理通过所述数据共享平台统一授权。

关于数据交换共享系统的具体限定可以参见上文中对于数据交换共享方法的限定，在此不再赘述。上述数据交换共享系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图7示出了一个实施例中计算机设备的内部结构图。如图7所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现数据交换共享方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行数据交换共享方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

通过数据共享平台的统一授权，针对具备数据采集权限的用户，对所述数据共享平台中配置好的数据源进行数据采集；

根据数据采集的结果，并通过数据所属的源系统，按照业务的类别写入到不同的数据消息队列，再写入到所述数据共享平台的不同类型存储中；

利用配置式的开发页面，从所述数据消息队列中进行数据消费，并将不同专业的数据按照各专业数据类型，存储到不同类型的存储组件中；

根据数据存储环节产生的元数据信息，进行数据服务的在线发布，并对在线数据服务的监控和管理功能提供服务。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

在所述数据共享平台中配置好需要采集的数据源信息，并进行保存；

在所述数据共享平台中配置消息队列的数据主题，用于传输采集到的数据；

进入到数据采集作业配置页面，配置需要采集数据的数据源，配置采集后的数据需要的传输队列，配置数据采集的方式，保存数据采集作业；

启动对应的数据采集作业，完成对不同数据源的数据采集作业。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

在所述数据共享平台中对消息队列进行主体创建，平台会记录对应消息主题的信息。

在数据采集作业配置过程中，根据需要选取采集后的数据发送到对应的消息队列的所述消息主题；

在启动数据采集作业之后，数据自动存储到配置好的所述消息主题。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

建立数据存储的目标地址信息，并完成数据目标地址的联通性测试；

在所述数据共享平台中配置对应的数据处理作业，选中消息队列需要保存的数据，设置数据处理作业需要将数据存储的目标地址信息；

选择数据存储作业需要用到的计算引擎，配置数据处理的规则，保存数据处理作业；

在数据处理作业监控页面启动数据处理作业，对消息队列中不同类型数据的处理和存储。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

在所述数据共享平台中配置各类目标存储的信息，验证数据存储驱动是否正常，并主动拉去数据存储的元数据信息，对元数据信息进行保存；

对各个存储组件的元数据信息进行编排，提供统一的结构化查询语言编写人机交互页面，根据所需不同数据源的数据进行结构化查询语言编制，并配置入参、出参、调用方式；

通过统一结构化查询语言转化引擎，自动将标准结构化查询语言转化成不同存储组件内部能够执行的结构化查询语言，动态形成数据接口服务；

将服务接口服务注册到数据服务器总线，提供给第三方调用，在数据服务监控页面实现对发布的数据服务的状态进行监控。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

通过数据共享平台的统一授权，针对具备数据采集权限的用户，对所述数据共享平台中配置好的数据源进行数据采集；

根据数据采集的结果，并通过数据所属的源系统，按照业务的类别写入到不同的数据消息队列，再写入到所述数据共享平台的不同类型存储中；

利用配置式的开发页面，从所述数据消息队列中进行数据消费，并将不同专业的数据按照各专业数据类型，存储到不同类型的存储组件中；

根据数据存储环节产生的元数据信息，进行数据服务的在线发布，并对在线数据服务的监控和管理功能提供服务。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

在所述数据共享平台中配置好需要采集的数据源信息，并进行保存；

在所述数据共享平台中配置消息队列的数据主题，用于传输采集到的数据；

进入到数据采集作业配置页面，配置需要采集数据的数据源，配置采集后的数据需要的传输队列，配置数据采集的方式，保存数据采集作业；

启动对应的数据采集作业，完成对不同数据源的数据采集作业。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

在所述数据共享平台中对消息队列进行主体创建，平台会记录对应消息主题的信息。

在数据采集作业配置过程中，根据需要选取采集后的数据发送到对应的消息队列的所述消息主题；

在启动数据采集作业之后，数据自动存储到配置好的所述消息主题。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

建立数据存储的目标地址信息，并完成数据目标地址的联通性测试；

在所述数据共享平台中配置对应的数据处理作业，选中消息队列需要保存的数据，设置数据处理作业需要将数据存储的目标地址信息；

选择数据存储作业需要用到的计算引擎，配置数据处理的规则，保存数据处理作业；

在数据处理作业监控页面启动数据处理作业，对消息队列中不同类型数据的处理和存储。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

在所述数据共享平台中配置各类目标存储的信息，验证数据存储驱动是否正常，并主动拉去数据存储的元数据信息，对元数据信息进行保存；

对各个存储组件的元数据信息进行编排，提供统一的结构化查询语言编写人机交互页面，根据所需不同数据源的数据进行结构化查询语言编制，并配置入参、出参、调用方式；

通过统一结构化查询语言转化引擎，自动将标准结构化查询语言转化成不同存储组件内部能够执行的结构化查询语言，动态形成数据接口服务；

将服务接口服务注册到数据服务器总线，提供给第三方调用，在数据服务监控页面实现对发布的数据服务的状态进行监控。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。