用于数据可视化的多源异构数据适配方法、系统及设备
文献发布时间：2024-04-18 20:01:55
技术领域
本发明涉及通信技术领域，特别是用于数据可视化的多源异构数据适配方法、系统及设备。
背景技术
随着大数据技术的不断发展，对于大数据的有效利用已赋能于各行各业。其中，对有效数据的可视化是大数据应用中最基本、最直观的一部分。在多数据源接入进行数据可视化的场景中，多源异构数据适配是不可避免的。现有的多源异构数据适配多数是基于基于大数据平台的高成本解决方案，且一般是对数据源原始数据的数据适配，适配规则较为固定，不支持适配规则的自定义配置。而且在数据可视化场景中，对于各可视化视图组件都有各自的数据适配要求及返回格式要求，则基于视图层的灵活数据适配控制显的尤为重要。
对比文件1：CN111857659A，其提出的多源数据接入包含接收本地CSV上传、在线API接入及动态请求，所述多源数据接入用于对各类大数据实时计算、监控，进行敏捷轻量级数据分析，根据需要选择一个或多个数据表，进行关联分析与数据处理。其提出的数据适配用于通过业务系统及外部数据源集成所有相关业务数据，并发送至大数据平台。
对比文件2：CN111488381A，其提出了一种基于场景过程的异构数据整合方法。通过对建立信息化场景的过程中对场景的执行过程、执行动作、数据聚合方式和数据应用方式进行控制，对数据进行规范化处理。
对比文件1方案存在以下不足：(1)基于大数据平台的数据适配方式成本较高；(2)数据适配服务耦合于其数据可视化设计平台，不利于外部系统对该服务的调用，用户对于数据适配规则无法灵活控制；(3)其基于大数据平台的数据适配方式主要偏向于源数据的适配，缺乏对视图层数据的适配及控制管理。
对比文件2方案存在以下不足：(1)对于数据的适配处理只是字段过滤及聚合，无法满足复杂场景下的标准数据格式转换，且无法对数据标准化规则进行自定义灵活配置。(2)其实施用例特定于校园场景多个业务系统返回的异构数据进行规范化转换及特定规则聚合，难以覆盖应用于其他场景。
发明内容
为了克服现有技术的上述缺点，本发明提供用于数据可视化的多源异构数据适配方法、系统及设备。
本发明解决其技术问题所采用的技术方案是：一种用于数据可视化的多源异构数据适配方法，包括：
通过数据源适配服务模块对客户端输入的数据源参数进行自动识别，并对可正常连接的数据源进行源数据格式分析，生成可统一管理配置的数据字典；
通过预设自定义适配规则对源数据进行适配条件控制，源数据经过预设的适配规则进行适配后，生成标准化数据。
作为本发明的进一步改进：所述多源异构数据适配方法还包括：
通过自定义标准化数据接口对数据可视化场景中的可视化组件提供数据接口；所述自定义标准化数据接口包括接口类型定义、接口返回格式定义、接口返回字段定义。
本发明提供一种用于数据可视化的多源异构数据适配方法，包括以下步骤：
S11：在客户端数据可视化程序中配置数据源连接参数或预置数据源选择；
S12：通过数据源自动识别模块分析数据源类型并创建数据源记录，所述数据源自动识别模块用于数据源监控管理；
S13：发出数据源访问请求，用于检测数据源可访问性并获取源数据字段信息、结构信息；
S14：数据源访问成功，返回源数据格式及字段信息、结构信息；
S15：根据步骤S14中的源数据结构信息自动生成对应数据字典，同时可在管理后台管理数据字典，用于源数据字段信息管理；
S16：基于步骤S15中的数据字典创建数据适配规则；
S17：基于步骤S15、步骤S16创建标准数据接口，用于可视化视图组件的数据接入；
S18：在客户端数据可视化程序中，对可视化视图组件分别配置S17中的标准数据接口并进行标准数据请求；
S19：数据适配服务代理步骤S18请求进行源数据获取；
S110：数据适配服务代理访问获取源数据；
S111：基于步骤S16中配置的数据适配规则对步骤S110获取回来的源数据进行数据适配分析处理；
S112：将步骤S111中完成适配的标准数据返回到客户端可视化程序中。
作为本发明的进一步改进：在步骤S11中，所述数据源连接参数包括数据源访问地址，所述数据源选择包括数据源类型。
作为本发明的进一步改进：在步骤S16中，所述数据适配规则包括敏感字段处理、字段判空处理、字段访问权限控制。
本发明提供一种用于数据可视化的多源异构数据适配系统，包括所述的一种用于数据可视化的多源异构数据适配方法，所述多源异构数据适配系统包括客户端和服务器端，所述客户端包括数据可视化设计模块、数据源连接配置模块和数据通信方式配置模块；所述服务器端包括数据源适配服务模块和数据适配服务模块；所述数据可视化设计模块，基于可视化视图组件进行数据可视化页面编排设计；所述数据源连接配置模块用于对数据可视化设计模块中的视图组件进行数据源连接配置或预置数据源选择；所述数据通信方式配置模块用于对数据可视化设计模块中的视图组件进行数据通信规则配置。
作为本发明的进一步改进：所述数据源适配服务模块包括数据源自动识别模块和数据源配置管理模块，所述数据源自动识别模块用于对外部数据源进行自动识别并管理，所述数据源配置管理模块用于在管理后台对数据源进行配置管理；所述数据适配服务模块包括数据适配规则配置模块、标准数据格式转换模块、数据字典管理模块、标准数据接口管理模块，所述数据源适配服务模块用于数据源进行适配。
作为本发明的进一步改进：所述客户端还包括数据映射规则配置模块；所述数据映射规则配置模块用于对数据通信方式配置模块中的视图组件访问标准数据接口后返回的标准数据进行字段映射。
本发明提供一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述存储器中所存储的程序，实现所述的一种用于数据可视化的多源异构数据适配方法的步骤。
本发明提供一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的一种用于数据可视化的多源异构数据适配方法的步骤。
与现有技术相比，本发明的有益效果是：
1.本发明通过数据源适配服务对客户端输入的数据源参数进行自动识别，并对可正常连接的数据源进行源数据格式分析，生成可统一管理配置的数据字典；通过预设自定义适配规则对源数据进行适配条件控制，源数据经过预设的适配规则进行适配后，生成标准化数据；通过灵活可控的数据适配规则配置，增强不同复杂场景下的数据适配能力，解决了数据适配功能服务在复杂场景下不能灵活配置适配规则的问题。
2.本发明通过自定义标准化数据接口对数据可视化场景中的可视化组件提供数据接口，解决了数据可视化场景中对于可视化组件数据难以进行灵活适配控制的问题。
3.本发明通过可插拔式的数据适配功能服务，不耦合于外部特定系统平台，使数据适配功能服务更通用，可接入第三方外部系统平台；不耦合大数据平台，可接入大数据平台，作为基于大数据平台的上层功能服务，技术成本可控，解决了现有的数据适配功能服务耦合于特定系统平台、不利于外部系统对该服务的调用及用户对于数据适配规则无法灵活控制的问题。
附图说明
图1为本发明的实施流程图。
图2为本发明的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施案例一：
一种用于数据可视化的多源异构数据适配方法，包括：
通过数据源适配服务模块对客户端输入的数据源参数进行自动识别，并对可正常连接的数据源进行源数据格式分析，生成可统一管理配置的数据字典；
通过预设自定义适配规则对源数据进行适配条件控制，源数据经过预设的适配规则进行适配后，生成标准化数据。
本发明通过数据源适配服务对客户端输入的数据源参数进行自动识别，并对可正常连接的数据源进行源数据格式分析，生成可统一管理配置的数据字典；通过预设自定义适配规则对源数据进行适配条件控制，源数据经过预设的适配规则进行适配后，生成标准化数据；通过灵活可控的数据适配规则配置，增强不同复杂场景下的数据适配能力，解决了数据适配功能服务在复杂场景下不能灵活配置适配规则的问题。
所述多源异构数据适配方法，还包括：通过自定义标准化数据接口对数据可视化场景中的可视化组件提供数据接口；所述自定义标准化数据接口包括接口类型定义、接口返回格式定义、接口返回字段定义。
本发明通过自定义标准化数据接口对数据可视化场景中的可视化组件提供数据接口，解决了数据可视化场景中对于可视化组件数据难以进行灵活适配控制的问题。
实施案例二：
一种用于数据可视化的多源异构数据适配方法，包括以下步骤：
S11：在客户端数据可视化程序中配置数据源连接参数或预置数据源选择；
S12：通过数据源自动识别模块分析数据源类型并创建数据源记录，所述数据源自动识别模块用于数据源监控管理；
S13：发出数据源访问请求，用于检测数据源可访问性并获取源数据字段信息、结构信息；
S14：数据源访问成功，返回源数据格式及字段信息、结构信息；
S15：根据步骤S14中的源数据结构信息自动生成对应数据字典，同时可在管理后台管理数据字典，用于源数据字段信息管理；
S16：基于步骤S15中的数据字典创建数据适配规则；
S17：基于步骤S15、步骤S16创建标准数据接口，用于可视化视图组件的数据接入；
S18：在客户端数据可视化程序中，对可视化视图组件分别配置S17中的标准数据接口并进行标准数据请求；
S19：数据适配服务代理步骤S18请求进行源数据获取；
S110：数据适配服务代理访问获取源数据；
S111：基于步骤S16中配置的数据适配规则对步骤S110获取回来的源数据进行数据适配分析处理；
S112：将步骤S111中完成适配的标准数据返回到客户端可视化程序中。
在步骤S11中，所述数据源连接参数包括数据源访问地址，所述数据源选择包括数据源类型。
在步骤S16中，所述数据适配规则包括敏感字段处理、字段判空处理、字段访问权限控制。
本发明通过可插拔式的数据适配功能服务，不耦合于外部特定系统平台，使数据适配功能服务更通用，可接入第三方外部系统平台；不耦合大数据平台，可接入大数据平台，作为基于大数据平台的上层功能服务，技术成本可控，解决了现有的数据适配功能服务耦合于特定系统平台、不利于外部系统对该服务的调用及用户对于数据适配规则无法灵活控制的问题。
实施案例三：
一种用于数据可视化的多源异构数据适配系统，包括所述的一种用于数据可视化的多源异构数据适配方法，所述多源异构数据适配系统包括客户端和服务器端，所述客户端包括数据可视化设计模块、数据源连接配置模块和数据通信方式配置模块；所述服务器端包括数据源适配服务模块和数据适配服务模块；所述数据可视化设计模块，基于可视化视图组件进行数据可视化页面编排设计；所述数据源连接配置模块用于对数据可视化设计模块中的视图组件进行数据源连接配置或预置数据源选择；所述数据通信方式配置模块用于对数据可视化设计模块中的视图组件进行数据通信规则配置。
所述数据源适配服务模块包括数据源自动识别模块和数据源配置管理模块，所述数据源自动识别模块用于对外部数据源进行自动识别并管理，所述数据源配置管理模块用于在管理后台对数据源进行配置管理；所述数据适配服务模块包括数据适配规则配置模块、标准数据格式转换模块、数据字典管理模块、标准数据接口管理模块，所述数据源适配服务模块用于数据源进行适配。
所述客户端还包括数据映射规则配置模块；所述数据映射规则配置模块用于对数据通信方式配置模块中的视图组件访问标准数据接口后返回的标准数据进行字段映射。
所述数据源包括MQ服务器和DB服务器。
数据源适配服务模块用于对数据源以下数据源进行适配，如：消息队列(MQ)、主流数据库(DB)等。
一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述存储器中所存储的程序，实现所述的一种用于数据可视化的多源异构数据适配方法的步骤。
实施案例四：
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种用于数据可视化的多源异构数据适配方法的步骤。
本发明的主要功能：
本发明通过数据源适配服务对客户端输入的数据源参数进行自动识别，并对可正常连接的数据源进行源数据格式分析，生成可统一管理配置的数据字典；通过预设自定义适配规则对源数据进行适配条件控制，源数据经过预设的适配规则进行适配后，生成标准化数据；通过灵活可控的数据适配规则配置，增强不同复杂场景下的数据适配能力，解决了数据适配功能服务在复杂场景下不能灵活配置适配规则的问题。通过自定义标准化数据接口对数据可视化场景中的可视化组件提供数据接口，解决了数据可视化场景中对于可视化组件数据难以进行灵活适配控制的问题。
本文中所描述的功能可在硬件、由处理器执行的软件、固件或其任何组合中实施。如果在由处理器执行的软件中实施，那么可将功能作为一或多个指令或代码存储于计算机可读媒体上或经由计算机可读媒体予以传输。其它实例及实施方案在本发明及所附权利要求书的范围及精神内。举例来说，归因于软件的性质，上文所描述的功能可使用由处理器、硬件、固件、硬连线或这些中的任何者的组合执行的软件实施。此外，各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为控制装置的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。