异构数据处理方法、装置、电子设备和可读存储介质

技术领域

本发明涉及数据处理技术领域，特别是涉及一种异构数据处理方法、装置、电子设备和可读存储介质。

背景技术

不同异构数据指采用不同存储方式的业务数据，通常在数据信息化的过程中，由于业务系统、数据管理系统等建设、实施的阶段性、技术水平、经济条件以及其他人为因素的影响而大量累积产生，不同异构数据采用的数据管理系统也不相同，可以是简单的文件数据库，也可以是复杂的网络数据库。

目前，为了对不同异构数据进行统一管理、展示，通常是建立数据中心，从各个异构数据的数据源抽取数据集中存储，再提供相应的数据服务。但是，随着异构数据的数据种类、数据量逐渐增加，数据中心的运营、维护、数据整合成本逐渐增高、建模难度逐渐增大、数据搬迁困难，从而严重影响对异构数据分析、整合、展示的效率。

发明内容

本发明提供了一种异构数据处理方法、装置、电子设备和可读存储介质，以解决现有技术中多种存储方式的异构数据源之间异构数据分析、整合、展示的难度大、成本高、效率低的问题。

为了解决上述问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种异构数据处理方法，应用于异构数据处理平台，所述异构数据处理平台接入至少两个异构数据源，至少两个所述异构数据源分别采用不同存储方式存储异构数据，包括：接收对数据专题的第一输入，所述数据专题对应至少一个异构数据源；响应于所述第一输入，根据所述数据专题对应的专题标识匹配所述数据专题对应的数据查询信息；根据所述数据查询信息在所述数据专题对应的异构数据源中查询获得所述异构数据。

可选地，所述接收对数据专题的第一输入之前，还包括：

展示数据专题列表，所述数据专题列表中包括用户权限范围内异构数据源对应的至少一个数据专题；

所述接收对数据专题的第一输入，包括：

接收对所述数据专题列表中数据专题的选择操作为所述第一输入。

可选地，根据所述数据查询信息在所述数据专题对应的异构数据源中查询获得所述异构数据，包括：

根据所述数据查询信息生成查询条件，所述数据查询信息包括所述异构数据源的地址、存储模式、数据库表、访问方式中的至少一个，所述访问方式包括远程访问、本地访问中的任一个；

根据所述查询条件访问异构数据源，查询获得异构数据。

可选地，所述接收对数据专题的第一输入之后，还包括：

接收对所述数据专题的第二输入；

响应于所述第二输入，对所述数据专题执行编辑操作，所述编辑操作包括添加、修改、删除查询所述异构数据时的字段过滤条件中的至少一种；

可选地，所述根据所述数据查询信息在所述数据专题对应的异构数据源中查询获得所述异构数据，包括：

根据所述数据查询信息以及所述字段过滤条件，查询所述数据专题对应的异构数据源，获得异构数据。

可选地，所述接收对数据专题的第一输入之前，还包括：

采用预定接入方式接入异构数据源，所述预定接入方式包括远程接入、本地接入中的任一个；

获取所述异构数据源的地址；

根据所述异构数据源引入对应的数据库表，并在所述数据库存在指定存储模式的情况下，确定所述数据库的存储模式；

设定数据专题对应的专题标识，并获取所述数据专题对应的数据查询信息，所述专题标识包括专题名称、专题内容、专题分类中的至少一个，所述数据查询信息包括所述异构数据源的所述地址、所述数据库表、所述存储模式、所述预定接入方式对应的访问方式中的至少一个；

根据所述专题标识与所述数据查询信息创建所述数据专题。

可选地，所述采用预定接入方式接入异构数据源之后，还包括：

在接入的异构数据源中任一与已接入的异构数据源重复的情况下，展示所述已接入的异构数据源的数据源信息，所述数据源信息包括操作对象、操作时间、备份方式、访问记录、异常通知中的至少一个。

可选地，所述根据所述异构数据源引入对应的数据库表之后，包括：

根据所述异构数据源对应的用户权限设定所述数据库表的读写权限；

所述根据所述专题标识与所述数据查询信息创建所述数据专题之后，还包括：

确定所述数据专题对应的开放状态，所述开放状态包括关闭、启用中的至少一个。

第二方面，本发明实施例提供了一种异构数据处理装置，应用于异构数据处理平台，所述异构数据处理平台接入至少两个异构数据源，至少两个所述异构数据源分别采用不同存储方式存储异构数据，包括：第一输入接收模块，用于接收对数据专题的第一输入，所述数据专题对应至少一个异构数据源；数据专题匹配模块，用于响应于所述第一输入，根据所述数据专题对应的专题标识匹配所述数据专题对应的数据查询信息；异构数据查询模块，用于根据所述数据查询信息在所述数据专题对应的异构数据源中查询获得所述异构数据。

可选地，所述装置还包括：

数据列表展示模块，用于展示数据专题列表，所述数据专题列表中包括用户权限范围内异构数据源对应的至少一个数据专题。

所述第一输入接收模块，具体用于接收对所述数据专题列表中数据专题的选择操作为所述第一输入。

可选地，所述异构数据查询模块，包括：

查询条件生成子模块，用于根据所述数据查询信息生成查询条件，所述数据查询信息包括所述异构数据源的地址、存储模式、数据库表、访问方式中的至少一个，所述访问方式包括远程访问、本地访问中的任一个；

异构数据查询子模块，用于根据所述查询条件访问异构数据源，查询获得异构数据。

可选地，所述装置还包括：

第二输入接收模块，用于接收对所述数据专题的第二输入；

字段过滤编辑模块，用于响应于所述第二输入，对所述数据专题执行编辑操作，所述编辑操作包括添加、修改、删除查询所述异构数据时的字段过滤条件中的至少一种；

可选地，所述异构数据查询模块，具体用于根据所述数据查询信息以及所述字段过滤条件，查询所述数据专题对应的异构数据源，获得异构数据。

可选地，所述装置还包括：

异构数据源接入模块，用于采用预定接入方式接入异构数据源，所述预定接入方式包括远程接入、本地接入中的任一个；

异构数据源地址获取模块，用于获取所述异构数据源的地址；

数据库表引入模块，用于根据所述异构数据源引入对应的数据库表，并在所述数据库存在指定存储模式的情况下，确定所述数据库的存储模式；

数据专题信息获取模块，用于设定数据专题对应的专题标识，并获取所述数据专题对应的数据查询信息，所述专题标识包括专题名称、专题内容、专题分类中的至少一个，所述数据查询信息包括所述异构数据源的所述地址、所述数据库表、所述存储模式、所述预定接入方式对应的访问方式中的至少一个；

数据专题创建模块，用于根据所述专题标识与所述数据查询信息创建所述数据专题。

可选地，所述装置还包括：

异构数据源验证模块，用于在接入的异构数据源中任一与已接入的异构数据源重复的情况下，展示所述已接入的异构数据源的数据源信息，所述数据源信息包括操作对象、操作时间、备份方式、访问记录、异常通知中的至少一个。

可选地，所述装置还包括：

数据库表权限确定模块，用于根据所述异构数据源对应的用户权限设定所述数据库表的读写权限。

可选地，所述装置还包括：

数据专题状态确定模块，用于确定所述数据专题对应的开放状态，所述开放状态包括关闭、启用中的至少一个。

第三方面，本发明实施例提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一项所述的异构数据处理方法的步骤。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的异构数据处理方法的步骤。

与现有技术相比，本发明包括以下优点：

本发明实施例中，提供接入至少两个异构数据源的异构数据处理平台，在异构数据处理平台上，可以接收对数据专题的第一输入，并响应于第一输入根据数据专题对应的专题标识匹配数据查询信息，由于数据专题对应至少一个异构数据源，因此，在根据专题标识匹配专题标识确定数据查询信息后，可以根据数据查询信息在数据专题对应的异构数据源中查询获得异构数据。此时，在跨平台、跨服务、跨区域之间，不同存储方式的异构数据源中，由于异构数据源已接入异构数据展示平台，因此，在确定专题查询信息后可以通过异构数据展示平台直接访问异构数据源，无需向数据中心搬迁、整合不同异构数据源中的异构数据后再提供数据服务，从而降低了平台运营、维护、数据整合成本，提高了异构数据分析、展示的效率。

附图说明

图1示出了本发明实施例提供的一种异构数据处理方法的步骤流程图；

图2示出了本发明实施例提供的另一种异构数据处理方法的步骤流程图；

图3示出了本发明实施例中提供的一种异构数据源接入异构数据处理平台的流程图；

图4示出了本发明实施例提供的一种创建数据专题的流程图；

图5示出了本发明实施例提供的一种查询异构数据的流程图；

图6示出了本发明实施例提供的一种异构数据处理装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的异构数据处理方法、装置、电子设备和可读存储介质进行详细地说明。

参照图1，示出了本发明实施例提供的一种异构数据处理方法的步骤流程图，应用于异构数据处理平台，所述异构数据处理平台接入至少两个异构数据源，至少两个所述异构数据源分别采用不同存储方式存储异构数据，具体可以包括如下步骤：

本发明实施例中，异构数据处理平台可以接入两种以上异构数据源，异构数据源中存储的业务数据为异构数据，其中，不同异构数据源可以是不同服务器下的不同数据库，不同数据库的存储方式不同，如异构数据源可以是Greenplum Database、MySQL(关系型数据库)、Oracle Database等数据库，具体的，异构数据处理平台可以通过内置多种数据库驱动链接跨平台、跨服务、跨区域的多种不同数据库，本发明实施例对异构数据处理平台接入的异构数据源不作具体限制。

步骤101、接收对数据专题的第一输入，所述数据专题对应至少一个异构数据源。

本发明实施例中，数据专题指针对特定对象而归类集中的异构数据源，可选地，该特定对象可以是专用的数据类型，数据格式，也可以是自定义的特定对象，如不同数据专题可以表示不同种专用的数据类型对应的异构数据源，如数据专题可以分别对应存储有娱乐数据、资讯数据、科研数据等等的异构数据源；也可以是不同数据格式对应的异构数据源，如数据专题可以对应存储有文本数据、图像数据、音频数据、视频数据等等的异构数据源；也可是自定义的异构数据源，在接入不同异构数据源后，可以根据异构数据源的数据类型、数据格式、或自定义的对应于不同数据专题。此时，数据专题可以是文教娱乐专题、科研发展专题、新闻资讯专题等等，也可以是文本专题、图像专题、音频专题、视频专题等等，本发明实施例对此不作具体限制。

本发明实施例中，第一输入是对数据专题的选择输入，用于确定对数据专题对应的异构数据源进行查询，可选地，第一输入可以是展示数据专题的专题标识，或，数据专题对应的异构数据源的信息时，接收到的对专题标识或异构数据源的信息的选择输入；或者，也可以是接收对数据专题的专题标识对应的文本输入、语音输入等，本发明实施例对第一输入的形式不作具体限制。

如，以数据专题“交通监控轮询专题”的专题标识为“专题A”为例，在展示“专题A”时接收到对“专题A”选择输入，或者，在未展示“专题A”时接收到包括“专题A”内容的文本输入、语音输入等。

步骤102、响应于所述第一输入，根据所述数据专题对应的专题标识匹配所述数据专题对应的数据查询信息。

本发明实施例中，在接收到对数据专题的第一输入时，可以确定需要展示该数据专题对应的异构数据源中的异构数据，此时，可以响应于第一输入，根据数据专题对应的专题标识匹配数据专题信息，由于异构数据处理平台可以存储有两个以上数据专题，以及数据专题与异构数据源的对应关系，因此，可以预先设置专题标识对不同的数据专题进行区分，其中，专题标识可以是数据专题对应的ID(Identity Document，身份标识)、编号、专题名称等等。数据查询信息指在数据专题对应的异构数据源中查询异构数据的相关信息，可选地，可以包括异构数据源的地址、需求的字段等，从而能够在对应的异构数据源中获得需求的部分异构数据。由于专题标识与该数据专题对应，数据查询信息与该数据专题对应，因此，根据专题标识可以匹配得到数据查询信息。

如，交通监控轮询专题对应的数据查询信息可以包括，X路监控数据源、Y路监控数据源和Z路监控数据源，以及监控时间20xx年x月10日至20xx年x月20日等，则根据“专题A”的标识可以匹配到上述数据查询信息。

步骤103、根据所述数据查询信息在所述数据专题对应的异构数据源中查询获得所述异构数据。

本发明实施例中，在获取数据查询信息以后，可以在数据专题对应的异构数据源中查询获得异构数据，此时，由于异构数据源已接入异构数据处理平台，因此，可以通过异构数据处理平台直接访问异构数据源，无需预先将异构数据源中的异构数据抽取、整合，降低了异构数据处理的成本。可选地，根据业务需求，可以对获得的异构数据进行数据分析、数据展示等，本发明实施例对查询得到的异构数据的处理方式不作具体限制。

如，根据交通监控轮询专题对应的数据查询信息包括X路监控数据源、Y路监控数据源和Z路监控数据源，以及监控时间20xx年x月10日至20xx年x月20日等，在上述各监控数据源中获得对应时间范围内录入的监控数据，此时，可以根据时间、监控数据源等信息对监控数据进行分时间、分来源展示，也可以根据监控数据进行业务分析。

可选地，所述步骤101之后，还包括：

步骤S11、接收对所述数据专题的第二输入。

本发明实施例中，在接收对数据专题的第一输入，从而确定查询数据专题对应的异构数据源的情况下，还可以进一步接收对数据专题的第二输入，以确定对数据专题进一步的编辑操作，其中，第二输入的输入形式可以与第一输入相同，也可以与第一输入不同。

如，在接收到对“专题A”的选择输入后，还可以接收第二输入，以确定是否对“专题A”对应的交通监控轮询专题进行进一步的编辑操作。

步骤S12、响应于所述第二输入，对所述数据专题执行编辑操作，所述编辑操作包括添加、修改、删除查询所述异构数据时的字段过滤条件中的至少一种。

本发明实施例中，响应于第二输入，可以对数据专题执行编辑操作，可选地，编辑操作可以包括添加、修改、删除查询所述异构数据时的字段过滤条件等，其中，字段过滤条件包括异构数据中包括该字段的部分不返回，或包括该字段的部分返回等，本发明实施例中，对字段过滤条件中用于过滤的字段的内容、长度等不作具体限制。

如，响应于第二输入，在交通监控轮询专题的查询中添加过滤字段“车祸”的字段过滤条件。

此时，所述步骤103具体包括：

根据所述数据查询信息以及所述字段过滤条件，查询所述数据专题对应的异构数据源，获得异构数据。

本发明实施例中，在接收第二输入后数据专题存在字段过滤条件的情况下，可以根据数据查询信息以及字段过滤条件查询数据专题对应的异构数据源，以获得异构数据，由于用于过滤的字段内容、长度不限，因此，字段过滤条件可灵活设置，通过数据查询信息以及字段过滤条件查询异构数据，有效提高了查询的灵活性，以及查询过程中操作的便捷性。

本发明实施例中，提供接入至少两个异构数据源的异构数据处理平台，在异构数据处理平台上，可以接收对数据专题的第一输入，并响应于第一输入根据数据专题对应的专题标识匹配数据专题信息，数据专题信息包括数据专题对应的专题标识与书查询信息，由于数据专题对应至少一个异构数据源，因此，在根据专题标识匹配专题标识确定数据专题信息后，可以根据数据专题信息中的数据查询信息在数据专题对应的异构数据源中查询获得异构数据。此时，在跨平台、跨服务、跨区域之间，不同存储方式的异构数据源中，由于异构数据源已接入异构数据展示平台，因此，在确定专题查询信息后可以通过异构数据展示平台直接访问异构数据源，无需向数据中心搬迁、整合不同异构数据源中的异构数据后再提供数据服务，从而降低了平台运营、维护、数据整合成本，提高了异构数据分析、展示的效率。

参照图2，示出了本发明实施例提供的一种异构数据处理方法的步骤流程图，应用于异构数据处理平台，所述异构数据处理平台接入至少两个异构数据源，至少两个所述异构数据源分别采用不同存储方式存储异构数据，具体可以包括如下步骤：

步骤201、采用预定接入方式接入异构数据源，所述预定接入方式包括远程接入、本地接入中的任一个。

本发明实施例中，可以预先将异构数据源接入异构数据处理平台，可选地，可以根据数据类型、数据格式或自定义标准等对异构数据源进行分组，在接入异构数据源时选择对应的分组分别进行接入，以提高异构数据源的管理效率。

本发明实施例中，可以通过预定接入方式对异构数据源进行接入，其中，预定接入方式可以包括远程接入，如通过异构数据源的IP(Internet Protocol，网际互连协议)地址、主机名、端口号、驱动、账号密码等进行远程接入，在确定上述信息指向的异构数据源可连接的情况下，将该异构数据源远程接入异构数据处理平台；或者，预定接入方式也可以包括本地接入，如在异构数据处理平台本地创建异构数据源，或者，也可以将其他服务器的异构数据源导入异构数据处理平台的数据库中，从而进行本地接入。

步骤202、在接入的异构数据源中任一与已接入的异构数据源重复的情况下，展示所述已接入的异构数据源的数据源信息，所述数据源信息包括操作对象、操作时间、备份方式、访问记录、异常通知中的至少一个。

本发明实施例中，在接入异构数据源的过程中，若异构数据处理平台已接入至少一个异构数数据源，则可以校验当前接入的异构数据源是否与已接入的异构数据源重复，若异构数据处理平台还未接入异构数数据源，则无需验证，其中，与已接入的异构数据源重复可以是接入的异构数据源中任一与已接入的异构数据源的数据源信息相同或相近，也可以是异构数据源中的异构数据相同或相近。可选地，在接入的异构数据源中任一与已接入的异构数据源重复的情况下，可以展示已接入的异构数据源的数据源信息，此时，可以接收对数据源信息的修改、替换等操作，也可以取消对重复的异构数据源的接入操作。

本发明实施例中，数据源信息指异构数据源的基本属性信息，可选地，可以包括操作对象、操作时间、备份方式、访问记录、异常通知中的至少一个，其中，操作对象可以是创建、接入异构数据源的操作用户、操作终端、或操作用户、终端的IP地址等；操作时间可以是异常数据源的创建时间、接入时间等；备份方式可以是备份地址、备份周期等；异常通知可以是异常通知内容、异常通知条件等；访问记录可以是通过异构数据处理平台的访问，也可以是所有的访问等，本发明实施例对此不作具体限制。在异构数据源接入后，可以根据自动完善该异构数据源的数据源信息，记录异构数据源的操作对象、操作时间、备份方式、访问记录、异常通知等，以便于异构数据源的管理。

参照图3示出了本发明实施例中提供的一种异构数据源接入异构数据处理平台的流程图，如图3所示，数据源A、B和C，通过设置异构数据源接入引擎分别执行数据源分组、数据源接入、数据源校验、数据源信息完善等处理步骤，从而完成异构数据源接入异构数据处理平台的数据存储的过程。

步骤203、获取所述异构数据源的地址。

本发明实施例中，可以获取异构数据源的地址作为查询异构数据源时所需的信息，其中，地址可以是异构数据源的IP地址。

步骤204、根据所述异构数据源引入对应的数据库表，并在所述数据库存在指定存储模式的情况下，确定所述数据库的存储模式。

本发明实施例中，数据库表用于对异构数据源中的字段筛选，从而适应不同的数据分析、展示需求，可选地，可以通过模板导入的方式引入数据库表，模板中包含可展示的列，列用于限定数据特征，通过引入模板对异构数据源中的异构数据进行过滤，展示异构数据中模板中可展示的列对应的异构数据，从而达到字段过滤的效果，其中，模板的格式可以是txt(文本格式)、db(data base，数据库)、dbf(data base file，数据库文件)、csv(Comma-separated Value，字符分隔值)、html(hypertext mark-up language，超文本标记语言)、xml(Extensible Markup Language，可扩展标记语言)、xls(Microsoft Excel，电子表格格式)、xlsx(电子表格格式)、wk1(LOTUS 1-2-3，电子表格格式)、wq1(Quattro pro，电子表格格式)、json(JavaScript Object Notation,JS对象简谱)、mdb(MicrosoftDatabase，数据库文件存储格式)、accdb(access Database，Microsoft Access软件存储格式)、odbc(Open Database Connectivity，开放数据库互连)等；或者，也可以自定义引入可展示的字段，将自定义可展示的字段以外的字段进行过滤，获得对应的数据库表。

本发明实施例中，在引入数据库表后，还可以对数据库表中的字段进行校验，可选地，可以校验数据库表中是否存在重复列、特殊字符列等，进行修正后确认引入数据库表，根据实际应用需求，同一异构数据源可以引入两种以上不同的数据库表，本发明实施例对数据库表的数量不作具体限制。

本发明实施例中，部分数据库存在指定存储模式的情况，其中，存储模式可以是行存储，也可以是列存储，在数据库表存在指定存储模式的情况下，可以获取该存储模式，作为查询异构数据源时所需的信息。

步骤205、根据所述异构数据源对应的用户权限设定所述数据库表的读写权限。

本发明实施例中，用户权限指用户可进行查询、获取、编辑等操作的异构数据源，不同用户具有不同的用户权限，在不同的用户权限中用户可查询、获取异构数据的异构数据源不同，此时，可以根据异构数据源对应的用户权限设定数据库表的读写权限，如当用户权限中包括该异构数据源时，设定该用户权限对应的用户具有该异构数据源对应数据库的读写权限，当用户权限中不包括该异构数据源时，设定该用户权限对应的用户不具有该异构数据源对应数据库的读写权限，或者仅具有读权限。如图3所示，在异构数据源中引入不同的数据库表，并且异构数据处理平台可以根据用户权限对数据库表授予读写权限。

如，用户1具有异构数据源A、异构数据源B的用户权限，如图3所示，则可以对用户1授予库表A的读写权限，不对用户1授予对异构数据源C对应的库表1的读写权限。

步骤206、设定数据专题对应的专题标识，并获取所述数据专题对应的数据查询信息，所述专题标识包括专题名称、专题内容、专题分类中的至少一个，所述数据查询信息包括所述异构数据源的所述地址、所述数据库表、所述存储模式、所述预定接入方式对应的访问方式中的至少一个。

本发明实施例中，数据专题可以用于管理异构数据源，具体的，数据专题可以用于管理、引入数据库表，可选地，可以设置数据专题对应的专题标识，包括设定专题名称、添加专题描述等，选择专题分类等，根据专题标识可以有效区分不同的数据专题，以便于查询过程中的匹配，其中，专题描述可以是对专题名称、专题分类等的进一步补充说明。

如，可以通过接收用户的文本输入、语音输入等设置数据专题对应的专题标识，如根据用户输入专题名称的文本“专题A”、专题描述的文本“交通监控轮询专题包括针对20xx年x月10日至20xx年x月20日的监控数据处理”、专题分类的文本“监控轮询类”。

本发明实施例中，获取数据专题对应的查询信息可以是设定专题标识后，选定对应的异构数据源，异构数据源指定的存储模式，以及通过异构数据源引入的数据库表，从而确定数据专题对应的数据查询信息，通过数据查询信息对异构数据源进行查询能够快速、准确地确定对应的异构数据源，并通过数据库表获得需求的字段，从而获得待分析、展示的异构数据。

如，在交通监控轮询专题下选择存储有监控数据的X路监控数据源、Y路监控数据源和Z路监控数据源，选择20xx年x月10日至20xx年x月20日的数据库表，从而获得数据查询信息。

步骤207、根据所述专题标识与所述数据查询信息创建所述数据专题。

本发明实施例中，可以将设定的专题标识与获取的数据查询信息对应，从而创建对应该对应的数据专题，可选地，在创建数据专题的过程中可以对数据专题进行表单校验，可以是检测不同数据专题间的专题标识、数据查询信息是否存在重复、错误、缺失等等，在表单校验不通过时，可以重新执行步骤206，从而修改或重新创新数据专题，在表单校验通过时，完成对数据专题的创建。

步骤208、确定所述数据专题对应的开放状态，所述开放状态包括关闭、启用中的至少一个。

本发明实施例中，数据专题可以对应不同的开放状态，其中，开放状态可以包括关闭、启用中的至少一个，可选地，在数据专题的开放状态为关闭的情况下，数据专题不接收非创建数据专题的用户的选择、编辑操作，也可以是允许查询、展示，但不允许写入数据库表等；在数据专题的开放状态为启用时，数据专题可以接收非创建数据专题的用户的部分或全部操作。

如，交通监控轮询专题由用户1设置专题标识，选择数据查询信息创建得到，此时，在交通监控轮询专题的开放状态为启用的情况下，用户2可以对交通监控轮询专题下的数据库表进行读写操作，在交通监控轮询专题的开放状态为关闭的情况下，用户2不能对交通监控轮询专题下的数据库表进行读写操作。

可选地，以数据专题“XX打假制证专题”为例，创建数据专题的专题标识和数据查询信息可如下所示：

·专题名称：xx打假制证专题

·专题描述：

(1)针对xx省xx市xx区的假冒伪劣商品数据处理；

(2)针对xx省xx市xx区制假设备、假证假章的数据处理。

·专题分类：打假制证类

·数据源(地址)：25.31.0.1:3308/thematic xx打假制证

·数据库：thematic

·存储模式：thematic_model(部分数据库有存储模式)

·数据库表：thematic_table

图4示出了本发明实施例提供的一种创建数据专题的流程图，如图4所示，在开始数据专题创建后，可以设定专题名称、添加专题描述、选择专题分类，并进一步选择该数据专题对应的异构数据源、选择数据库表，确定开放状态；在确定各项信息后，进行表单校验，若表单校验通过则对上述信息进行存储以完成数据专题的创建，若表单校验不通过则重新进行上述信息的设定、选择。

步骤209、展示数据专题列表，所述数据专题列表中包括用户权限范围内异构数据源对应的至少一个数据专题。

本发明实施例中，数据专题可以以数据专题列表的形式展示，其中，数据专题列表中包括用户权限范围内异构数据源对应的至少一个数据专题，因此，根据用户权限的范围真中包括的异构数据源的变化，数据专题列表可相应的变化，数据专题列表在展示数据专题时，可以展示数据专题对应的专题标识，也可以展示数据专题对应的异构数据源的信息等其他信息，本发明实施例中对此不做具体限制。此时，通过前述简单地步骤过程即可获得不同的数据专题，其中，不同的数据专题可以对应相同或不同的异构数据源，即在查询数据的过程中，用户的仅需对数据专题进行查询，而无需考虑具体的异构数据源，从而有效提高了多异构数据源、高数据量的查询环境下，异构数据的查询效率。

如，在上述“XX打假制证专题”示例中，可以在数据专题列表中显示专题名称，也可以显示专题名称、专题描述、专题分类，也可以显示全部，以便用户选择。

步骤210、接收对所述数据专题列表中数据专题的选择操作为所述第一输入，所述数据专题对应至少一个异构数据源。

本发明实施例中，对数据专题列表中数据专题的选择操作可以是对数据专题列表中对应数据标识的点击、长按等操作，也可以是将对应数据标识拖动至展示区域上预设区域的拖动操作，从而在预设区域中增加该数据专题对应的查询节点，预设区域中可以放置多个查询节点。可选地，在数据专题较多时，也可以先选择数据专题所属的专题分类，或在展示页面中对数据专题进行检索以确定需求的数据专题。

本发明实施例中，预设区域中的查询节点还可以进一步接收扩展操作，从而展示查询节点对应的扩展选项，不同的扩展选项可以对应不同的扩展功能，如根据不同的扩展选项可以查询该查询节点对应数据专题下的所有字段数据；也可以添加、修改或删除字段过滤条件，自定义添加不同长度、内容的字段进行过滤，从而在后续查询中在数据库表的基础上进一步对异构数据进行过滤，获得需求的查询街而过；还可以将查询节点从预设区域移除，从而取消对该数据专题的查询。其中，扩展操作的形式可对应参照前述第一输入的形式。

步骤211、响应于所述第一输入，根据所述数据专题对应的专题标识匹配所述数据专题对应的数据查询信息。

本发明实施例中，步骤211可对应参照前述步骤102的相关描述，为避免重复，在此不再赘述。

步骤212、根据所述数据查询信息生成查询条件，所述数据查询信息包括所述异构数据源的地址、存储模式、数据库表、访问方式中的至少一个，所述访问方式包括远程访问、本地访问中的任一个。

本发明实施例中，可以根据数据查询信息生成查询条件，查询条件用于确定对应的异构数据源，并在异构数据源进行字段筛选以获得需求的异构数据，可选地，可以是根据数据查询信息生成动态SQL(Structured Query Language，结构化查询语言)，从而实现多条件简单、高效的添加、替换，如根据异构数据源的地址添加查询地址条件，根据存储模式添加数据库存储模式的条件，根据数据库表添加筛选字段的条件等等，提高了数据查询的效率，其中，数据查询信息可对应参照前述步骤206的相关描述，为避免重复，在此不再赘述。

步骤213、根据所述查询条件访问异构数据源，查询获得异构数据。

本发明实施例中，在根据数据查询信息生成查询条件后，可以根据查询条件访问异构数据源，根据异构数据源的接入方式不同访问方式也不同，如远程接入的异构数据源可以是远程访问，本地接入的异构数据源可以是本地访问异构数据源，成功访问异构数据源后可以根据查询条件对异构数据进行筛选以获得异构数据，本发明实施例对不作具体限制。

图5示出了本发明实施例提供的一种查询异构数据的流程图，如图5所述，先展示用户权限范围内的数据专题列表，并根据专题分类确定需求的数据专题，接收针对该数据专题的第一输入添加该数据专题对应的查询节点；根据查询节点接收到的扩展操作，可以提供查询数据专题对应的异构数据，编辑字段过滤条件，或删除查询节点等扩展功能；根据字段过滤条件筛选字段，并发起异构数据查询请求，异构数据查询请求中可以包括专题标识，根据数据专题标识获取数据专题对应的数据查询信息；根据数据查询信息生成查询条件，并根据数据查询信息确定异构数据源的访问方式，在访问方式为远程访问的情况下，远程访问异构数据源并根据查询条件获取异构数据，在访问方式为不是远程访问的情况下，本地访问异构数据源并根据查询条件获取异构数据。

可选地，如图5所示，在远程访问失败的情况下，可以返回数据专题列表重新添加查询节点；在获得异构数据后，可以将异构数据返回数据专题列表的展示端，对异构数据进行展示。

本发明实施例中，提供接入至少两个异构数据源的异构数据处理平台，在异构数据处理平台上，可以接收对数据专题的第一输入，并响应于第一输入根据数据专题对应的专题标识匹配数据专题信息，数据专题信息包括数据专题对应的专题标识与书查询信息，由于数据专题对应至少一个异构数据源，因此，在根据专题标识匹配专题标识确定数据专题信息后，可以根据数据专题信息中的数据查询信息在数据专题对应的异构数据源中查询获得异构数据。此时，在跨平台、跨服务、跨区域之间，不同存储方式的异构数据源中，由于异构数据源已接入异构数据展示平台，因此，在确定专题查询信息后可以通过异构数据展示平台直接访问异构数据源，无需向数据中心搬迁、整合不同异构数据源中的异构数据后再提供数据服务，从而降低了平台运营、维护、数据整合成本，提高了异构数据分析、展示的效率。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

实施例二

参照图6，示出了本发明实施例提供的一种异构数据处理装置30的结构示意图，应用于异构数据处理平台，所述异构数据处理平台接入至少两个异构数据源，至少两个所述异构数据源分别采用不同存储方式存储异构数据，包括：第一输入接收模块301，用于接收对数据专题的第一输入，所述数据专题对应至少一个异构数据源；数据专题匹配模块302，用于响应于所述第一输入，根据所述数据专题对应的专题标识匹配所述数据专题对应的数据查询信息；异构数据查询模块303，用于根据所述数据查询信息在所述数据专题对应的异构数据源中查询获得所述异构数据。

可选地，所述装置还包括：

数据列表展示模块，用于展示数据专题列表，所述数据专题列表中包括用户权限范围内异构数据源对应的至少一个数据专题。

所述第一输入接收模块301，具体用于接收对所述数据专题列表中数据专题的选择操作为所述第一输入。

可选地，所述异构数据查询模块303，包括：

查询条件生成子模块，用于根据所述数据查询信息生成查询条件，所述数据查询信息包括所述异构数据源的地址、存储模式、数据库表、访问方式中的至少一个，所述访问方式包括远程访问、本地访问中的任一个；

异构数据查询子模块，用于根据所述查询条件访问异构数据源，查询获得异构数据。

可选地，所述装置还包括：

第二输入接收模块，用于接收对所述数据专题的第二输入；

字段过滤编辑模块，用于响应于所述第二输入，对所述数据专题执行编辑操作，所述编辑操作包括添加、修改、删除查询所述异构数据时的字段过滤条件中的至少一种；

可选地，所述异构数据查询模块303，具体用于根据所述数据查询信息以及所述字段过滤条件，查询所述数据专题对应的异构数据源，获得异构数据。

可选地，所述装置还包括：

异构数据源接入模块，用于采用预定接入方式接入异构数据源，所述预定接入方式包括远程接入、本地接入中的任一个；

异构数据源地址获取模块，用于获取所述异构数据源的地址；

数据库表引入模块，用于根据所述异构数据源引入对应的数据库表，并在所述数据库存在指定存储模式的情况下，确定所述数据库的存储模式；

数据专题信息获取模块，用于设定数据专题对应的专题标识，并获取所述数据专题对应的数据查询信息，所述专题标识包括专题名称、专题内容、专题分类中的至少一个，所述数据查询信息包括所述异构数据源的所述地址、所述数据库表、所述存储模式、所述预定接入方式对应的访问方式中的至少一个；

数据专题创建模块，用于根据所述专题标识与所述数据查询信息创建所述数据专题。

可选地，所述装置还包括：

异构数据源验证模块，用于在接入的异构数据源中任一与已接入的异构数据源重复的情况下，展示所述已接入的异构数据源的数据源信息，所述数据源信息包括操作对象、操作时间、备份方式、访问记录、异常通知中的至少一个。

可选地，所述装置还包括：

数据库表权限确定模块，用于根据所述异构数据源对应的用户权限设定所述数据库表的读写权限。

可选地，所述装置还包括：

数据专题状态确定模块，用于确定所述数据专题对应的开放状态，所述开放状态包括关闭、启用中的至少一个。

本发明实施例中，提供接入至少两个异构数据源的异构数据处理平台，在异构数据处理平台上，可以接收对数据专题的第一输入，并响应于第一输入根据数据专题对应的专题标识匹配数据查询信息，由于数据专题对应至少一个异构数据源，因此，在根据专题标识匹配专题标识确定数据查询信息后，可以根据数据查询信息在数据专题对应的异构数据源中查询获得异构数据。此时，在跨平台、跨服务、跨区域之间，不同存储方式的异构数据源中，由于异构数据源已接入异构数据展示平台，因此，在确定专题查询信息后可以通过异构数据展示平台直接访问异构数据源，无需向数据中心搬迁、整合不同异构数据源中的异构数据后再提供数据服务，从而降低了平台运营、维护、数据整合成本，提高了异构数据分析、展示的效率。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

优选的，本发明实施例还提供一种终端，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述异构数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述异构数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、系统、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端上，使得在计算机或其他可编程终端上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端中还存在另外的相同要素。

以上对本发明所提供的一种异构数据处理方法和一种异构数据处理装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。