一种报表生成方法、系统、设备以及介质

技术领域

本发明涉及报表领域，具体涉及一种报表生成方法、系统、设备以及存储介质。

背景技术

目前在多数据库实例，大数据量的情况下，由于数据传输问题和单表数据量大，导致业务复杂度高，因此在进行数据同步或查询时会出现不准确或者查询性能慢的问题，也即无法满足管理用户对于分析报表的统计需求。

发明内容

有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种报表生成方法，包括以下步骤：

获取多个数据库中的初始数据以及多个预先确定的主题和与所述主题相关联的子主题；

从所述初始数据中分别提取与所述主题和所述子主题相对应的数据以得到多个明细报表；

对所述多个明细报表中的数据进行初步整合得到多个初始整合报表；

对所述多个初始整合报表进行再次整合以得到多个最终所需报表。

在一些实施例中，获取多个数据库中的初始数据，进一步包括：

创建与目标库的表结构相同的临时表；

根据同步参数将所述多个数据库中的数据同步到所述临时表中；

响应于所述临时表中的数据的数量达到阈值，将所述临时表中的数据同步到所述目标库中。

在一些实施例中，还包括：

根据预设规则对所述目标库中的数据进行清洗。

在一些实施例中，根据预设规则对所述目标库中的数据进行清洗，进一步包括：

将所述目标库中的字段相同而时间戳不同的多条数据只保留最新的一条数据。

在一些实施例中，对所述多个明细报表中的数据进行初步整合得到多个初始整合报表，进一步包括：

根据预设字段对所述多个明细报表中的数据进行初步整合。

在一些实施例中，还包括：

创建多个索引并与对应的每一个最终所需报表映射。

在一些实施例中，还包括：

响应于接收到报表展示的请求，根据请求确定待展示的所述最终所需报表对应的索引；

根据所述对应的索引获取并图形化展示所述待展示的最终所需报表。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种报表生成系统，包括：

获取模块，所述获取模块配置为获取多个数据库中的初始数据以及多个预先确定的主题和与所述主题相关联的子主题；

关联模块，所述关联模块配置为从所述初始数据中分别提取与所述主题和所述子主题相对应的数据以得到多个明细报表；

第一整合模块，所述第一整合模块配置为对所述多个明细报表中的数据进行初步整合得到多个初始整合报表；

第二整合模块，所述第二整合模块配置为对所述多个初始整合报表进行再次整合以得到多个最终所需报表。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机设备，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如上所述的任一种报表生成方法的步骤。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种报表生成方法的步骤。

本发明具有以下有益技术效果之一：本发明提出的方案能够在大数据量的情况下，简化业务复杂度。提高查询性能，满足管理用户对于分析报表的统计需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为本发明的实施例提供的报表生成方法的流程示意图；

图2为本发明的实施例提供的各个主题以及对应的子主题的结构示意图；

图3为本发明的实施例提供的经过初步整合后得到的报表；

图4为本发明的实施例提供的经过再次整合后得到的报表；

图5为本发明的实施例提供的报表生成系统的结构示意图；

图6为本发明的实施例提供的计算机设备的结构示意图；

图7为本发明的实施例提供的计算机可读存储介质的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

根据本发明的一个方面，本发明的实施例提出一种报表生成方法，如图1所示，其可以包括步骤：

S1，获取多个数据库中的初始数据以及多个预先确定的主题和与所述主题相关联的子主题；

S2，从所述初始数据中分别提取与所述主题和所述子主题相对应的数据以得到多个明细报表；

S3，对所述多个明细报表中的数据进行初步整合得到多个初始整合报表；

S4，对所述多个初始整合报表进行再次整合以得到多个最终所需报表。

本发明提出的方案能够在大数据量的情况下，简化业务复杂度。提高查询性能，满足管理用户对于分析报表的统计需求。

在一些实施例中，步骤S1，获取多个数据库中的初始数据，进一步包括：

创建与目标库的表结构相同的临时表；

根据同步参数将所述多个数据库中的数据同步到所述临时表中；

响应于所述临时表中的数据的数量达到阈值，将所述临时表中的数据同步到所述目标库中。

具体的，可以从各数据库实例向数据处理库同步原始数据，并且考虑到原始数据有各种各样的场景，所以可以根据数据的使用频率，将所需要同步的表分成了以下几类：数据量少且变化频率低的数据，每一周全量同步一次；数据量少且变化频率高的数据，每天全量同步一次；数据量大且变化频率低的数据，每周增量同步一次；数据量大且变化频率高的数据，每天增量同步一次；关键业务数据每半小时增量同步一次，并多线程处理。

在一些实施例中，对于增量同步的场景，出于同步性能的考虑，可以利用临时表批量更新。首先根据目标库的表，创建相同表结构的临时表。然后将各数据库实例中的每五百条数据插入临时表后，利用merge方法批量更新到分析库，这样同步性能会大大提升。在进行数据同步前，可以预先配置同步表、主键字段、同步字段、同步条件、同步频率，同步策略(全量还是增量)，多线程同步等等参数。

在一些实施例中，还包括：

根据预设规则对所述目标库中的数据进行清洗。

在一些实施例中，根据预设规则对所述目标库中的数据进行清洗，进一步包括：

将所述目标库中的字段相同而时间戳不同的多条数据只保留最新的一条数据。

具体的，数据清洗就是对于已经同步到数据处理库的原始数据中的垃圾数据或无用数据进行删除，分析垃圾数据采用了从后到前的方法，即根据目前或将要建设的分析报表，向前推算出所有需要的数据，把不需要的数据清除。为防止清洗出现数据问题，增加了数据备份机制。即在删除数据前，将要删除的数据备份到备份表，如果发现删除错了，可以快速的恢复。

在一些实施例中，数据清洗可以具体实现分为三种情况：第一种情况：分析表与表之间的关联关系，把不符合关联关系的数据清除。第二种情况：按关键字段分组，把关键字段相同时间戳不相同的多条数据只保留最新的一条，清楚其余数据。第三种情况：根据业务灵活判断，对于三年以前或者一年以前不再使用的数据清除。

因为有些业务表的数据不必要全量同步，通过上述三种情况的数据清洗，能清除掉5％-10％的数据，这样对于一些数据分析用不着的数据，从数据清洗阶段提前至数据同步阶段，减少了数据同步的数量，从而提高了同步效率。

在一些实施例中，步骤S2，从所述初始数据中分别提取与所述主题和与所述主题相关联的所述子主题相对应的数据以得到多个明细报表，具体的，可以确定多个主题，并分别确定所有和它有关联的子主题，并提取主要信息，以形成主题域。例如如图2所示，人员组织信息，账户基本信息，交易相关信息等均为主题。其中，以账户基本信息为例，其下的账户表，账户科目明细，账户印章明细等都是账户基本信息的子主题。每一个表上均包括多个字段。

在一些实施例中，对所述多个明细报表中的数据进行初步整合得到多个初始整合报表，进一步包括：

根据预设字段对所述多个明细报表中的数据进行初步整合。

具体的，可以将图2中每一个主题下的多个明细报表，根据具体字段省、单位、年、月、银行等各种组合进行分组汇总，或者分析多张报表之间的相同点，结合具体业务，提取分组字段，得出能满足各种需要的初始整合报表。以图3所示的交易维度(即图2中的交易相关信息主题)为例，可以根据省、单位、年、月、银行等各种组合进行分组汇总得到多个初始整合报表。

在一些实施例中，可以分别创建字典表和各个业务表，其中业务表中相应的字段均由字典表定义，即字典表中保存有字段和对应的标识，业务表中用标识代表字段。

在一些实施例中，还包括：

创建多个索引并与对应的每一个最终所需报表映射。

在一些实施例中，还包括：

响应于接收到报表展示的请求，根据请求确定待展示的所述最终所需报表对应的索引；

根据所述对应的索引获取并图形化展示所述待展示的最终所需报表。

具体的，步骤S4中的数据再次整合就是根据展示的报表为模型，汇总出所属的数据来。如图4所示，再次整合的数据是基于初始整合报表而来，根据实际需求逐个分析建设的报表，达到每个报表的数据查询都是单表查询，再加上合适的索引，从而实现快速高效。这样，当接收到报表展示的请求，即可根据索引实现快速查询并利用如ECharts或GSPWeb3.0对最终所需报表进行展示。

本发明提出的方案能够在大数据量的情况下，简化业务复杂度。提高查询性能，满足管理用户对于分析报表的统计需求。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种报表生成系统400，如图5所示，包括：

获取模块401，所述获取模块401配置为获取多个数据库中的初始数据以及多个预先确定的主题和与所述主题相关联的子主题；

关联模块402，所述关联模块402配置为从所述初始数据中分别提取与所述主题和所述子主题相对应的数据以得到多个明细报表；

第一整合模块403，所述第一整合模块403配置为对所述多个明细报表中的数据进行初步整合得到多个初始整合报表；

第二整合模块404，所述第二整合模块404配置为对所述多个初始整合报表进行再次整合以得到多个最终所需报表。

基于同一发明构思，根据本发明的另一个方面，如图6所示，本发明的实施例还提供了一种计算机设备501，包括：

至少一个处理器520；以及

存储器510，存储器510存储有可在处理器上运行的计算机程序511，处理器520执行程序时执行如上的任一种报表生成方法的步骤。

基于同一发明构思，根据本发明的另一个方面，如图7所示，本发明的实施例还提供了一种计算机可读存储介质601，计算机可读存储介质601存储有计算机程序指令610，计算机程序指令610被处理器执行时执行如上的任一种报表生成方法的步骤。

最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。

此外，应该明白的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。

上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。