数据采集方法及装置、计算机设备及计算机可读存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及数据采集方法及装置、计算机设备及计算机可读存储介质。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

功能齐备的数据采集系统和完善的数字化治理水平是商业银行实现穿透式管理、精细化管理和合规经营的基础。而在此基础上，商业金融机构的系统还要充分考虑当地监管要求和信息安全法规对此提出的挑战。为此，提升金融数据采集系统的数据管理和应用能力，改善提升金融机构系统的数字化治理和管理精细化水平，更好发挥数据资产赋能经营管理的作用势在必行。然而，现有的金融系统数据挖掘及应用能力较为欠缺，对机构管理和风险控制都形成掣肘；数据应用能力欠缺又反之制约了金融系统的数据挖掘能力，限制了收益水平的提升。问题主要体现在以下几个方面：

一是数据采集方式落后，无法满足当前监管、审计和内部管理的灵活需要。当前金融系统的数据采集功能在数据采集方面过分依赖于固定报表开发需求的方式，这种方式的时效性低，周期长，人力投入大，且境内外沟通成本高，故而难以快速高效地满足金融机构的监管报送和业务分析需求。

二是数据挖掘能力欠缺，在数据应用方面缺乏自主性。金融系统的数据采集功能尚无法使用适当的数据平台和工具，自主根据金融机构自身业务需要和当地监管要求的变化，灵活高效地采集各业务领域的数据。

发明内容

本发明实施例提供一种数据采集方法，用以提高数据采集系统采集数据的灵活性和效率，该数据采集方法包括：

根据业务需求确定预先配置的目标数据采集模板；目标数据采集模板包括目标数据采集条件及符合目标数据采集条件的目标数据查询主题；目标数据采集条件包括目标交易数据的指标维度及目标交易数据的加工规则；目标数据查询主题包括不同指标维度的目标交易数据；

根据目标数据采集模板中不同指标维度的目标交易数据及目标交易数据的加工规则采集目标交易数据。

本发明实施例还提供一种数据采集装置，用以提高数据采集系统采集数据的灵活性和效率，该数据采集装置包括：

模板确定模块，用于根据业务需求确定预先配置的目标数据采集模板；目标数据采集模板包括目标数据采集条件及符合目标数据采集条件的目标数据查询主题；目标数据采集条件包括目标交易数据的指标维度及目标交易数据的加工规则；目标数据查询主题包括不同指标维度的目标交易数据；

数据采集模块，用于根据目标数据采集模板中不同指标维度的目标交易数据及目标交易数据的加工规则采集目标交易数据。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据采集方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述数据采集方法的计算机程序。

本发明实施例中，根据业务需求确定预先配置的目标数据采集模板；目标数据采集模板包括目标数据采集条件及符合目标数据采集条件的目标数据查询主题；目标数据采集条件包括目标交易数据的指标维度及目标交易数据的加工规则；目标数据查询主题包括不同指标维度的目标交易数据；根据目标数据采集模板中不同指标维度的目标交易数据及目标交易数据的加工规则采集目标交易数据。本发明实施例将交易数据划分为不同的指标维度，预先配置数据采集模板中数据采集条件的交易数据的加工规则及数据查询主题中不同指标维度的交易数据，能够提高采集数据的灵活性；直接利用数据采集模板中不同指标维度的交易数据及交易数据的加工规则采集交易数据，能够提高采集数据的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例提供的数据采集方法的实现流程图；

图2为本发明实施例提供的数据采集方法的另一实现流程图；

图3为本发明实施例提供的数据采集方法中步骤201至步骤204的实现流程图；

图4为本发明实施例提供的数据采集方法的又一实现流程图；

图5为本发明实施例提供的数据采集方法中步骤101至步骤102的实现流程图；

图6为本发明实施例提供的数据采集方法中步骤401的实现流程图；

图7为本发明实施例提供的数据采集装置的功能模块图；

图8为本发明实施例提供的数据采集装置的另一功能模块图；

图9为本发明实施例提供的数据采集装置中模板配置模块801、采集条件配置模块802、主题配置模块803及数据配置模块804的结构框图；

图10为本发明实施例提供的数据采集装置的又一功能模块图；

图11为本发明实施例提供的数据采集装置中模板确定模块701及数据采集模块702的结构框图；

图12为本发明实施例提供的数据采集装置中即席查询模块1001的结构框图；

图13为本发明实施例提供的基于业务需求需要采集的“净利息收入表”示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

图1示出了本发明实施例提供的数据采集方法的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：

如图1所示，数据采集方法，其包括：

步骤101，根据业务需求确定预先配置的目标数据采集模板；目标数据采集模板包括目标数据采集条件及符合目标数据采集条件的目标数据查询主题；目标数据采集条件包括目标交易数据的指标维度及目标交易数据的加工规则；目标数据查询主题包括不同指标维度的目标交易数据；

步骤102，根据目标数据采集模板中不同指标维度的目标交易数据及目标交易数据的加工规则采集目标交易数据。

本发明实施例将纷繁杂乱的交易数据按照不同的指标维度进行划分，划分为不同指标维度的交易数据。其中，该指标维度可以包括交易时间、交易机构、交易金额及交易方向等。本领域技术人员可以理解的是，该指标维度还可以包括除上述指标维度之外的其它指标维度，例如交易类型等等。

在采集数据之前，根据不同的业务需求或者业务类型预先配置多个数据查询主题，数据查询主题包括一个或多个不同指标维度的交易数据。数据查询主题中不同指标维度的交易数据可以基于业务场景灵活配置。数据查询主题的设计与建立打破了数据孤岛，将混乱的交易数据重塑成统一的指标维度，允许有权限的用户灵活地选择或配置指标维度从而组成业务场景所需的数据查询主题。

与此同时沉淀并提取一些共性的数据查询主题，避免大量重复操作占据各类资源。此外，数据查询主题既支持明细查询也支持汇总查询，提高用户体验感的敏捷程度。数据查询主题的建设、不断优化与升级，从无到有、从普通到改革，使得数据查询主题变成顺利满足日常经营分析和监管要求的重要运营基石。

以下表一示例性的提供多个数据查询主题，分别适用于不同的业务场景：

表一 数据查询主题

另外，基于预先配置的数据查询主题，进一步基于数据查询主题及业务需求预先配置适用于不同业务场景的数据采集模板，以形成数据采集模板集合。其中，数据采集模板包括数据采集条件及符合数据采集条件的数据查询主题，该数据查询主题与业务需求相对应。该数据采集条件包括交易数据的指标维度及(不同指标维度的)交易数据的加工规则。

具体在采集目标交易数据时，首先基于业务需求从数据采集模板集合中确定适用于该业务场景的预先配置的目标数据采集模板。该目标数据采集模板包括了目标数据采集条件及符合目标数据采集条件的目标数据查询主题；目标数据采集条件包括目标交易数据的指标维度及目标交易数据的加工规则；适应该业务场景的目标数据查询主题包括不同指标维度的目标交易数据。

最后，根据目标数据采集模板中不同指标维度的目标交易数据及目标交易数据的加工规则采集目标交易数据。

在本发明实施例中，根据业务需求确定预先配置的目标数据采集模板；目标数据采集模板包括目标数据采集条件及符合目标数据采集条件的目标数据查询主题；目标数据采集条件包括目标交易数据的指标维度及目标交易数据的加工规则；目标数据查询主题包括不同指标维度的目标交易数据；根据目标数据采集模板中不同指标维度的目标交易数据及目标交易数据的加工规则采集目标交易数据。本发明实施例将交易数据划分为不同的指标维度，预先配置数据采集模板中数据采集条件的交易数据的加工规则及数据查询主题中不同指标维度的交易数据，能够提高采集数据的灵活性；直接利用数据采集模板中不同指标维度的交易数据及交易数据的加工规则采集交易数据，能够提高采集数据的效率。

图2示出了本发明实施例提供的数据采集方法的另一实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，为了提高数据采集模板/数据采集条件/数据查询主题/交易数据配置的灵活性，如图2所示，在上述图1所示方法步骤的基础上，数据采集方法还包括：

步骤201，根据接收到的模板配置指令配置数据采集模板。和/或

步骤202，根据接收到的采集条件配置指令配置数据采集模板中的数据采集条件。和/或

步骤203，根据接收到的主题配置指令配置数据采集模板中的数据查询主题。和/或

步骤204，根据接收到的数据配置指令配置数据查询主题中不同指标维度的交易数据。

在配置数据采集模板时，可以基于接收到的模板配置指令配置数据采集模板。另外，还可以基于接收到的配置修改指令对配置好的数据采集模板进行修改，以提高数据采集模板配置的灵活性。例如对数据采集模板包含的数据采集条件或数据查询主题等进行修改，修改可以包括数据采集条件或数据查询主题的增加、数据采集条件或数据查询主题的删除，数据采集条件或数据查询主题等名称的替换修改等。

在配置数据采集条件时，可以基于接收到的采集条件配置指令配置数据采集条件。另外，还可以基于接收到的配置修改指令对配置好的数据采集条件进行修改，以提高数据采集条件配置的灵活性。例如对配置好的数据采集条件等进行修改，修改可以包括数据采集条件的增加、数据采集条件的删除，数据采集条件名称的替换修改等。

在配置数据查询主题时，可以基于接收到的主题配置指令配置数据查询主题。另外，还可以基于接收到的配置修改指令对配置好的数据查询主题进行修改，以提高数据查询主题配置的灵活性。例如对数据查询主题包含的交易数据的指标维度或指标维度下的交易数据进行修改，修改可以包括交易数据的指标维度或指标维度下的交易数据的增加、交易数据的指标维度或指标维度下的交易数据的删除，交易数据的指标维度或指标维度下的交易数据等名称的替换修改等。

在配置数据查询主题中不同指标维度的交易数据时，可以基于接收到的数据配置指令配置数据查询主题中不同指标维度的交易数据。另外，还可以基于接收到的配置修改指令对配置好的数据查询主题中不同指标维度的交易数据进行修改，以提高数据配置的灵活性。例如对数据查询主题包含的交易数据的指标维度或指标维度下的交易数据进行修改，修改可以包括交易数据的指标维度或指标维度下的交易数据的增加、交易数据的指标维度或指标维度下的交易数据的删除，交易数据的指标维度或指标维度下的交易数据等名称的替换修改等。

在本发明实施例中，根据接收到的模板配置指令配置数据采集模板，能够提高数据采集模板配置的灵活性；根据接收到的采集条件配置指令配置数据采集模板中的数据采集条件，能够提高数据采集条件配置的灵活性；根据接收到的主题配置指令配置数据采集模板中的数据查询主题，能够提高数据查询主题配置的灵活性；根据接收到的数据配置指令配置数据查询主题中不同指标维度的交易数据，能够提高交易数据配置的灵活性。

图3示出了本发明实施例提供的数据采集方法中步骤201至步骤204的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，为了满足数据采集模板/数据采集条件/数据查询主题/交易数据的定制化需求，如图3所示，步骤201，根据接收到的模板配置指令配置数据采集模板，包括：

步骤301，根据接收到的定制化模板配置指令配置定制化数据采集模板。

步骤202，根据接收到的采集条件配置指令配置数据采集模板中的数据采集条件，包括：

步骤302，根据接收到的定制化采集条件配置指令配置数据采集模板中的定制化数据采集条件。

步骤203，根据接收到的主题配置指令配置数据采集模板中的数据查询主题，包括：

步骤303，根据接收到的定制化主题配置指令配置数据采集模板中的定制化数据查询主题。

步骤204，根据接收到的数据配置指令配置数据查询主题中不同指标维度的交易数据，包括：

步骤304，根据接收到的定制化数据配置指令配置定制化查询主题中定制化指标维度的交易数据。

在数据查询主题的指标维度日益丰富成型与逐步完善的牢固地基，在此基础上设计了自由组合指标形成分析报表、支持数据分析、清洗数据与浅层挖掘的接口与功能，“主动”演变出更多运用数据的业务场景，未雨绸缪迎接日新月异的新业务，从而提高竞争力。

此外，“被动”接纳用户要求的一些业务场景，比如支持分行验证债券逆回购的一些业务需求，从已有的一些固定报表、接口，配合业务测试，进一步完善了沉淀下来的固定报表、接口，挖掘出报表、接口的适用更多地潜在的业务场景，降低用户操作繁琐性。

即在采集交易数据时，可以基于特定的业务场景或者业务需求，灵活的配置定制化数据采集模板、数据采集模板中的定制化数据采集条件、数据采集模板中的定制化数据查询主题及定制化数据查询主题中的定制化指标维度的交易数据，以满足数据采集的定制化需求。

在本发明实施例中，根据接收到的定制化模板配置指令配置定制化数据采集模板，能够满足数据采集模板的定制化需求；根据接收到的定制化采集条件配置指令配置数据采集模板中的定制化数据采集条件，能够满足数据采集条件的定制化需求；根据接收到的定制化主题配置指令配置数据采集模板中的定制化数据查询主题，能够满足数据查询主题的定制化需求；根据接收到的定制化数据配置指令配置定制化查询主题中定制化指标维度的交易数据，能够满足交易数据的定制化需求。

图4示出了本发明实施例提供的数据采集方法的又一实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，为了进一步提高数据采集的灵活性和效率，如图4所示，在上述图1所示方法步骤的基础上，数据采集方法还包括：

步骤401，通过即席查询工具访问数据库表的方式采集交易数据。

完整的系统体系之下都必“进可攻退可守”。前面预先配置的数据采集模块及数据查询主题重点在于“进可攻”，即席查询工具的设定如同项目管理的风险管理，重在“退可守”。在数据的各种用途上，有概率遇到完全不在限定范围内的特殊数据需求，且这类需求通常具有突发性、临时性、高响应性的特点，为解决这样的痛点，即席查询应运而生。

即席查询是一种基于SAS(Statistics Analysis System，统计分析系统)等数据访问工具，以编写SQL((Structured Query Language，结构化查询语言)脚本的方式自定义数据采集条件，直接访问数据库表以获取数据结果的应用模式。即席查询可以做到：(A)通过数据访问工具访问数据库表获取数据；(B)提供一些临时且急迫的数据使用需求的服务；(C)能提供一些日常报表以外的数据，以便支持分行进行数据分析和挖掘。

在本发明实施例中，通过即席查询工具访问数据库表的方式采集交易数据，能够进一步提高数据采集的灵活性和效率。

图5示出了本发明实施例提供的数据采集方法中步骤101至步骤102的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，为了保障系统独立性及数据安全性，如图5所示，步骤101，根据业务需求确定预先配置的目标数据采集模板，包括：

步骤501，根据业务需求确定预先配置的第一系统的第一数据采集模板；第一数据采集模板包括第一数据采集条件及符合第一数据采集条件的第一数据查询主题；第一数据采集条件包括第一交易数据的指标维度及第一交易数据的加工规则；第一数据查询主题包括不同指标维度的第一交易数据；及

步骤502，根据业务需求确定预先配置的第二系统的第一数据采集模板；第二数据采集模板包括第二数据采集条件及符合第二数据采集条件的第二数据查询主题；第二数据采集条件包括第二交易数据的指标维度及第二交易数据的加工规则；第二数据查询主题包括不同指标维度的第二交易数据。

步骤102，根据目标数据采集模板中不同指标维度的目标交易数据及目标交易数据的加工规则采集目标交易数据，包括：

步骤503，根据第一数据采集模板中不同指标维度的第一交易数据及第一交易数据的加工规则采集第一交易数据；及

步骤504，根据第二数据采集模板中不同指标维度的第二交易数据及第二交易数据的加工规则采集第二交易数据。

相应的，数据采集方法还包括：

步骤505，将通过第一系统采集的第一交易数据和通过第二系统采集的第二交易数据确定为目标交易数据。

数据使用是把双刃剑。过分开放，数据活跃度高但有数据泄漏的潜在危机；过分保守，数据安全得以保证但运用效率低、施展空间受限。利用数据查询主题建立数据采集模板的模式是将每个系统视为一个单元，数据采集模板由系统创立且仅在系统内部使用，则平衡了数据矛盾的问题，具有以下两个优点：

(1)双重保障个性化。数据采集模板既可以由每个系统的数据服务人员根据本系统的业务场景需求而自行定制。而遇到相对复杂的业务场景，可以寻求其它系统的数据(信息)管理部门数据服务团队人员的帮助，由数据服务人员做好需求分析、归类形成其它系统的数据采集模板后推送给业务人员，既保留个性化定制也支持高速响应，避免复杂模版降低了使用频率，并能逐步推广成重要堡垒。

(2)资源分配优化、敏捷高效。在实际场景中，业务人员使用数据采集模板体验无缝衔接，等同于使用固定报表，无需任何过渡与额外培训。对于数据服务团队，接到新的业务需求，首先可以分析是否通过定制和发布数据采集模板满足与实现。如满足则无需进行另外系统开发，在保质保量前提下，精准要求精准成果，拥有敏捷开发的优势使得响应时效相对从前提高数倍。

数据查询主题既“共享”也注重“隐私”。“共享”各个系统必需的、合规的公用数据，也提供不同系统保护每个特色系统的“隐私”数据，形成良好的数据安全体系。在不同“隐私”系统上，支持制作该系统的数据采集模板和数据查询主题，通过发布系统的个性化数据采集模板和个性化数据查询主题，可实现仅限于在本系统内部共享，解决了数据使用问题的双刃剑，既有数据屏蔽却不墨守成规，保证了系统独立性及数据安全性。

具体在采集不同系统的交易数据时，根据业务需求分别确定预先配置的第一系统的第一数据采集模板，以及第二系统的第一数据采集模板；进而基于第一数据采集模板中不同指标维度的第一交易数据及第一交易数据的加工规则采集第一交易数据，基于第二数据采集模板中不同指标维度的第二交易数据及第二交易数据的加工规则采集第二交易数据，最后将通过第一系统采集的第一交易数据和通过第二系统采集的第二交易数据合并作为目标交易数据，以满足系统独立性及数据安全性。

在本发明实施例中，根据业务需求确定预先配置的第一系统的第一数据采集模板，根据业务需求确定预先配置的第二系统的第一数据采集模板；根据第一数据采集模板中不同指标维度的第一交易数据及第一交易数据的加工规则采集第一交易数据，根据第二数据采集模板中不同指标维度的第二交易数据及第二交易数据的加工规则采集第二交易数据，将通过第一系统采集的第一交易数据和通过第二系统采集的第二交易数据确定为目标交易数据，能够保障系统独立性及数据安全性。

图6示出了本发明实施例提供的数据采集方法中步骤401的实现流程，为便于描述，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，为了进一步保障系统独立性及数据安全性，如图6所示，步骤401，通过即席查询工具访问数据库表的方式采集交易数据，包括：

步骤601，通过即席查询工具访问第一系统数据库表的方式采集第一系统的交易数据。

和/或

步骤602，通过即席查询工具访问第二系统数据库表的方式采集第二系统的交易数据。

为保障系统独立性及数据安全性，(第一系统的操作人员)仅能通过即席查询工具访问第一系统数据库表的方式采集第一系统的交易数据，而不能通过即席查询工具访问第二系统数据库表的方式采集第二系统的交易数据。

同样的，(第二系统的操作人员)仅能通过即席查询工具访问第二系统数据库表的方式采集第二系统的交易数据，而不能通过即席查询工具访问第一系统数据库表的方式采集第一系统的交易数据。

在本发明实施例中，通过即席查询工具访问第一系统数据库表的方式采集第一系统的交易数据，通过即席查询工具访问第二系统数据库表的方式采集第二系统的交易数据，能够保障系统独立性及数据安全性。

本发明实施例还提供一种数据采集装置，如下面的实施例所述。由于这些装置解决问题的原理与数据采集方法相似，因此这些装置的实施可以参见方法的实施，重复之处不再赘述。

图7示出了本发明实施例提供的数据采集装置的功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：

参考图7，所述数据采集装置所包含的各个模块用于执行图1对应实施例中的各个步骤，具体请参阅图1以及图1对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述数据采集装置包括模板确定模块701及数据采集模块702。

模板确定模块701，用于根据业务需求确定预先配置的目标数据采集模板；目标数据采集模板包括目标数据采集条件及符合目标数据采集条件的目标数据查询主题；目标数据采集条件包括目标交易数据的指标维度及目标交易数据的加工规则；目标数据查询主题包括不同指标维度的目标交易数据。

数据采集模块702，用于根据目标数据采集模板中不同指标维度的目标交易数据及目标交易数据的加工规则采集目标交易数据。

在本发明实施例中，模板确定模块701根据业务需求确定预先配置的目标数据采集模板；目标数据采集模板包括目标数据采集条件及符合目标数据采集条件的目标数据查询主题；目标数据采集条件包括目标交易数据的指标维度及目标交易数据的加工规则；目标数据查询主题包括不同指标维度的目标交易数据；数据采集模块702根据目标数据采集模板中不同指标维度的目标交易数据及目标交易数据的加工规则采集目标交易数据。本发明实施例将交易数据划分为不同的指标维度，预先配置数据采集模板中数据采集条件的交易数据的加工规则及数据查询主题中不同指标维度的交易数据，能够提高采集数据的灵活性；数据采集模块702直接利用数据采集模板中不同指标维度的交易数据及交易数据的加工规则采集交易数据，能够提高采集数据的效率。

图8示出了本发明实施例提供的数据采集装置的另一功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，为了提高数据采集模板/数据采集条件/数据查询主题/交易数据配置的灵活性，参考图8，所述数据采集装置所包含的各个模块用于执行图2对应实施例中的各个步骤，具体请参阅图2以及图2对应实施例中的相关描述，此处不再赘述。本发明实施例中，在上述图7所示模块结构的基础上，所述数据采集装置还包括模板配置模块801、采集条件配置模块802、主题配置模块803及数据配置模块804。

模板配置模块801，用于根据接收到的模板配置指令配置数据采集模板。和/或

采集条件配置模块802，用于根据接收到的采集条件配置指令配置数据采集模板中的数据采集条件。

主题配置模块803，用于根据接收到的主题配置指令配置数据采集模板中的数据查询主题。和/或

数据配置模块804，用于根据接收到的数据配置指令配置数据查询主题中不同指标维度的交易数据。

在本发明实施例中，模板配置模块801根据接收到的模板配置指令配置数据采集模板，能够提高数据采集模板配置的灵活性；采集条件配置模块802根据接收到的采集条件配置指令配置数据采集模板中的数据采集条件，能够提高数据采集条件配置的灵活性；主题配置模块803根据接收到的主题配置指令配置数据采集模板中的数据查询主题，能够提高数据查询主题配置的灵活性；数据配置模块804根据接收到的数据配置指令配置数据查询主题中不同指标维度的交易数据，能够提高交易数据配置的灵活性。

图9示出了本发明实施例提供的数据采集装置中模板配置模块801、采集条件配置模块802、主题配置模块803及数据配置模块804的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，为了满足数据采集模板/数据采集条件/数据查询主题/交易数据的定制化需求，参考图9，所述模板配置模块801、采集条件配置模块802、主题配置模块803及数据配置模块804所包含的各个单元用于执行图3对应实施例中的各个步骤，具体请参阅图3以及图3对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述模板配置模块801包括定制化模板配置单元901。

定制化模板配置单元901，用于根据接收到的定制化模板配置指令配置定制化数据采集模板。

所述采集条件配置模块802包括定制化采集条件配置单元902。

定制化采集条件配置单元902，用于根据接收到的定制化采集条件配置指令配置数据采集模板中的定制化数据采集条件。

所述主题配置模块803包括定制化主题配置单元903。

定制化主题配置单元903，用于根据接收到的定制化主题配置指令配置数据采集模板中的定制化数据查询主题；

所述数据配置模块804包括定制化数据配置单元904。

定制化数据配置单元904，用于根据接收到的定制化数据配置指令配置定制化查询主题中定制化指标维度的交易数据。

在本发明实施例中，定制化模板配置单元901根据接收到的定制化模板配置指令配置定制化数据采集模板，能够满足数据采集模板的定制化需求；定制化采集条件配置单元902根据接收到的定制化采集条件配置指令配置数据采集模板中的定制化数据采集条件，能够满足数据采集条件的定制化需求；定制化主题配置单元903根据接收到的定制化主题配置指令配置数据采集模板中的定制化数据查询主题，能够满足数据查询主题的定制化需求；定制化数据配置单元904根据接收到的定制化数据配置指令配置定制化查询主题中定制化指标维度的交易数据，能够满足交易数据的定制化需求。

图10示出了本发明实施例提供的数据采集装置的又一功能模块，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，为了进一步提高数据采集的灵活性和效率，参考图10，所述数据采集装置所包含的各个模块用于执行图4对应实施例中的各个步骤，具体请参阅图4以及图4对应实施例中的相关描述，此处不再赘述。本发明实施例中，在上述图1所示功能模块的基础上，所述数据采集装置还包括即席查询模块1001。

即席查询模块1001，用于通过即席查询工具访问数据库表的方式采集交易数据。

在本发明实施例中，即席查询模块1001通过即席查询工具访问数据库表的方式采集交易数据，能够进一步提高数据采集的灵活性和效率。

图11示出了本发明实施例提供的数据采集装置中模板确定模块701及数据采集模块702的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，为了保障系统独立性及数据安全性，参考图11，所述模板确定模块701及数据采集模块702所包含的各个单元用于执行图5对应实施例中的各个步骤，具体请参阅图5以及图5对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述模板确定模块701包括第一模板确定单元1101及第二模板确定单元1102。

第一模板确定单元1101，用于根据业务需求确定预先配置的第一系统的第一数据采集模板；第一数据采集模板包括第一数据采集条件及符合第一数据采集条件的第一数据查询主题；第一数据采集条件包括第一交易数据的指标维度及第一交易数据的加工规则；第一数据查询主题包括不同指标维度的第一交易数据。

第二模板确定单元1102，用于根据业务需求确定预先配置的第二系统的第一数据采集模板；第二数据采集模板包括第二数据采集条件及符合第二数据采集条件的第二数据查询主题；第二数据采集条件包括第二交易数据的指标维度及第二交易数据的加工规则；第二数据查询主题包括不同指标维度的第二交易数据。

所述数据采集模块702包括第一交易数据采集单元1103及第二交易数据采集单元1104。

第一交易数据采集单元1103，用于根据第一数据采集模板中不同指标维度的第一交易数据及第一交易数据的加工规则采集第一交易数据。

第二交易数据采集单元1104，用于根据第二数据采集模板中不同指标维度的第二交易数据及第二交易数据的加工规则采集第二交易数据。

所述数据采集装置还包括交易数据确定模块1105。

交易数据确定模块1105，用于将通过第一系统采集的第一交易数据和通过第二系统采集的第二交易数据确定为目标交易数据。

在本发明实施例中，第一模板确定单元1101根据业务需求确定预先配置的第一系统的第一数据采集模板，第二模板确定单元1102根据业务需求确定预先配置的第二系统的第一数据采集模板；第一交易数据采集单元1103根据第一数据采集模板中不同指标维度的第一交易数据及第一交易数据的加工规则采集第一交易数据，第二交易数据采集单元1104根据第二数据采集模板中不同指标维度的第二交易数据及第二交易数据的加工规则采集第二交易数据，交易数据确定模块1105将通过第一系统采集的第一交易数据和通过第二系统采集的第二交易数据确定为目标交易数据，能够保障系统独立性及数据安全性。

图6示出了本发明实施例提供的数据采集装置中即席查询模块1001的结构示意，为便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在本发明的一实施例中，为了进一步保障系统独立性及数据安全性，参考图12，所述即席查询模块1001所包含的各个单元用于执行图6对应实施例中的各个步骤，具体请参阅图6以及图6对应实施例中的相关描述，此处不再赘述。本发明实施例中，所述即席查询模块1001包括第一即席查询单元1201和/或第二即席查询单元1202。

第一即席查询单元1201，用于通过即席查询工具访问第一系统数据库表的方式采集第一系统的交易数据。

第二即席查询单元1202，用于通过即席查询工具访问第二系统数据库表的方式采集第二系统的交易数据。

在本发明实施例中，第一即席查询单元1201通过即席查询工具访问第一系统数据库表的方式采集第一系统的交易数据，第二即席查询单元1202通过即席查询工具访问第二系统数据库表的方式采集第二系统的交易数据，能够保障系统独立性及数据安全性。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据采集方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述数据采集方法的计算机程序。

以下结合一具体实例，示例性说明本发明数据采集模板的配置和数据采集的过程：

(一)数据采集模板的配置

基本分析思路：通过完成以下几个步骤，保障所定制的数据采集模板口径是清晰的，数据是准确的、可信的。

明确业务需求和分解业务需求：这是数据采集模板定制的基础，决定着数据采集模板定制的成败。明确需求就是要明确想要看什么交易数据、从哪些指标维度看交易数据。分解需求就是将想查的交易数据从业务语言转化为数据语言。数据语言体现为：数据采集条件，数据采集条件包括交易数据的指标维度，不同指标维度的交易数据的加工规则，不同指标维度的交易数据的展现维度等。

编制数据采集模板：涉及确认交易数据的指标维度和不同指标维度的交易数据的加工规则，具体包括：交易数据的指标维度(定位到具体的交易数据)；(2)不同指标维度的交易数据的加工规则(确定聚合函数)。

运行、验证、调试数据采集模板：运行查询、验证数据，根据采集到的数据确定是否符合业务需求。判断：不同指标维度的交易数据的加工规则(取数逻辑是否正确或业务口径是否合理)。

如果符合业务情况，则保存为数据采集模板；如果和业务实际有差异，需分析不同指标维度的交易数据的加工规则(取数逻辑或业务口径)是否存在问题。如存在问题则调整数据采集模板，重新运行和验证，直到符合业务需求。

(二)基于数据查询主题的数据采集模板的定制实例

下面以一个实例为例，说明基于数据查询主题的数据采集模板的定制操作步骤。

如图13所示，示出了基于业务需求需要统计的“净利息收入表”。经过分析确定数据采集条件为：(A)代客发起标志：1表示对私客户；(B)外汇产品类型：SPOT；(C)日期可选。在开始编制数据采集模板前，需要将需求明确到以上程度。

确认使用表一示例的外汇合约查询主题定制此数据采集模板。使用work space工具，进入数据采集模板编辑界面。挑选右侧外汇合约查询主题列表中的不同指标维度的交易数据拖入数据采集模板编辑页面，并根据需求更改交易数据的指标维度名称和不同指标维度的交易数据的加工规则(不同指标维度的交易数据的表达式定义)。

设置筛选器，即运行查询时提示用户输入的参数名称，如业务日期。运行报表，验证数据。对页面进行排版美化，并对记录格式进行调整，例如排序、汇总等。

本发明克服金融系统数据采集方式落后、数据挖掘能力欠缺的屏障，通过建立不同业务领域的数据查询主题和允许用户利用数据查询主题的交易数据自行定制数据采集模板的方式，提升金融系统的数据管理和应用能力，改善提升金融系统数字化治理和管理精细化水平，减少金融系统在信息化过程中的成本投入，提高在数据应用方面的自主性。

综上所述，本发明实施例中，根据业务需求确定预先配置的目标数据采集模板；目标数据采集模板包括目标数据采集条件及符合目标数据采集条件的目标数据查询主题；目标数据采集条件包括目标交易数据的指标维度及目标交易数据的加工规则；目标数据查询主题包括不同指标维度的目标交易数据；根据目标数据采集模板中不同指标维度的目标交易数据及目标交易数据的加工规则采集目标交易数据。本发明实施例将交易数据划分为不同的指标维度，预先配置数据采集模板中数据采集条件的交易数据的加工规则及数据查询主题中不同指标维度的交易数据，能够提高采集数据的灵活性；直接利用数据采集模板中不同指标维度的交易数据及交易数据的加工规则采集交易数据，能够提高采集数据的效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。