基于复杂网络的数据报送方法、装置、系统及介质
文献发布时间：2023-06-19 12:02:28
技术领域
本公开属于大数据技术领域，更具体地，涉及一种基于复杂网络的数据报送方法、装置、系统及介质。
背景技术
而随着数字时代的不断蓬勃放置，对数据的监管质量要求要也断提高，例如监管数据的横向范围大幅扩展，纵向颗粒度也不断细化。不同监管规范制度也可能存在交叉重叠的现象，而且监管的内容也几乎可以覆盖到组织的几乎所有业务范围。传统报送数据整合主要采用人工方式进行数据筛选和处理，存在工作量大、效率低下、数据间的关系不明确、统计口径存在差异等缺点。
发明内容
有鉴于此，本公开实施例提供了一种可以基于复杂网络的数据报送方法、装置、系统及介质，可以基于复杂网络的知识和统计特性，提供数据报送过程中涉及的数据之间、以及数据与业务领域之间的逻辑关系，提高报送数据效率。
本公开实施例的一个方面，提供了一种基于复杂网络的数据报送方法。该方法包括：构建用于报送数据的复杂网络，其中，所述复杂网络中的节点包括数据报送过程中涉及的数据表以及业务领域，所述复杂网络中节点之间的关联关系包括数据表之间的血缘关系、以及数据表与业务领域之间的归属关系；其中，每个所述血缘关系存在于两个具有数据加工关系的数据表之间，每个所述归属关系存在于涵盖相应业务领域的数据表和该业务领域之间；以及在进行数据报送时，从所述复杂网络中基于数据报送的报送主题进行数据筛选。
根据本公开的实施例，所述构建用于报送数据的复杂网络包括：将所述数据报送过程中涉及的每个数据表作为所述复杂网络中的一个节点；将所述数据报送过程中涉及的每个业务领域作为所述复杂网络中的一个节点；在两个具有数据加工关系的数据表之间通过加工字段建立起所述血缘关系，其中，所述加工字段为在数据加工的过程中进行数据抽取时所依据的字段；其中，每个所述血缘关系中包含至少一个所述加工数据；以及根据所述血缘关系包含的所述加工字段所涵盖的业务领域，建立具有所述血缘关系的两个数据表与业务领域之间的所述归属关系。
根据本公开的实施例，所述在两个具有数据加工关系的数据表之间通过加工字段建立起所述血缘关系还包括：基于所述血缘关系所包含的所述加工字段的个数和/或字段属性，确定具有所述血缘关系的两个数据表之间的权重关系。
根据本公开的实施例，所述根据所述血缘关系包含的所述加工字段所涵盖的业务领域，建立具有所述血缘关系的两个数据表与业务领域之间的所述归属关系还包括：根据所述血缘关系所包含的所述加工字段中涵盖每个业务领域的字段的个数，确定具有所述血缘关系的两个数据表与每个业务领域之间的权重关系。
根据本公开的实施例，所述方法还包括可视化展示所述复杂网络的网络拓扑结构图。所述在进行数据报送时，从所述复杂网络中基于数据报送的报送主题进行数据筛选包括：基于所述报送主题匹配所述复杂网络中的节点的信息；以及在所述网络拓扑结构图中将匹配上的节点区别显示，以进行数据的筛选。
根据本公开的实施例，所述数据报送过程中涉及的数据表根据加工层级分类为多层级数据，其中，所述多层级数据包括明细数据、聚合数据、指标数据、或报表数据中的两个以上。其中，所述聚合数据中的数据表是通过对所述明细数据中的数据表初步加工处理得到的。所述指标数据中的数据表是通过对所述聚合数据中的数据表按照业务需求指标加工处理得到的。所述报表数据中的数据表是通过对所述指标数据中的数据表按照监管报送要求加工处理得到的。
根据本公开的实施例，在所述网络拓扑结构图中，代表所述多层级数据中不同层级的数据表的节点使用不同的符号和/或颜色来表示，以及代表业务领域的节点使用与代表数据表的节点不同的符号和/或颜色来表示。
本公开实施例的另一方面，提供了一种基于复杂网络的数据报送装置。所述装置包括复杂网络构建模块、以及数据筛选模块。所述复杂网络构建模块用于构建用于报送数据的复杂网络。其中，所述复杂网络中的节点包括数据报送过程中涉及的数据表以及业务领域，所述复杂网络中节点之间的关联关系包括数据表之间的血缘关系、以及数据表与业务领域之间的归属关系。其中，每个所述血缘关系存在于两个具有数据加工关系的数据表之间，每个所述归属关系存在于涵盖相应业务领域的数据表和该业务领域之间。数据筛选模块用于在进行数据报送时，从所述复杂网络中基于数据报送的报送主题进行数据筛选。
根据本公开的实施例，所述复杂网络构建模块包括节点设置子模块、以及关系建立子模块。所述节点设置子模块用于将所述数据报送过程中涉及的每个数据表作为所述复杂网络中的一个节点，以及将所述数据报送过程中涉及的每个业务领域作为所述复杂网络中的一个节点。所述关系建立子模块用于：在两个具有数据加工关系的数据表之间通过加工字段建立起所述血缘关系，其中，所述加工字段为在数据加工的过程中进行数据抽取时所依据的字段，其中，每个所述血缘关系中包含至少一个所述加工数据；以及根据所述血缘关系包含的所述加工字段所涵盖的业务领域，建立具有所述血缘关系的两个数据表与业务领域之间的所述归属关系。
根据本公开的实施例，所述装置还包括可视化模块。所述可视化模块用于可视化展示所述复杂网络的网络拓扑结构图。所述数据筛选模块用于基于所述报送主题匹配所述复杂网络中的节点的信息，以及在所述网络拓扑结构图中将匹配上的节点区别显示，以进行数据的筛选。
本公开实施例的另一方面，提供了一种基于复杂网络的数据报送系统。所述数据报送系统包括一个或多个存储器、以及一个或多个处理器。所述存储器存储有可执行指令。所述处理器执行所述可执行指令以实现如上所述的方法。
本公开实施例的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
本公开实施例的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
上述一个或多个实施例具有如下优点或益效果：可以至少部分地克服现有技术中通过人工筛选数据时处理效率低下，无法及时且精准判断数据类型的缺陷，并因此可以利用复杂网络理论实现数据自动归类筛选和多来源数据的自动整合，对提升监管报送数据的效率和质量起到有效的推动作用。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本公开实施例的基于复杂网络的数据报送方法和装置的系统架构；
图2示意性示出了根据本公开实施例的基于复杂网络的数据报送方法的流程图；
图3示意性示出了一个简单的复杂网络结构示意图；
图4示意性示出了银行的一个数据报送过程的示意图；
图5示意性示出了数据报送过程中数据加工层级的示意图；
图6示意性示出了根据本公开实施例的报送数据的数据架构图；
图7示意性示出了根据本公开另一实施例的基于复杂网络的数据报送方法的流程图；
图8示意性示出了根据本公开再一实施例的基于复杂网络的数据报送方法的流程图；
图9示意性示出了根据本公开实施例的基于复杂网络的数据报送装置的框图；以及
图10示意性示出了根据本公开实施例的适于实现基于复杂网络的数据报送的计算机系统的方框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
本公开各个实施例旨在提供一种基于复杂网络的数据报送方法、装置、系统及介质，利用复杂网络理论及模型的方法，分析监管报送各层数据之间、数据与所涵盖业务领域间的联系。
根据本公开的实施例的方法可以包括，首先构建用于报送数据的复杂网络，然后在进行数据报送时从该复杂网络中基于数据报送的报送主题进行数据筛选。其中，该复杂网络中的节点包括数据报送过程中涉及的数据表以及业务领域，该复杂网络中节点之间的关联关系包括数据表之间的血缘关系、以及数据表与业务领域之间的归属关系。其中，每个血缘关系存在于两个具有数据加工关系的数据表之间，每个归属关系存在于涵盖相应业务领域的数据表和该业务领域之间。
根据本公开的实施例，可以利用复杂网络理论知识、以及网络拓扑的基本模型及统计特征等技术，克服现有技术中通过人工筛选数据的方式，在面对高质量、高要求的海量报送数据时，处理效率低下，无法及时且精准判断数据类型的缺陷，并因此可以实现数据自动归类筛选和多来源数据的自动整合，对于对数据进行充分地交叉验证，定期开展数据质量监测，以及提升监管报送数据的效率和质量起到有效的推动作用。
需要说明的是，本公开实施例确定的基于复杂网络数据报送方法、装置、系统及介质可用于金融领域，也可用于除金融领域之外的任意领域，本公开对应用领域不做限定。
图1示意性示出了根据本公开实施例的基于复杂网络的数据报送方法和装置的系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用，例如银行管理系统、政务类应用、监控类应用、网页浏览器应用、搜索类应用、办公类应用、即时通信工具、邮箱客户端、社交平台软件等应用(仅为示例)。
服务器103可以是提供各种服务的服务器。例如服务器103可以构建用于报送数据的复杂网络，以一个组织在数据报送过程中涉及的数据表以及业务领域作为节点，以数据表之间的逻辑关系、以及数据表与业务领域之间的逻辑关系分别作为边，构建该复杂网络，从而可以将数据报送过程中涉及的数据表以及业务领域相互关联，打破数据壁垒。更进一步地，服务器103还可以根据用户从终端设备101输入的数据报送的报送主题，进行数据筛选。
关于复杂网络理论的研究已被广泛应用于各个领域，对复杂网络的定量与定性特征的科学理解已成为网络时代科学研究中一个极其重要的挑战性课题。该理论所提供的网络拓扑特性及模型将真实生活中不同的个体作为节点，将两个存在某种特定联系的个体连成边并以关系紧密程度分权重展现。复杂网络研究主要集中于以下三个方面：大量真实网络的实证研究、分析真实网络的统计特性、构建符合真实网络统计特性的演化模型。
复杂网络的一种定义为：具有自组织、自相似、吸引子、小世界、无标度中部分或全部性质的网络。简而言之，复杂网络就是一种呈现高度复杂性的网络，其主要网络模型包含：规则网络、随机网络、小世界网络、无标度网络、自相似网络等，且网络具有如下几个统计特性：
1)平均路径长度L
网络的平均路径长度指网络中所有节点对的平均距离，它表明网络中节点间的分离程度，反映了网络的全局性。
2)聚集系数C
节点的聚集系数是指与该节点相邻的所有节点之间连边的数目占这些相邻节点之间最大可能连边数目的比例。网络的聚集系数则是指网络中所有节点聚集系数的平均值，它反映了网络的局部特性。假设节点i有k
C(i)＝2E(i)/k
3)度分布
点的度是指与该节点相邻的节点的数目，即连接该节点的边的数目。而网络的度
4)介数
包括节点介数和边介数。节点介数指网络中所有最短路径中经过该节点的数量比例，边介数则指网络中所有最短路径中经过该边的数量比例。介数反映了相应的节点或边在整个网络中的作用和影响力。节点i的节点介数B(i)为：
节点i的边介数B(e
5)小世界效应
复杂网络的小世界效应是指尽管网络的规模很大(网络节点数目N很大)，但是两个节点之间的距离比我们想象的要小得多。也就是网络的平均路径长度L随网络的规模呈对数增长，即L～In N。大量的实证研究表明，真实网络几乎都具有小世界效应。
6)无标度特性
对于随机网络和规则网络，度分布区间非常狭窄，大多数节点都集中在节点度均值
需要说明的是，本公开实施例所提供的基于复杂网络的数据报送方法一般可以由服务器103执行。相应地，本公开实施例所提供的基于复杂网络的数据报送装置、系统及介质一般可以设置于服务器103中。本公开实施例所提供的基于复杂网络的数据报送方法也可以由不同于服务器103且能够与终端设备101和/或服务器103通信的服务器或服务器集群执行。相应地，本公开实施例所提供的基于复杂网络的数据报送装置、系统及介质也可以设置于不同于服务器103且能够与终端设备101和/或服务器103通信的服务器或服务器集群中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的基于复杂网络的数据报送方法的流程图。
如图2所示，根据该实施例的基于复杂网络的数据报送方法可以包括操作S210～操作S220。
首先在操作S210，构建用于报送数据的复杂网络。其中，该复杂网络中的节点包括数据报送过程中涉及的数据表以及业务领域，该复杂网络中节点之间的关联关系包括数据表之间的血缘关系、以及数据表与业务领域之间的归属关系。其中，每个血缘关系存在于两个具有数据加工关系的数据表之间，每个归属关系存在于涵盖相应业务领域的数据表和该业务领域之间。
图3示意性示出了一个简单的复杂网络结构示意图。需要说明的是，图3仅是示意性形象化地表示出复杂网络的结构示意，以帮助本领域技术人员理解本方案，而并非本公开实施例的用于报送数据的复杂网络的真实结构，不对本公开构成任何限定。
结合图3，一个复杂网络可以将具有真实物理意义的个体作为节点，将两个存在某种特定联系的个体连成边并以关系紧密程度分权重展现。
具体到本公开实施例的数据报送场景中，在构建用于报送数据的复杂网络时，可以将数据报送过程中涉及的每个数据表作为复杂网络中的一个节点，以及将数据报送过程中涉及的每个业务领域作为复杂网络中的一个节点。图3中的实心圆点或实心六边形代表一个节点。在一些实施例中，可以对不同类型的数据以不同的符号或颜色区分表示节点，例如对数据表和业务领域数据以不同符号展示，从而可以可视化地展示节点类型信息。
然后，在两个具有数据加工关系的数据表之间通过加工字段建立起血缘关系。其中，加工字段为在数据加工的过程中进行数据抽取时所依据的字段，其中，每个血缘关系中包含至少一个加工数据。一个组织机构中的数据可以包括业务一线产生的源数据，还可以包括在源数据基础上进行进一步加工处理(例如，数据清洗、格式处理、统计指标等)得到的数据。其中，数据加工的过程为从一个或多个数据表抽取数据，然后加工处理成另一个数据表中相应数据的过程。在该过程中进行数据抽取时所依据的字段(或所抽取的字段)即为上述加工字段。
根据本公开的实施例，可以以血缘关系作为两个数据表之间的边。例如，假设图3中实心圆点代表数据表对应的节点，则实心圆点之间的连边反映的就是两个数据表之间的血缘关系。
另外，在一些实施例中，还可以基于血缘关系所包含的加工字段的个数和/或字段属性，确定具有血缘关系的两个数据表之间的权重关系。字段属性例如可以是指该加工字段是否为被抽取数据的数据表的数据主键或者关键字段等信息。例如，聚合数据表A的数据来源于明细表a、b，其中，在加工得到聚合数据表A的过程中，从a表取了10个字段，且包括主键字段；而从b表取了2个字段，但不包括主键字段。那么在复杂网络中A-a这条边的权重就大于A-b的权重。
进一步地，根据本公开的实施例，还可以根据血缘关系包含的加工字段所涵盖的业务领域，建立具有血缘关系的两个数据表与业务领域之间的归属关系。即具有血缘关系的两个数据表中，该血缘关系所包含的加工字段属于哪个业务领域，该两个数据表就可以与这些业务领域建立起归属关系。
根据本公开的实施例，可以以该归属关系作为该两个数据表与对应的业务领域之间的边。例如，假设图3中实心六边形代表业务领域，则图中实心圆点与实心六边形之间的连边反映的就是一个数据表与业务领域之间的归属关系。
另外，根据本公开的实施例，可以根据血缘关系所包含的加工字段中涵盖每个业务领域的字段的个数，确定具有血缘关系的两个数据表与每个业务领域之间的权重关系。其中，例如一个业务领域的完整描述需要x个字段的信息，根据一个数据表关联的血缘关系中的加工字段属于该业务领域的字段数量，可以建立起数据表与业务领域的权重。
然后在操作S220，在进行数据报送时，从构建的该复杂网络中基于数据报送的报送主题进行数据筛选。构建了复杂网络后，当从该复杂网络中匹配出与报送主题相关联的数据表信息后，就可以通过复杂网络中的关联关系显示出这些数据表涉及的业务领域、以及与之相关的其他数据表及其关联程度，与人工筛选数据相比可以节省大量时间，减少人力资源投入，更具高效性与智能性。
图4示意性示出了银行的一个数据报送过程的示意图。
如图4所示，以银行为例，该数据报送过程中的数据范围包含存款、贷款、会计核算、信用卡、客户信息、信用信息、外汇、债券等业务范围，需要报送的监管机构包括境内/境外多家监管机构(例如，监管机构1、监管机构12、…、监管机构Y等)。不同的监管机构每次所需要报送的报送主题、报送时间间隔或周期、以及报表格式可能不同。相关技术中针对不同的报送主题独立建设系统，难免导致统计口径差异，缺少清晰明了的数据联系，难以高效满足数据报送及时性与准确性。本公开实施例的方法，可以利用复杂网络理论分析报送过程中涉及到的数据的关联关系，打破数据与业务领域之间的壁垒，并且支持海量数据的处理与分析，更适合监管报送数据来源复杂、涉及业务范围广的场景。
图5示意性示出了数据报送过程中数据加工层级的示意图。
如图5所示，根据本公开的实施例，数据报送过程中涉及的数据表根据加工层级分类为多层级数据，其中，多层级数据包括明细数据、聚合数据、指标数据、或报表数据中的两个以上。
明细数据可以纳入上游源数据，包括从上游直接下传或从数据湖获取数据。
聚合数据中的数据表是通过对明细数据中的数据表初步加工处理得到的，例如按照业务领域将数据关联处理，生成业务可理解的轻度汇总数据。例如，把某一个时间段内某一业务领域下的明细数据全部统计在一起，得到一个聚合表。明细数据到聚合数据的加工过程中，使用的加工字段为从明细数据中进行数据筛选的字段。
指标数据中的数据表是通过对聚合数据中的数据表按照业务需求指标加工处理得到的，用于支持业务灵活定制指标。例如，可以将聚合数据加工成机构、科目、产品维度的统计指标。指标数据具有业务逻辑，业务人员可以理解的指标，是对一个或多个聚合表按照业务分析需求的逻辑处理后得到具有业务含义的各类指标。由聚合数据得到指标数据的加工过程中，加工字段包括从一个或多个聚合数据表中进行数据筛选的字段。在指标表的加工过程中可以按照这些字段从聚合数据表中取出数据，然后可以代入到指定的公式或算法中，得到相应指标数据。
报表数据中的数据表是通过对指标数据中的数据表按照监管报送要求加工处理得到的，例如可以基于指标数据，支持业务自定义生成报表数据，以便快递响应监管变化。例如，可以针对不同监管机构预先设置相应的格式报表数据。指标数据到报表数据的加工过程中，加工字段是各个报表从每个指标表中进行数据筛选时的条件字段。
本公开实施例的多层级数据之间可以根据加工字段相互建立血缘关系，支持向上向下钻取数据。
图6示意性示出了根据本公开实施例的报送数据的数据架构图。
如图6所示，根据本公开的实施例，可以将多层级数据中各个层级中的数据表模拟成复杂网络中的各个节点。例如，可以将存储在数据库中的每个明细数据表模拟为一个节点；或者可以将由明细数据聚合得到的每个聚合表模拟为一个节点；又或者，可以将对聚合表深度加工处理得到的每个指标表模拟为一个节点；再或者，可以将针对不同监管机构预先设置相应的每个报表作为一个节点。
同时，本公开实施例在构建复杂网络的时候，也会将业务领域模拟为节点。如图6所示业务领域的信息以各个业务领域的标签或分类信息来表征，例如对于银行业务的业务领域可以包括法人贷款、个人贷款、法人客户、债券、票据业务、委托贷款等。可以将每个业务领域的分类信息或业务标签模拟为一个节点。
这样，基于图6的数据架构构建的复杂网络，可以打破数据与业务领域之间的壁垒，对明细数据、聚合数据、指标数据、和/或报表数据之类的技术专有名称赋予业务含义，变得清晰可理解。
图7示意性示出了根据本公开另一实施例的基于复杂网络的数据报送方法的流程图。
如图7所示，根据该实施例的基于复杂网络的数据报送方法可以包括操作S210、操作S710、以及操作S721～操作S722。其中，操作S721～操作S722为操作S220的一个具体实施例。
首先在操作S210，构建用于报送数据的复杂网络，其中，复杂网络中的节点包括数据报送过程中涉及的数据表以及业务领域，复杂网络中节点之间的关联关系包括数据表之间的血缘关系、以及数据表与业务领域之间的归属关系。操作S210的具体介绍参考上文内容，在此不再赘述。
然后在操作S710，可视化展示复杂网络的网络拓扑结构图。采用复杂网络可视化工具(例如，Pajek工具、Gephi软件等)模拟出网络拓扑结构图。
接下来在操作S721，在进行数据报送时，基于报送主题匹配复杂网络中的节点的信息。
并且在操作S722，在网络拓扑结构图中将匹配上的节点区别显示(例如，高亮显示)，以进行数据的筛选。
根据本公开的实施例，可以形成可视化、可交互的网络拓扑结构图，这样可以把报送过程中涉及的数据的关系都反映出来。以此方式形成的复杂网络，可以展示出数据表之间的相互关系，便于进行数据报送时，定向追溯需要的各个数据表。
在一个实施例中，在网络拓扑结构图中，代表多层级数据中不同层级的数据表的节点可以使用不同的符号和/或颜色来表示，以及代表业务领域的节点可以使用与代表数据表的节点不同的符号和/或颜色来表示。从而在操作S722中进行数据筛选时，可以根据匹配上的节点的符号和/或颜色等，快速确定出在数据报送时需要筛选的数据属于哪个层级，并可以快速定位到需要筛选的数据的业务领域，对于处理报送数据的业务人员寻找数据起到极大的指导作用，提高数据报送效率。
图8示意性示出了根据本公开再一实施例的基于复杂网络的数据报送方法的流程图。
如图8所示，该数据报送方法可以包括步骤S801～S804。
步骤S801：网络节点选取。例如，可以基于图6所示的数据架构，将其中的各参数(明细数据、聚合数据、指标数据、报表数据及所涵盖的业务领域)模拟成复杂网络中的各个节点。
步骤S802：建立个节点的关联关系。明细数据、聚合数据、指标数据、报表数据之间通过加工字段建立起血缘关系。而这些加工字段分别归属不同的业务领域(如个贷、法贷、信用卡等)，因此以加工字段为基准，还可以创建各层数据与业务领域之间的归属关系。
步骤S803：测算节点之间的权重关系。以步骤S801中的节点、步骤S802中的关联关系(包括血缘关系和归属关系)作为边，参考复杂网络的各种典型模型，代入网络的统计特性参数，并且根据每个血缘关系中的加工字段的数量、含义与字段属性等，测算各节点之间的权重关系。
步骤S804：模拟报送数据网络模型。根据步骤S803中的权重关系，采用复杂网络可视化工具，如：Pajek、Gephi模拟出网络拓扑结构图，选中不同节点就可展示出各节点之间具体关联了哪些加工字段及其权重。从而，形成的复杂网络的网络拓扑图，可以直观地显示不同数据之间、数据与业务领域之间的联系，且相关联关系分权重展现，方便区分联系的紧密程度，为进一步筛选和分析数据奠定基础。
需要报送数据时，可以根据报送主题首先查看报表数据中是否有满足条件可直接报送的报表数据，如果有可以直接使用。如果没有，可以查看是否可以复用已有报表数据的格式，如果有，则可以在已有的报表数据基础上按照报表条件筛找指标数据等，可以层层钻取或追溯。
复杂网络理论与模型支持海量数据的处理与分析，且预测准确率高于其他模型，更适合监管报送数据来源复杂、涉及业务范围广的特点，并且随着样本数据量的增加，数据筛查的准准确率可以进一步提高。
图9示意性示出了根据本公开实施例的基于复杂网络的数据报送装置900的框图。
如图9所示，根据本公开实施例的基于复杂网络的数据报送装置900可以包括复杂网络构建模块910和数据筛选模块920。根据本公开另一些实施例，该装置900还可以进一步包括可视化模块930。该装置900可以用于实现参考图2～图8所描述的根据本公开实施例的方法。
复杂网络构建模块910例如可以执行操作S210，用于构建用于报送数据的复杂网络。其中，复杂网络中的节点包括数据报送过程中涉及的数据表以及业务领域，复杂网络中节点之间的关联关系包括数据表之间的血缘关系、以及数据表与业务领域之间的归属关系。其中，每个血缘关系存在于两个具有数据加工关系的数据表之间，每个归属关系存在于涵盖相应业务领域的数据表和该业务领域之间。
数据筛选模块920例如可以执行操作S220用于在进行数据报送时，从复杂网络中基于数据报送的报送主题进行数据筛选。
可视化模块930例如可以执行操作S710，用于可视化展示复杂网络的网络拓扑结构图。相应地，数据筛选模块920用于基于报送主题匹配复杂网络中的节点的信息，以及在网络拓扑结构图中将匹配上的节点区别显示，以进行数据的筛选。
根据本公开的一些实施例，复杂网络构建模块910还可以进一步包括节点设置子模块911和关系建立子模块912。
节点设置子模块911用于将数据报送过程中涉及的每个数据表作为复杂网络中的一个节点，以及将数据报送过程中涉及的每个业务领域作为复杂网络中的一个节点。
关系建立子模块912用于：在两个具有数据加工关系的数据表之间通过加工字段建立起血缘关系，其中，加工字段为在数据加工的过程中进行数据抽取时所依据的字段，其中，每个血缘关系中包含至少一个加工数据；以及根据血缘关系包含的加工字段所涵盖的业务领域，建立具有血缘关系的两个数据表与业务领域之间的归属关系。
更进一步地，关系建立子模块912还用于基于血缘关系所包含的加工字段的个数和/或字段属性，确定具有血缘关系的两个数据表之间的权重关系。可选地，关系建立子模块912还用于根据血缘关系所包含的加工字段中涵盖每个业务领域的字段的个数，确定具有血缘关系的两个数据表与每个业务领域之间的权重关系。
根据本公开实施例的基于复杂网络的数据报送装置900，可以升级组织的报送数据架构体系，实现优化监管数据与业务领域关系，在保障监管数据快速供给的基础上，可以更有效地落实数据有据可依，准确完整，有利于提升数据监管报送质量。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，复杂网络构建模块910、数据筛选模块920、以及可视化模块930中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，复杂网络构建模块910、数据筛选模块920、以及可视化模块930中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，复杂网络构建模块910、数据筛选模块920、以及可视化模块930中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图10示意性示出了根据本公开实施例的适于实现基于复杂网络的数据报送的计算机系统1000的方框图。图10示出的计算机系统1000仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，根据本公开实施例的计算机系统1000包括处理器1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1003中，存储有计算机系统1000操作所需的各种程序和数据。处理器1001、ROM 1002以及RAM 1003通过总线1004彼此相连。处理器1001通过执行ROM 1002和/或RAM1003中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1002和RAM 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，计算机系统1000还可以包括输入/输出(I/O)接口1005，输入/输出(I/O)接口1005也连接至总线1004。计算机系统1000还可以包括连接至I/O接口1005的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1002和/或RAM 1003和/或ROM 1002和RAM 1003以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本公开实施例所提供的方法。
在该计算机程序被处理器1001执行时，执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1009被下载和安装，和/或从可拆卸介质1011被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。
- 基于复杂网络的数据报送方法、装置、系统及介质
- 征信数据报送方法、装置、系统、设备及计算机存储介质