用于计量数据在线审计的审计维度模型的构建方法

技术领域

本发明涉及计算机技术领域，尤其涉及用于计量数据在线审计的审计维度模型的构建方法。

背景技术

随着企业信息化管理的不断深入发展，提出了在线审计(远程联网审计)的审计方法。研究认为，数据挖掘的自动算法有利于实现持续审计，并且借助数据仓库等数据库技术，审计系统可很方便地实现远程接入和远程计算，实现在线审计。

随着电网行业信息化推进，在计量、营销等专业积累了大量的业务数据，并且，随着计量业务的快速发展以及管理要求的提升，必然导致计量业务所涉及的数据表众多、数据量巨大且数据结构复杂，需要构建大数据环境，才能有效地利用大数据技术，实现高效准确的在线审计。

现有技术中通常采用实体关系模型构建在线审计所需的审计模型，然而，实体关系模型在面对日益增大的数据表、数据量、数据源以及复杂的数据结构，表现出数据操作复杂，效率低下等问题，从而使得由实体关系模型构建的审计模型不便于复杂数据审计核查，不足以应对复杂多变的业务数据审计需求。此外，计量数据一致性直接关系到电量计算的准确性，同时也是电费计算的基础，数据质量及数据一致性就成为计量业务顺利开展的关键问题。对于实体关系模型构建的审计模型同样不能解决计量数据一致性以及准确性的技术问题。

发明内容

本申请的一个目的在于在海量数据量、多数据源、复杂数据结构的环境下如何构建效率更高、适应性更强的审计维度模型。

本申请的一个进一步的目的在于高效支撑计量数据审计核查针对不同业务环节和不同类型的审计点，能够在线识别出存在的异常的问题并给出归因。

特别地，本发明提供了用于计量数据在线审计的审计维度模型的构建方法，包括如下步骤：

对计量审计核查的需求进行分析，以获取包括对业务活动、业务对象以及业务逻辑的分析结果；

根据所述分析结果对计量审计核查的数据进行溯源；

以业务活动和业务对象作为驱动，抽象出事实和维度，构建维度表和事实表；

对业务场景进行分析抽象出统计分析指标、业务逻辑和维度，构建出公共汇总表；

分解计量审计的功能模块，并针对每个所述功能模块构建一一对应的应用表，从而构建出用于计量数据在线审计的审计维度模型。

可选地，对计量审计核查的需求进行分析，包括：

从所述计量审计核查的需求中提取出计量的业务活动、业务对象和业务逻辑；

对所述业务场景进行分析，以确定计量审计核查的审计范围、业务用途、输入输出参数，以及所述业务场景中所涉及的指标和维度；

对所述业务活动进行分析，以确定计量审计核查的业务事实、业务对象、业务逻辑及各业务活动之间的逻辑关系以及数据域。

可选地，根据所述分析结果对计量审计核查的数据进行数据溯源，还包括：

根据所述分析结果确定计量在线审计核查所涉及的数据表；

确定所需表之间字段关联关系；

确定目标表与来源表的映射关系，并确定所述目标表中的字段与所述来源表中的字段的映射关系；

确定所述功能模块对应来源表及字段的映射关系；

其中，所述目标表为所述维度表、所述事实表、所述公共汇总表或所述应用表。

可选地，对计量审计核查的指标及明细类需求进行数据溯源，包括表级数据溯源及字段级数据溯源：

针对计量审计核查的指标类需求字段，追溯所述指标类需求字段对应的来源表并梳理业务逻辑；

针对明细类需求字段，追溯所述明细类需求字段对应的来源表。

对源字段嵌套业务的逻辑进行加工合成，细化梳理出每个统计值的取数据逻辑及相关字段，以获得所述指标类需求字段。

可选地，所述维度表的构建方法包括：从所述业务活动中提炼出不同类型的多个业务对象，并将所述多个业务对象作为主维度，并梳理与所述主维度相关的维度属性，从而构建所述维度表；

可选地，对于具有多维度层次的维度表，在该维度表中进行一定的维度属性层次保留，以满足后续的维度钻取的审核场景。

可选地，所述事实表的构建方法包括：

对所有业务活动进行梳理，分析界定出不同类型的多个业务活动事实；

针对每个业务活动单独生成一张事实表，或针对相关联的多个业务活动合成出一张事实表；

可选地，对所述事实表的处理包括：数据规范化、数据降维以及脏数据清洗转换处理；

可选地，在对所述事实表进行处理时保持业务事务的粒度。

可选地，所述公共汇总表的构建方法包括：

按照业务进行划分，生成多字段的指标宽表；

根据维度的关联性，将相同主题相同粒度的指标放到同一个指标宽表中，从而构建出公共汇总表；

可选地，对所述公共汇总表的处理包括：将指标统计逻辑标准化、公共下沉，以减少指标二义性。

特别地，本发明提供了一种计算设备，所述计算设备包括：存储器、处理器及通信总线；所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的审计维度模型构建程序，以实现如前述的审计维度模型的构建方法的步骤。

特别地，本发明提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现如前述的审计维度模型的构建方法的步骤。

根据本发明的方法，通过结合计量业务审计需求特点，以及结合目前大数据量、多数据源、复杂数据结构环境，构建效率更高，适应性更强的用于计量在线数据审计核查的审计维度模型，可以更好地适应复杂多变的业务数据审计需求，且更好地支撑计量数据一致性在线审计需求，从而不需要通过重新构建模型来解决当前模型不能满足要求的问题。

进一步地，通过对在线审计的业务场景需求分析，计量数据溯源分析，原子指标和衍生指标提炼，主维度和事实明细提炼，设计计量数据在线审计维度模型设计并形成相应方法论，有效指导计量数据一致性在线核查工作，提升在线审计核查的效率、实时性和准确性。并且，基于审计维度模型实现在线审计计划、审计实施、审计报告智能生成，基于计量数据在线审计的审计维度模型，大幅提升计量数据审计核查的工作效率。

并且，基于维度模型构建的审计维度模型，尤其是针对营销域计量业务数据的审计维度模型，基于业务活动、业务对象、数据审计核查业务场景、业务核查指标分析，通过业务视角自顶向下设计，模型能够很好的体现业务全过程，涵盖了计量业务的主要活动事实明细数据，并通过主维度涵盖参与业务活动的业务对象维度数据，提炼业务核查的公共汇总表集中实现核查指标的加工，基于维度模型构建的审计维度模型很好地解决了原有关系模型数据操作复杂，不便于复杂数据审计核查效率较低，难以适应复杂多变的业务数据审计需求等问题。通过基于维度模型构建审计维度模型，有效支撑了计量数据审计核查工作，提高了数据审计核查效率，提升了数据模型适应复杂多变的计量数据审计核查需求能力。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1示出了根据本发明一个实施例的用于计量数据在线审计的审计维度模型的构建方法的示意性流程图；

图2示出了根据本发明一个实施例的从计量业务活动中提炼出不同类型的计量业务对象作为主维度的示意图；

图3示出了根据本发明一个实施例的通过分析业务活动提炼出事实表的示意图；

图4示出了根据本发明一个实施例的计算设备的结构框图。

具体实施方式

图1示出了根据本发明一个实施例的用于计量数据在线审计的审计维度模型的构建方法的示意性流程图。如图1所示，该构建方法包括：

步骤S100，对计量审计核查的需求进行分析，以获取包括对业务活动、业务对象以及业务逻辑的分析结果；

步骤S200，根据分析结果对计量审计核查的数据进行溯源；

步骤S300，以业务活动和业务对象作为驱动，抽象出事实和维度，构建维度表和事实表；

步骤S400，对业务场景进行分析抽象出统计分析指标、业务逻辑和维度，构建出公共汇总表；

步骤S500，分解计量审计的功能模块，并针对每个功能模块构建一一对应的应用表，从而构建出用于计量数据在线审计的审计维度模型。

根据本发明的方法，通过结合计量业务审计需求，解决目前大数据量、分散数据源、复杂数据结构的环境下如何构建用于计量在线数据审计核查的审计维度模型，可以更好地适应复杂多变的业务数据审计需求，且更好地支撑计量数据一致性在线审计需求。

在步骤S100中，对计量审计核查的需求进行分析，包括：

从所述计量审计核查的需求中提取出计量的业务活动、业务对象和业务逻辑；

对所述业务场景进行分析，以确定计量审计核查的审计范围、业务用途、输入输出参数，以及所述业务场景中所涉及的指标和维度；

对所述业务活动进行分析，以确定计量审计核查的业务事实、业务对象、业务逻辑及各业务活动之间的逻辑关系以及数据域。

其中，以下示出一些计量的业务场景示例：

步骤S200包括：

(1)确定表：确定计量在线审计核查所涉及的数据表；

(2)确定表关联关系：确定所需表之间字段关联关系；

(3)确定表及字段关系：确定目标表及字段和来源表(或标准表)及字段的映射关系；

(4)页面功能模块的分解、确定数据字段以及开展数据溯源。

其中，页面功能模块的分解、确定数据字段以及开展数据溯源的步骤如下：

1)表级数据溯源

针对计量在线审核指标类需求字段，追溯来源表、梳理业务逻辑；

针对明细类需求字段，追溯对应共享层的数据表。

2)字段级数据溯源

针对计量在线审核需求字段，在确定来源表的前提下，分析出来源字段；

明细类需求字段，确定对应字段数据与来源表映射关系。

3)加工取数逻辑

针对计量在线审核指标类需求字段，包含原子指标、衍生指标和派生指标，是经过源数据字段嵌套业务逻辑加工合成，细化梳理出每个统计值的取数据逻辑及相关字段。

在步骤S300至步骤S500中，通过维度建模方法构建维度表、事实表、公共汇总表以及应用表。

在步骤S300中，该维度表是描述业务对象个体的基本信息，主要对业务事实的环境描述，一般是数据查询的约束条件和分类汇总的基础来源。设计维度表时从计量业务活动中提炼出不同类型的计量业务对象作为主维度，然后梳理主维度相关的一些维度属性，基于实际数据分析需要可以对维度做适量维度冗余，方便后续的数据设计核对，同时对存在多维度层次的情况，可以在维度表中进行适当维度属性层次保留，满足后续维度钻取的审核场景。

图2示出了根据本发明一个实施例的从计量业务活动中提炼出不同类型的计量业务对象作为主维度的示意图。如图2所示，该主维度可以包括：组织、网络、抄表段、用户、受电点、计量点、台区、线路、电能表以及采集终端。

在步骤S400中，该事实表是用以记录业务活动产生的信息，通过对业务活动的梳理，分析界定出不同类型的业务活动，每个业务活动可单独生成一张事实表，或相关联的多个业务活动合成一张事实表。计量事实表有粒度大小之分，基于数仓层次架构，事实表一般存在公共明细事实层，事实表不做聚合、汇总操作，仅做数据规范化、数据降维、脏数据清洗转换等操作，同时保持业务事务粒度，确保数据信息无丢失。

图3示出了根据本发明一个实施例的通过分析业务活动提炼出事实表的示意图。如图3所示，在“用采”维度下，存在两个业务活动，分别是测量点日冻结示数采集和测量点日冻结电能量采集，然后分别生成对应的事实表，这两个事实表的粒度均为电能表。在“抄表流程”维度下，存在三个业务活动，分别是抄表计划、抄表数据准备和抄表数据录入。其中，针对抄表计划这一业务活动，生成粒度为抄表段的事实表。针对抄表数据准备这一业务活动，生成粒度为用户的事实表。针对抄表数据录入，生成粒度为电能表的事实表。

设计事实表主要分为三类：第一类，单事务型事实表，依据业务活动，每一个业务动作就是一张事实表。第二类，累计快照型事实表，主要用于一个业务活动中存在多个业务步骤或状态的情况，根据业务活动主体，记录不同业务步骤或状态的日期。第三类，周期快照性事实表，主要记录状态变化，每天保留当前的快照数据，根据存储空间策略决定保留快照的时长等。

在步骤S400中，公共汇总表是对审计统计分析类指标的汇集，是原子指标和派生指标的数据集合，按照业务进行划分，生成多字段的指标宽表，根据分析维度关联性，可以将相同主题相同粒度的指标放到一个公共汇总表。公共汇总表的设计理念主要将指标统计逻辑标准化、公共下沉，减少指标二义性。公共汇总表构建的核心是要充分明确公共汇总表中统计指标计算算法。

传统指标计算一般采用SQL按维度group by汇总计算指标，但当大数据量，多维度汇总时，SQL语句中group by是执行效率较低的语句之一，开发工作量大，计算效率低。

本申请结合计量数据审计核查数据特点和维度模型基础，优化指标计算算法，引入数据立方体计算BUC计算算法，BUC算法是一个基于排序和划分自底向上计算的数据立方计算算法，BUC算法自底向上计算各个聚集，首先计算一个维上的聚集，然后计算两个维上的聚集，如此类推，自底向上的计算使得BUC算法可以采用共享划分的优化技术，并结合了特别适合于稀疏数据立方计算的单元组优化方法，适合计量数据审计核查指标计算需求，有效提升计算效率，解决传统汇总计算指标存在的效率问题。具体算法如下：

1.定义输入：

1)input:待聚集的关系。

2)dim:本次迭代的起始维。

2.定义全程量：

1)常量numDims：维的总和。

2)常量cardinality[numDims]:每个维的基数。

3)常量min_sup:分区中的元组的最少个数，满足它的分区才输出。

4)OutputRec：当前输出记录。

5)dataCount[numDims]：存放每个分区的大小。dataCount[i]是大小为cardinality[i]的整数列表。

3.输出：递归地输出满足最小支持度的冰山立方体单元。

具体的方法为：

1)首先扫描整个input，计算度量(如count)，并将结果存入outputRec；

2)划分每个维；

3)对维d创建数据的C个分区；

4)对每个分区(即维d的每个值)，在下一个维上聚集满足输出该划分的聚集元组，并在该划分下对下一维进行递归调用，否则剪枝。

由此，BUC算法采用共享划分的优化技术，并结合了特别适合于稀疏数据立方计算的单元组优化方法解决了汇总计算指标存在的效率问题。

在步骤S500中，应用表主要是对接页面功能模块，基于计量数据审计核查的需求拆解出的功能模块，设计应用层表结构，并确定每个功能块与各个应用表对应关系。根据页面复杂度，灵活设计应用表，其设计理念是一张应用表对接一个页面或者一个模块，数据相似的功能块也可以对应一张应用表，总体遵循页面功能块的数据达到快速查询响应的原则。

本发明方案通过以业务活动、业务对象作为建模驱动，抽象出事实和维度，构建公共(事实)明细表和公共维度表，同时针对业务分析场景，抽象统计分析指标、业务逻辑和分析维度，构建出公共汇总表，并根据需求构建应用表，从而实现审计维度模型的构建，实现分析层数据的统一管理，支撑计量数据一致性在线核查工作。

基于维度模型构建的审计维度模型，尤其是针对营销域计量业务数据的审计维度模型，基于业务活动、业务对象、数据审计核查业务场景、业务核查指标分析，通过业务视角自顶向下设计，模型能够很好的体现业务全过程，涵盖了计量业务的主要活动事实明细数据，并通过主维度涵盖参与业务活动的业务对象维度数据，提炼业务核查的公共汇总表集中实现核查指标的加工，基于维度模型构建的审计维度模型很好地解决了原有关系模型数据操作复杂，不便于复杂数据审计核查效率较低，难以适应复杂多变的业务数据审计需求等问题。通过基于维度模型构建审计维度模型，有效支撑了计量数据审计核查工作，提高了数据审计核查效率，提升了数据模型适应复杂多变的计量数据审计核查需求能力。

该审计维度模型构建完成之后，为了高效支撑计量在线数据审计核查应用，还可以包括计量审计核查服务注册发布步骤和计量审计核查服务调用步骤。

其中，计量审计核查服务注册发布步骤中，基于审计维度模型，可以封装公共性的计量审计服务并发布，发布流程包含注册发布、权限审核、信息查看和注册发布。

计量审计服务测试成功后，注册到服务网关；服务网关控制台支持计量审计核查服务基本信息及调用查阅；支持审计核查流量控制设置，限定时间范围内单个API调用频率，保护后端服务。

基于营销域计量业务活动、业务对象、数据审计业务场景、业务核查指标的分析与模型构建方法，能够高效构建审计维度模型，能够高效支撑计量数据审计核查针对不同业务环节和不同类型的审计点，提高了数据审计核查效率，提升了模型适应复杂多变的计量数据审计核查需求能力，并指导未来计量数据在线审核的优化工作。

计量审计核查服务调用步骤中，构建计量审计核查数据分析服务目录，并在审核核查时获取数据服务，使用者通过APP认证、IAM认证、OpenID Connect方式调用数据分析服务，高效支撑计量在线数据审计核查应用。

图4示出了根据本发明一个实施例的计算设备的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过通信总线530相连接，数据库550用于保存数据。

计算设备500还包括接入设备540，接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备540可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。

在本说明书的一个实施例中，计算设备500的上述部件以及图4中未示出的其他部件也可以彼此相连接，例如通过通信总线530。应当理解，图4所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备500可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备500还可以是移动式或静止式的服务器。

其中，所述存储器510用于存储计算机可执行指令，处理器520用于执行如下计算机可执行指令：对计量审计核查的需求进行分析，以获取分析结果；根据所述分析结果对计量审计核查的数据进行溯源；以业务活动和业务对象作为驱动，抽象出事实和维度，构建维度表和事实表；对业务场景进行分析抽象出统计分析指标、业务逻辑和分析维度，构建出公共汇总表；分解出多个页面功能模块，并针对每个所述页面功能模块构建一一对应的应用表，从而构建出用于计量数据在线审计的审计维度模型。

上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的用于计量数据在线审计的审计维度模型的构建方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述用于计量数据在线审计的审计维度模型的构建方法的技术方案的描述。

本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时以用于实现所述用于计量数据在线审计的审计维度模型的构建方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的用于计量数据在线审计的审计维度模型的构建方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述用于计量数据在线审计的审计维度模型的构建方法的技术方案的描述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明常用理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。