原因分析方法、装置、计算机设备、存储介质和程序产品
文献发布时间:2023-06-19 18:34:06
技术领域
本申请涉及大数据技术领域,特别是涉及一种原因分析方法、装置、计算机设备、存储介质和程序产品。
背景技术
当前数据中台建设中,普遍通过建设主题聚合形成数据资源基础,进而完善通用和专业的萃取数据为业务赋能,以数据资产视图的方式来实现基础数据、指标、标签、模型等数据资产的充分共享和动态维护。
但业务人员在使用数据资产视图中存在查询难、理解难、使用难等易用性问题。通常利用人工对海量的数据资产进行排查以确定发生易用性问题的原因。然而,此种确定发生易用性问题的原因的方法存在效率低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高确定发生易用性问题原因的效率的原因分析方法、装置、计算机设备、存储介质和程序产品。
第一方面,本申请提供了一种原因分析方法。该方法包括:
获取数据服务层级中各数据层的第一数据资产的数据加工链路和关联关系;
获取该第一数据资产的业务操作流程图,并根据该业务操作流程图确定数据资产视图的目标易用性问题;该数据资产视图根据该第一数据资产确定;
根据该关联关系和该数据加工链路对该目标易用性问题进行溯源,以确定该目标易用性问题发生的原因。
在其中一个实施例中,该根据该关联关系和该数据加工链路对该目标易用性问题进行溯源,以确定该目标易用性问题发生的原因,包括:
根据该关联关系和该数据加工链路,获取该数据资产视图中与该第一数据资产对应的第二数据资产的定义内容;
若该定义内容不满足预设清晰程度条件,则输出第一提示信息;该第一提示信息用于提示运维人员确定该目标易用性问题发生的原因。
在其中一个实施例中,该方法还包括:
若该定义内容满足该预设清晰程度条件,则对该第一数据资产和该第二数据资产的定义逻辑进行一致性检查;
若该定义逻辑的一致性检查未通过,则输出第二提示信息;该第二提示信息用于提示运维人员确定该目标易用性问题发生的原因。
在其中一个实施例中,该方法还包括:
若该定义逻辑的一致性检查通过,则获取该数据资产视图中各第一业务板块之间的重合度;
若该重合度大于等于第一预设重合度且小于等于第二预设重合度,则输出第一报警信息。
在其中一个实施例中,该方法还包括:
若该重合度大于该第二预设重合度,则对该各第一业务板块以及各该数据层的第二业务板块的板块进行一致性检查;
若该板块一致性检查未通过,则输出第三提示信息;该第三提示信息用于提示运维人员确定该目标易用性问题发生的原因。
在其中一个实施例中,该方法还包括:
若该板块一致性检查通过,则获取查询该第二数据资产的查询结果;
若该查询结果中包括的数据资产的数量大于等于第一预设数量且小于等于第二预设数量,则输出第二报警信息。
在其中一个实施例中,该方法还包括:
若该查询结果中包括的数据资产的数量大于该第二预设数量,则输出第四提示信息;该第四提示信息用于提示运维人员确定该目标易用性问题发生的原因。
在其中一个实施例中,该方法还包括:
若该查询结果中包括的数据资产的数量小于等于第三预设数量,则根据该第一数据资产的存储状态回溯查询条件对应的数据资产的存储状态,并输出第三报警信息;该查询条件为该查询结果对应的条件。
在其中一个实施例中,该方法还包括:
若该板块一致性检查通过,则获取该第一数据资产和该第二数据资产的资产信息,并对该资产信息进行一致性检查;
若该资产信息的一致性检查未通过,则输出第五提示信息;该第五提示信息用于提示运维人员确定该目标易用性问题发生的原因。
在其中一个实施例中,该方法还包括:
检测各该数据层以及该数据资产视图中的各功能;
若该各功能中不存在目标功能,则输出第六提示信息;该第六提示信息用于提示运维人员检查该数据加工链路的完整性,该目标功能包括预设的多个功能中除该各功能之外的其他功能。
第二方面,本申请还提供了一种原因分析装置。该装置包括:
第一获取模块,用于获取数据服务层级中各数据层的第一数据资产的数据加工链路和关联关系;
第二获取模块,用于获取该第一数据资产的业务操作流程图,并根据该业务操作流程图确定数据资产视图的目标易用性问题;该数据资产视图根据该第一数据资产确定;
确定模块,用于根据该关联关系和该数据加工链路对该目标易用性问题进行溯源,以确定该目标易用性问题发生的原因。
第三方面,本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器,该存储器存储有计算机程序,该处理器执行该计算机程序时实现第一方面任一项的原因分析方法。
第四方面,本申请还提供了一种计算机可读存储介质。该计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现第一方面任一项的原因分析方法。
第五方面,本申请还提供了一种计算机程序产品。该计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面任一项的原因分析方法。
上述原因分析方法、装置、计算机设备、存储介质和程序产品,获取数据服务层级中各数据层的第一数据资产的数据加工链路和关联关系,获取第一数据资产的业务操作流程图,并根据业务操作流程图确定根据第一数据资产所确定的数据资产视图的目标易用性问题,根据关联关系和数据加工链路对目标易用性问题进行溯源,以确定目标易用性问题发生的原因。由于本实施例通过获取数据服务层级中各数据层的第一数据资产的数据加工链路和关联关系,能够打通数据加工链路,进而获取第一数据资产的业务操作流程图,以打通数据资产操作的业务操作流程,进而根据业务操作流程图确定数据资产视图的目标易用性问题,从而根据关联关系和数据加工链路对目标易用性问题进行溯源,快速确定目标易用性问题发生的原因,以提高目标易用性问题所发生的原因的确定效率。
附图说明
图1为一个实施例中一种原因分析方法的应用环境图;
图2为一个实施例中一种原因分析方法的流程示意图;
图3为一个实施例中一种目标易用性问题发生原因的确定方法的流程示意图;
图4为一个实施例中一种对定义逻辑进行一致性检查的方法的流程示意图;
图5为一个实施例中一种重合度的获取方法的流程示意图;
图6为一个实施例中一种对板块进行一致性检查的方法的流程示意图;
图7为一个实施例中一种对资产信息进行一致性检查的方法的流程示意图;
图8为一个实施例中另一种原因分析方法的示意图;
图9为一个实施例中原因分析装置的结构框图;
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的原因分析方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。便携式可穿戴设备可为智能手表、智能手环等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,图2为一个实施例中一种原因分析方法的流程示意图,以该方法应用于图1中的计算机设备为例进行说明,包括以下步骤:
S201,获取数据服务层级中各数据层的第一数据资产的数据加工链路和关联关系。
其中,数据服务层级包括数据源层、数据底座层和数据服务层。其中,数据底座层包括由贴源数据聚合的第一数据底座层和由主题聚合的第二数据底座层。
本实施例中,通过梳理各数据层中的第一数据资产的来源,获取第一数据资产的数据加工链路和关联关系,例如,梳理数据服务层中个人客户归属及地区统计信息表的来源是第二数据底座层中的个人客户归属及地区统计信息表,而第二数据底座层的个人客户归属及地区统计信息表的来源是第一数据底座层中的多个数据资产:个人客户营销管户关系表、个人客户资产地区月积数、个人营销机构和主机地区网点关系表、非信用卡聚合、贷记卡帐户聚合、准贷记卡账户聚合和个人活期存款账户聚合等,获取个人客户归属及地区统计信息表这一数据资产的数据加工链路和与个人客户归属及地区统计信息表有关联关系的数据资产。其中,关联关系以可视化的蛛网图形式展现。
可选的,根据第一数据资产的数据加工链路,确定第一数据资产的存储状态。其中,存储状态包括数据资产是否被纳入到数据服务层级的状态、数据资产是共享、不共享和有限共享的状态。
其中,数据加工链路为数据服务层级中各数据层的第一数据资产的加工逻辑“线”,也就是位于数据服务层级上层中的数据资产是由位于数据服务层级底层中的哪些数据资产加工得到的。例如,数据源层的数据资产:EDW_CCIS_WF_BUSI_INFO(电话银行工单业务信息文件)加工后发生了数据底座层的数据资产:T05_TELBANK_FORM_COMPLAIN_JNL(电话银行工单投诉业务信息日志)。其中,加工逻辑“线”包括:数据资产加工的具体代码,以表格的形式呈现出数据资产名称,来源应用、源表名、源字段、代码逻辑和业务规则(即,中文解释)。
S202,获取第一数据资产的业务操作流程图,并根据业务操作流程图确定数据资产视图的目标易用性问题;数据资产视图根据第一数据资产确定。
其中,业务操作流程图是向用户提供的操作说明示意图,使用户对数据资产的使用和交互与数据资产视图的业务需求的初衷一致,避免用户的低效操作。
本实施例中,通过整合各数据层中的第一数据资产的业务操作流程,获取第一数据资产的业务操作流程图,根据业务操作流程图,以问卷、访谈等形式收集业务人员在使用数据资产视图过程中存在的易用性问题,再通过聚类分析对易用性问题进行归纳,确定目标易用性问题。其中,目标易用性问题包括理解难、查询难和使用难中至少一项问题。
S203,根据关联关系和数据加工链路对目标易用性问题进行溯源,以确定目标易用性问题发生的原因。
本实施例中,根据关联关系和数据加工链路对目标易用性问题进行溯源,确定发生目标易用性问题的数据服务层级以及发生目标易用性问题的原因。
本实施例提供的原因分析方法,获取数据服务层级中各数据层的第一数据资产的数据加工链路和关联关系,获取第一数据资产的业务操作流程图,并根据业务操作流程图确定根据第一数据资产所确定的数据资产视图的目标易用性问题,数据资产视图根据第一数据资产确定,根据关联关系和数据加工链路对目标易用性问题进行溯源,以确定目标易用性问题发生的原因。由于本实施例通过获取数据服务层级中各数据层的第一数据资产的数据加工链路和关联关系,能够打通数据加工链路,进而获取第一数据资产的业务操作流程图,以打通数据资产操作的业务操作流程,进而根据业务操作流程图确定数据资产视图的目标易用性问题,从而根据关联关系和数据加工链路对目标易用性问题进行溯源,快速确定目标易用性问题发生的原因,以提高目标易用性问题所发生的原因的确定效率。
参照图3,图3为一个实施例中一种目标易用性问题发生原因的确定方法的流程示意图。本实施例涉及的是如何根据关联关系和数据加工链路对目标易用性问题进行溯源,以确定目标易用性问题发生的原因的一种可选的实现方式,在上述实施例的基础上,上述的S203具体包括如下步骤:
S301,根据关联关系和数据加工链路,获取数据资产视图中与第一数据资产对应的第二数据资产的定义内容。
S302,若定义内容不满足预设清晰程度条件,则输出第一提示信息;第一提示信息用于提示运维人员确定目标易用性问题发生的原因。
本实施例中,通过检查数据资产视图中第二数据资产的定义内容是否满足预设清晰程度条件,确定目标易用性问题发生的原因。若定义内容不满足预设清晰程度条件,则输出第一提示信息,以提示运维人员确定发生理解难的目标易用性问题的原因。
其中,预设清晰程度条件可以是指定义内容是否有明确的自然语言描述,也可以是指定义内容中特定内容需用自然语言描述。
可选的,建立定时任务,每日调起对目标易用性问题进行溯源,对数据服务层级中第一数据资产和数据资产视图中第二数据资产进行一致性检查。其中一致性检查包括定义逻辑的一致性检查、板块的一致性检查和资产信息的一致性检查。
其中,通过定时任务,能够自动扫描目标易用性问题,确定自动扫描目标易用性问题发生的原因,并向运维人员发送提示信息,节省了大量排查和确定目标易用性问题发送的原因的时间,进行运维人员针对性地完善数据资产,并将无效的数据资产及时退出,使节约得到的人力资源和技术资源可以应用到更有价值的数据资产服务方面,比如精准营销、风险控制、管理层决策、监管报送等,能够创造更多的利润和社会价值,也就实现了“数据资产的业务赋能”。
本实施例提供的方法,通过根据关联关系和数据加工链路,获取数据资产视图中与第一数据资产对应的第二数据资产的定义内容,若定义内容不满足预设清晰程度条件,则输出用于提示运维人员确定所述目标易用性问题发生原因的第一提示信息。也就是说,本实施例中,通过判断定义内容是否满足预设清晰程度条件,确定是否输出第一提示信息,以提示运维人员确定发生理解难的目标易用性问题的原因,使目标易用性问题可视,以便运维人员快速解决目标易用性问题。
参照图4,图4为一个实施例中一种对定义逻辑进行一致性检查的方法的流程示意图。本实施例涉及的是如何对第一数据资产和第二数据资产的定义逻辑进行一致性检查的一种可选的实现方式。在上述实施例的基础上,该方法还包括如下步骤:
S401,若定义内容满足预设清晰程度条件,则对第一数据资产和第二数据资产的定义逻辑进行一致性检查。
本实施中,对定义逻辑进行一致性检查,不仅是将数据资产视图中的第二数据资产的定义逻辑分别与第二数据资产对应的各数据层的第一数据资产的定义逻辑进行一致性检查,也是将各数据层中相邻数据层之间的第一数据资产的定义逻辑进行一致性检查。其中,定义逻辑包括加工、未加工、业务定义和数据定义。
可选的,对数据资产视图中的不同功能模块下同名的第二数据资产与第二数据资产对应的各数据层的第一数据资产的定义逻辑进行一致性检查。
需要说明的是:在对不同功能模块下同名的第二数据资产与第一数据资产的定义逻辑进行一致性检查后,还需进一步对不同功能模块下同名的第二数据资产的内容进行相似度检查,以确定是否存在数据资产未整合、或重复呈现、或差异性不明确。例如,在数据功能模块有外部数据,而在外部数据管理功能模块也有外部数据。
可选的,对数据资产视图中的第二数据资产的基本属性与第二数据资产对应的各数据层的第一数据资产的基本属性进行一致性检查,并检查基本属性是否具备自然语言的含义描述以及业务介绍说明,确定是否存在以单一的技术视角进行说明。其中,基本属性包括但不限于表中文名、表英文名、输入应用、是否外部数据、外部数据来源、算法和境内外标识。
S402,若定义逻辑的一致性检查未通过,则输出第二提示信息;第二提示信息用于提示运维人员确定目标易用性问题发生的原因。
本实施例中,若定义逻辑的一致性检查未通过,则由于定义逻辑不一致导致理解难的目标易用性问题的发生,进而输出第二提示信息,以提示运维人员确定发生理解难的目标易用性问题的原因。
本实施例提供的方法,若定义内容满足预设清晰程度条件,则对第一数据资产和第二数据资产的定义逻辑进行一致性检查,若定义逻辑的一致性检查未通过,则输出第二提示信息,第二提示信息用于提示运维人员确定目标易用性问题发生的原因。也就是说,本实施例通过对第一数据资产和第二数据资产的定义逻辑进行一致性检查,确定目标易用性问题发生的原因,进而输出第二提示信息,以提示运维人员确定发生理解难的目标易用性问题的原因,使目标易用性问题可视,以便运维人员快速解决目标易用性问题。
参照图5,图5为一个实施例中一种重合度的获取方法的流程示意图。本实施例涉及的是如何获取数据资产视图中第一业务板块之间的重合度的一种可选额定实现方式,在上述实施例的基础上,该方法还包括如下步骤:
S501,若定义逻辑的一致性检查通过,则获取数据资产视图中各第一业务板块之间的重合度。
本实施例中,根据各第一业务板块之间都存在数据资产的数量和各第一业务板块存在数据资产的数量,获取各第一业务板块之间的重合度,其中,重合度为两个业务板块都包含的数据资产的数量与该两个业务板块总共包含的数据资产的数量的比值,两个业务板块都包含的数据资产指两个业务模块的数据资产的交集,两个业务板块总共包含的数据资产指该两个业务模块的数据资产的并集。例如A个人金融业务板块有5个数据资产,B信用卡业务板块有4个数据资产,C个人贷款业务板块有3个数据资产,ABC都存在数据资产D个人客户持有产品信息表和数据资产E个人客户基本信息表,则A-B的重合度为2/(3+2+2)=2/7,A-C的重合度为2/(3+2+1)=1/3,B-C的重合度为2/(2+2+1)=2/5。
S502,若重合度大于等于第一预设重合度且小于等于第二预设重合度,则输出第一报警信息。
本实施例,当重合度大于等于第一预设重合度且小于等于第二预设重合度,则输出第一报警信息,提醒运维人员关注。
本实施例提供的方法,若定义逻辑的一致性检查通过,则获取数据资产视图中各第一业务板块之间的重合度,若重合度大于等于第一预设重合度且小于等于第二预设重合度,则输出第一报警信息。也就是说,本实施例通过比较重合度与预设重合度,确定是否发生查询难的目标易用性问题的可能性。
参照图6,图6为一个实施例中一种对板块进行一致性检查的方法的流程示意图。本实施例涉及的是如何对各第一业务板块以及各数据层的第二业务板块的板块进行一致性检查的一种可选的实现方式。在上述实施例的基础上,该方法还包括如下步骤:
S601,若重合度大于第二预设重合度,则对各第一业务板块以及各数据层的第二业务板块的板块进行一致性检查。
本实施中,对板块进行一致性检查,不仅是将数据资产视图中的第二数据资产的第一业务板块分别与第二数据资产对应的各数据层的第一数据资产的第二业务板块进行一致性检查,也是将各数据层中相邻数据层之间的第一数据资产的第二业务板块进行一致性检查。
S602,若板块一致性检查未通过,则输出第三提示信息;第三提示信息用于提示运维人员确定目标易用性问题发生的原因。
本实施例提供的方法,若重合度大于第二预设重合度,则对各第一业务板块以及各数据层的第二业务板块的板块进行一致性检查,若板块一致性检查未通过,则输出用于提示运维人员确定目标易用性问题发生原因的第三提示信息。也就是说,本实施例通过对第一业务板块以及各数据层的第二业务板块的板块进行一致性检查,确定是否由于业务板块划分的粒度粗导致查询难的目标易用性问题的发生,进而输出第三提示信息,以提示运维人员确定发生查询难的目标易用性问题的原因,使目标易用性问题可视,以便运维人员快速解决目标易用性问题。
可选的,在上述实施例的基础上,还可以包括如下实现方式:
若板块一致性检查通过,则获取查询第二数据资产的查询结果;若查询结果中包括的数据资产的数量大于等于第一预设数量且小于等于第二预设数量,则输出第二报警信息。
其中,通过统计搜索引擎中的查询第二数据资产的查询结果,若查询结果中包括的数据资产的数量大于等于第一预设数量且小于等于第二预设数量,则确定查询第二数据资产的使用与第二数据资产的业务需求的关联性较低,进而输出第二报警信息,以提醒运维人员关注。
本实施例提供的方法,若板块一致性检查通过,则获取查询第二数据资产的查询结果,若查询结果中包括的数据资产的数量大于等于第一预设数量且小于等于第二预设数量,则输出第二报警信息。也就是说,本实例通过比较查询结果中包括的数据资产的数量与预设数量,输出第二报警信息,进而确定是否发生由于关联性低导致查询难的目标易用性问题的可能性。
可选的,在上述实施例的基础上,还可以包括如下实现方式:
若查询结果中包括的数据资产的数量大于第二预设数量,则输出第四提示信息;第四提示信息用于提示运维人员确定目标易用性问题发生的原因。
其中,当查询结果中包括的数据资产的数量大于第二预设数量,则确定查询第二数据资产的使用与第二数据资产的业务需求的关联性很低,即弱关联,例如,用户输入个人理财余额进行查询,但查询结果中出现法人理财这一数据资产。也就是存在优先级展现不恰当的数据资产,进而输出第四提示信息,并判断查询结果与登录用户的角色是否存在不适配,例如,个人金融业务部的业务人员登录查询个人金融资产时点余额,查询结果中出现技术移行网点参数对照表,查询结果与业务人员的角色不适配。
本实施提供的方法,若查询结果中包括的数据资产的数量大于第二预设数量,则输出第四提示信息,第四提示信息用于提示运维人员确定目标易用性问题发生的原因。也就是说,本实施例通过比较查询结果中包括的数据资产的数量与第二预设数量,确定是否由于存在弱关联导致查询难的目标易用性问题的发生,进而输出第四提示信息,以提示运维人员确定发生查询难的目标易用性问题的原因,使目标易用性问题可视,以便运维人员快速解决目标易用性问题。
可选的,在上述实施例的基础上,还可以包括如下实现方式:
若查询结果中包括的数据资产的数量小于等于第三预设数量,则根据第一数据资产的存储状态回溯查询条件对应的数据资产的存储状态,并输出第三报警信息,查询条件为查询结果对应的条件。
本实施例中,例如查询结果中的包括的数据资产的数量为0时,则根据各数据层中的第一数据资产的存储状态回溯数据资产的存储状态,并输出第三报警信息,提醒运维人员关注是否存在数据资产纳入不完整导致查询难的目标易用性问题的发生。
本实施例提供的方法,若查询结果中包括的数据资产的数量小于等于第三预设数量,则根据第一数据资产的存储状态回溯查询条件对应的数据资产的存储状态,并输出第三报警信息。也就是说,本实施例通过比较查询结果中包括的数据资产的数量和第三预设数量,输出第三报警信息,进而确定是否发生由于数据资产纳入不完整导致查询难的目标易用性问题的可能性。
参照图7,图7为一个实施例中一种对资产信息进行一致性检查的方法的流程示意图。本实施例涉及的是如何对资产信息进行一致性检查的一种可选的实现方式。在上述实施例的基础上,对资产信息进行一致性检查的方法具体包括如下步骤:
S701,若板块一致性检查通过,则获取第一数据资产和第二数据资产的资产信息,并对资产信息进行一致性检查。
其中,资产信息包括但不限于数据项的类型、长度、字典值、是否主键、是否可为空、敏感度和数据标准。
本实施中,对资产信息进行一致性检查,不仅是将数据资产视图中的第二数据资产的资产信息分别与第二数据资产对应的各数据层的第一数据资产的资产信息进行一致性检查,也是将各数据层中相邻数据层之间的第一数据资产的资产信息进行一致性检查。
可选的,并对各数据层的第一数据资产的资产信息的状态进行检查,确定是否存在资产信息的缺失。其中,状态包括有和没有。
可选的,对资产信息中除数据标准的信息和数据标准进行一致性检查,以确定是否存在贯标有误。其中,贯标有误是指信息与数据标准不一致,例如,某一信息的字段名称是客户职业,但是此信息对应的数据标准所展现的标准名称是个人客户性别,则存在贯标有误,即数据标准无参考价值。
S702,若资产信息的一致性检查未通过,则输出第五提示信息;第五提示信息用于提示运维人员确定目标易用性问题发生的原因。
其中,若资产信息的一致性检查未通过,则存在由于资产信息不一致导致使用难的目标易用性问题的发生,进而输出第五提示信息。
例如,数据资产视图的电话银行工单投诉业务信息日志表的“业务紧急程度代码”字段,登记的字典值与生产数据的字典值不一致,通过对电话银行工单投诉业务信息日志表对应的各数据层的数据资产进行一致性检查,在第二数据底座层的数据资产为电话银行工单投诉业务信息日志,在数据源层的数据资产为电话银行工单业务信息文件。由于数据源层的电话银行工单业务信息文件的字典值更新后,第二数据底座层的电话银行工单投诉业务信息日志的字典值未同步更新,导致数据资产视图的电话银行工单投诉业务信息日志表的字典值与生产数据的字典值不一致。
本实施例提供的方法,若板块一致性检查通过,则获取第一数据资产和第二数据资产的资产信息,并对资产信息进行一致性检查,若资产信息的一致性检查未通过,则输出用于提示运维人员确定目标易用性问题发生原因的第五提示信息。也就是说,本实施例通过对资产信息进行一致性检查,确定是否由于存在资产信息不一致导致使用难的目标易用性问题的发生,进而输出第五提示信息,以提示运维人员确定发生使用难的目标易用性问题的原因,使目标易用性问题可视,以便运维人员快速解决目标易用性问题。
可选的,在上述实施例的基础上,还可以包括如下实现方式:
检测各数据层以及数据资产视图中的各功能;若各功能中不存在目标功能,则输出第六提示信息;第六提示信息用于提示运维人员检查数据加工链路的完整性,目标功能包括预设的多个功能中除各功能之外的其他功能。
本实施中,若各功能中不存在目标功能,即目标功能应建立但未建立,例如目标功能为关系图谱和关联关系,检测各数据层以及数据资产视图中是否建立关系图谱和关联关系,则输出第六提示信息,以提示运维人员检查数据加工链路是否完整。
可选的,检测各目标功能中各个数据资产的自然语言描述是否清晰和一致。
本实施例提供的方法,通过检测各数据层以及数据资产视图中的各功能;若各功能中不存在目标功能,则输出用于提示运维人员检查数据加工链路完整性的第六提示信息。也就是说,本实施例通过检测各功能中是否存在目标功能,以确定数据加工链路的完整性,进而输出第六提示信息,以便运维人员检查数据加工链路的完整性。
需要说明的是,通过本实施例提供的方法快速确定目标易用性问题发生的原因,输出提示信息能够使目标易用性问题发生的节点可视,进而运维人员接收提示信息后,针对目标易用性问题发生的原因,对存在问题的数据资产进行修复后,经领导审批后才能将该提示信息闭环,否则会对运维人员进行考核,从而保证了目标易用性问题发生的节点可控,可追溯,并促进高价值数据资产充分作用与业务分析。
为了便于本领域技术人员更清楚理解本申请提供的原因分析方法,在此结合图8进行解释,图8为一个实施例中另一种原因分析方法的示意图。图8中的数据底座层(贴源数据)为第一数据底座层,数据底座层(主题聚合)为第二数据底座层,数据资产视图为数据应用层,属性信息为资产信息。
数据源层包括内部数据、业务数据、管理数据、资讯数据、外部数据、工商信息、舆情信息和监管信息。
数据底座层(贴源数据)包括数据湖。其中,数据底座层(贴源数据)是由数据源层中共享的数据加工得到的。
数据底座层(主题聚合)包括客户主题、资金主题、个人金交易主题和法人交易主题。其中,数据底座层(主题聚合)是由数据底座层(贴源数据)和数据源层中的数据加工得来的。
数据服务层包括共享数据服务、客户标签、共享指标、查询模板、客户标签、专业数据服务、人力资源、生产运维、风险和国际化。其中,数据服务层是由数据底座层(贴源数据)和数据底座层(主题聚合)中的数据加工得来的。
本实施例提供的原因分析方法包括如下过程:
1、检查数据资产视图中与第一数据资产对应的第二数据资产的定义内容是否清晰,若定义内容不满足预设清晰程度条件,则输出第一提示信息。
2、若定义内容满足预设清晰程度条件,则对第一数据资产和第二数据资产的基本属性进行一致性检查。
其中,一致性检查还包括基本属性是否具备自然语言的含义描述以及业务介绍说明,即业务视角的说明。若不具备业务视角的说明,则用户存在难以进一步使用数据资产的易用性问题。
3、若基本属性一致,则获取数据资产视图中各第一业务板块之间的重合度,确定数据资产是否按业务板块进行细分。
其中,若数据资产未按业务板块进行细分,则用户只能根据经验判断可能的业务板块或随机选择,则用户存在难以查找所需的数据资产的易用性问题。
4、若数据资产按业务板块进行细分,则确定查询结果与查询条件是否具有强关联性。
其中,若查询结果与查询条件不具有强关联性,则查询结果数量大,用户存在难以判断选择哪个数据资产进行深入探查的易用性问题,查看效率低。
5、若查询结果与查询条件具有强关联性,则确定数据资产的属性信息是否完整。
其中,若数据资产的属性信息不完整,则用户存在需从其他渠道确认属性信息的易用性问题。
6、若数据资产的属性信息完整,则确定属性信息是否准确。
本实施例提供的方法,通过获取数据服务层级中各数据层的第一数据资产的数据加工链路和关联关系,获取第一数据资产的业务操作流程图,并根据业务操作流程图确定根据第一数据资产所确定的数据资产视图的目标易用性问题,数据资产视图根据第一数据资产确定,根据关联关系和数据加工链路对目标易用性问题进行溯源,以确定目标易用性问题发生的原因。由于本实施例通过获取数据服务层级中各数据层的第一数据资产的数据加工链路和关联关系,能够打通数据加工链路,进而获取第一数据资产的业务操作流程图,以打通数据资产操作的业务操作流程,进而根据业务操作流程图确定数据资产视图的目标易用性问题,从而根据关联关系和数据加工链路对目标易用性问题进行溯源,快速确定目标易用性问题发生的原因,以提高目标易用性问题所发生的原因的确定效率。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的原因分析方法的原因分析装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个原因分析装置实施例中的具体限定可以参见上文中对于原因分析方法的限定,在此不再赘述。
在一个实施例中,如图9所示,提供了一种原因分析装置,该装置900,包括:第一获取模块901、第二模块902和确定模块903,其中:
第一获取模901,用于获取数据服务层级中各数据层的第一数据资产的数据加工链路和关联关系;
第二获取模块902,用于获取第一数据资产的业务操作流程图,并根据业务操作流程图确定数据资产视图的目标易用性问题;数据资产视图根据第一数据资产确定;
确定模块903,用于根据关联关系和数据加工链路对目标易用性问题进行溯源,以确定目标易用性问题发生的原因。
本实施例提供的原因分析装置,通过获取数据服务层级中各数据层的第一数据资产的数据加工链路和关联关系,获取第一数据资产的业务操作流程图,并根据业务操作流程图确定根据第一数据资产所确定的数据资产视图的目标易用性问题,数据资产视图根据第一数据资产确定,根据关联关系和数据加工链路对目标易用性问题进行溯源,以确定目标易用性问题发生的原因。由于本实施例通过获取数据服务层级中各数据层的第一数据资产的数据加工链路和关联关系,能够打通数据加工链路,进而获取第一数据资产的业务操作流程图,以打通数据资产操作的业务操作流程,进而根据业务操作流程图确定数据资产视图的目标易用性问题,从而根据关联关系和数据加工链路对目标易用性问题进行溯源,快速确定目标易用性问题发生的原因,以提高目标易用性问题所发生的原因的确定效率。
在一些实施例中,确定模块903,包括:
第一获取单元,用于根据关联关系和数据加工链路,获取数据资产视图中与第一数据资产对应的第二数据资产的定义内容。
第一输出单元,用于若定义内容不满足预设清晰程度条件,则输出第一提示信息;第一提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一些实施例中,装置900还包括:
第一检查模块,用于若定义内容满足预设清晰程度条件,则对第一数据资产和第二数据资产的定义逻辑进行一致性检查。
第一输出模块,用于若定义逻辑的一致性检查未通过,则输出第二提示信息;第二提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一些实施例中,装置900还包括:
第三获取模块,用于若定义逻辑的一致性检查通过,则获取数据资产视图中各第一业务板块之间的重合度。
第二输出模块,用于若重合度大于等于第一预设重合度且小于等于第二预设重合度,则输出第一报警信息。
在一些实施例中,装置900还包括:
第二检查模块,用于若重合度大于第二预设重合度,则对各第一业务板块以及各数据层的第二业务板块的板块进行一致性检查。
第三输出模块,用于若板块一致性检查未通过,则输出第三提示信息;第三提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一些实施例中,装置900还包括:
第四获取模块,用于若板块一致性检查通过,则获取查询第二数据资产的查询结果。
第四输出模块,用于若查询结果中包括的数据资产的数量大于等于第一预设数量且小于等于第二预设数量,则输出第二报警信息。
在一些实施例中,装置900还包括:
第五输出模块,用于若查询结果中包括的数据资产的数量大于第二预设数量,则输出第四提示信息;第四提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一些实施例中,装置900还包括:
第六输出模块,用于若查询结果中包括的数据资产的数量小于等于第三预设数量,则根据第一数据资产的存储状态回溯查询条件对应的数据资产的存储状态,并输出第三报警信息;查询条件为查询结果对应的条件。
在一些实施例中,装置900还包括:
第三检查模块,用于若板块一致性检查通过,则获取第一数据资产和第二数据资产的资产信息,并对资产信息进行一致性检查。
第七输出模块,用于若资产信息的一致性检查未通过,则输出第五提示信息;第五提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一些实施例中,装置900还包括:
检测模块,用于检测各数据层以及数据资产视图中的各功能。
第八输出模块,用于若各功能中不存在目标功能,则输出第六提示信息;第六提示信息用于提示运维人员检查数据加工链路的完整性,目标功能包括预设的多个功能中除各功能之外的其他功能。
上述原因分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种原因分析方法。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取数据服务层级中各数据层的第一数据资产的数据加工链路和关联关系;
获取第一数据资产的业务操作流程图,并根据业务操作流程图确定数据资产视图的目标易用性问题;数据资产视图根据第一数据资产确定;
根据关联关系和数据加工链路对目标易用性问题进行溯源,以确定目标易用性问题发生的原因。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据关联关系和数据加工链路,获取数据资产视图中与第一数据资产对应的第二数据资产的定义内容;
若定义内容不满足预设清晰程度条件,则输出第一提示信息;第一提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
若定义内容满足预设清晰程度条件,则对第一数据资产和第二数据资产的定义逻辑进行一致性检查;
若定义逻辑的一致性检查未通过,则输出第二提示信息;第二提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
若定义逻辑的一致性检查通过,则获取数据资产视图中各第一业务板块之间的重合度;
若重合度大于等于第一预设重合度且小于等于第二预设重合度,则输出第一报警信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
若重合度大于第二预设重合度,则对各第一业务板块以及各数据层的第二业务板块的板块进行一致性检查;
若板块一致性检查未通过,则输出第三提示信息;第三提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
若板块一致性检查通过,则获取查询第二数据资产的查询结果;
若查询结果中包括的数据资产的数量大于等于第一预设数量且小于等于第二预设数量,则输出第二报警信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
若查询结果中包括的数据资产的数量大于第二预设数量,则输出第四提示信息;第四提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
若查询结果中包括的数据资产的数量小于等于第三预设数量,则根据第一数据资产的存储状态回溯查询条件对应的数据资产的存储状态,并输出第三报警信息;查询条件为查询结果对应的条件。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
若板块一致性检查通过,则获取第一数据资产和第二数据资产的资产信息,并对资产信息进行一致性检查;
若资产信息的一致性检查未通过,则输出第五提示信息;第五提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
检测各数据层以及数据资产视图中的各功能;
若各功能中不存在目标功能,则输出第六提示信息;第六提示信息用于提示运维人员检查数据加工链路的完整性,目标功能包括预设的多个功能中除各功能之外的其他功能。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取数据服务层级中各数据层的第一数据资产的数据加工链路和关联关系;
获取第一数据资产的业务操作流程图,并根据业务操作流程图确定数据资产视图的目标易用性问题;数据资产视图根据第一数据资产确定;
根据关联关系和数据加工链路对目标易用性问题进行溯源,以确定目标易用性问题发生的原因。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据关联关系和数据加工链路,获取数据资产视图中与第一数据资产对应的第二数据资产的定义内容;
若定义内容不满足预设清晰程度条件,则输出第一提示信息;第一提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若定义内容满足预设清晰程度条件,则对第一数据资产和第二数据资产的定义逻辑进行一致性检查;
若定义逻辑的一致性检查未通过,则输出第二提示信息;第二提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若定义逻辑的一致性检查通过,则获取数据资产视图中各第一业务板块之间的重合度;
若重合度大于等于第一预设重合度且小于等于第二预设重合度,则输出第一报警信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若重合度大于第二预设重合度,则对各第一业务板块以及各数据层的第二业务板块的板块进行一致性检查;
若板块一致性检查未通过,则输出第三提示信息;第三提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若板块一致性检查通过,则获取查询第二数据资产的查询结果;
若查询结果中包括的数据资产的数量大于等于第一预设数量且小于等于第二预设数量,则输出第二报警信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若查询结果中包括的数据资产的数量大于第二预设数量,则输出第四提示信息;第四提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若查询结果中包括的数据资产的数量小于等于第三预设数量,则根据第一数据资产的存储状态回溯查询条件对应的数据资产的存储状态,并输出第三报警信息;查询条件为查询结果对应的条件。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若板块一致性检查通过,则获取第一数据资产和第二数据资产的资产信息,并对资产信息进行一致性检查;
若资产信息的一致性检查未通过,则输出第五提示信息;第五提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
检测各数据层以及数据资产视图中的各功能;
若各功能中不存在目标功能,则输出第六提示信息;第六提示信息用于提示运维人员检查数据加工链路的完整性,目标功能包括预设的多个功能中除各功能之外的其他功能。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取数据服务层级中各数据层的第一数据资产的数据加工链路和关联关系;
获取第一数据资产的业务操作流程图,并根据业务操作流程图确定数据资产视图的目标易用性问题;数据资产视图根据第一数据资产确定;
根据关联关系和数据加工链路对目标易用性问题进行溯源,以确定目标易用性问题发生的原因。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据关联关系和数据加工链路,获取数据资产视图中与第一数据资产对应的第二数据资产的定义内容;
若定义内容不满足预设清晰程度条件,则输出第一提示信息;第一提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若定义内容满足预设清晰程度条件,则对第一数据资产和第二数据资产的定义逻辑进行一致性检查;
若定义逻辑的一致性检查未通过,则输出第二提示信息;第二提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若定义逻辑的一致性检查通过,则获取数据资产视图中各第一业务板块之间的重合度;
若重合度大于等于第一预设重合度且小于等于第二预设重合度,则输出第一报警信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若重合度大于第二预设重合度,则对各第一业务板块以及各数据层的第二业务板块的板块进行一致性检查;
若板块一致性检查未通过,则输出第三提示信息;第三提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若板块一致性检查通过,则获取查询第二数据资产的查询结果;
若查询结果中包括的数据资产的数量大于等于第一预设数量且小于等于第二预设数量,则输出第二报警信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若查询结果中包括的数据资产的数量大于第二预设数量,则输出第四提示信息;第四提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若查询结果中包括的数据资产的数量小于等于第三预设数量,则根据第一数据资产的存储状态回溯查询条件对应的数据资产的存储状态,并输出第三报警信息;查询条件为查询结果对应的条件。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
若板块一致性检查通过,则获取第一数据资产和第二数据资产的资产信息,并对资产信息进行一致性检查;
若资产信息的一致性检查未通过,则输出第五提示信息;第五提示信息用于提示运维人员确定目标易用性问题发生的原因。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
检测各数据层以及数据资产视图中的各功能;
若各功能中不存在目标功能,则输出第六提示信息;第六提示信息用于提示运维人员检查数据加工链路的完整性,目标功能包括预设的多个功能中除各功能之外的其他功能。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
- 图像分类方法及装置、电子设备、计算机程序及存储介质
- 应用程序处理方法和装置、电子设备、计算机可读存储介质
- WEB应用程序页面刷新方法、装置、计算机设备及存储介质
- 应用程序配置方法、装置、计算机设备及可读存储介质
- 应用程序评估方法、装置、计算机设备及存储介质
- 原因分析方法、装置、电子设备、介质和计算机程序产品
- 根本原因分析方法、装置、电子设备、介质以及程序产品