一种外部数据管理方法、系统、设备和存储介质

技术领域

本发明涉及数据管理技术领域，尤其涉及一种外部数据管理方法、系统、设备和存储介质。

背景技术

随着互联网数据规模的不断增长，金融行业的各个金融机构存储并积累了大量的外部数据。而大部分金融机构中通常是采用各业务线系统接入各种外部数据，用于人脸识别、指纹设备、用户信息核实或者在行为反欺诈和风险管理等方面，导致外部数据分散在各个业务系统上。

而在网络飞速发展的今天，人们在各个方面对数据信息获取的要求越来越高，金融行业对金融数据的实时性和精确性提出了更高的要求，迫切追求更高效便捷的方式获取金融数据。但是由于外部数据分散在各个业务系统之间，导致外部数据异常时无法正常决策流转，不能够高效分析利用外部数据。

发明内容

基于此，有必要针对上述技术问题，提供一种外部数据管理方法、系统、设备和存储介质。

一种外部数据管理方法，包括以下步骤：数据管理平台根据预设路由规则接入初始外部数据；对所述初始外部数据进行数据清洗和格式转换加工，获取有效外部数据并进行存储；配置所述有效外部数据与业务系统用户端的数据接口；数据管理平台实时监控所述有效外部数据的调用情况和对应的数据接口调用情况，分析获取有效外部数据调用信息和数据接口调用信息并通过页面进行展示。

在其中一个实施例中，所述路由规则具体包括：数据管理平台根据数据成本预先设置优质数据源规则，对外部数据源进行排序并根据排序结果获取优质数据源，对所述优质数据源打上标记，在数据管理平台接入外部数据时优先连接具有标记的优质数据源；实时分析外部数据源的接口质量，根据接口成功率和响应速度进行记录，针对接口成功率低且响应速度慢超过对应阈值的外部数据源进行降级操作，取消优质数据源标记。

在其中一个实施例中，所述对所述初始外部数据进行数据清洗和格式转换加工，获取有效外部数据并进行存储，具体包括：所述初始外部数据包括有若干个字段，对所述若干个字段进行检测，获取字段重要程度和字段缺失程度；根据所述字段重要程度和字段缺失程度计算所述字段的缺失值比例；根据所述缺失值比例对所述字段进行填充、计算或删除操作。

在其中一个实施例中，所述根据所述缺失值比例对所述初始外部数据进行填充、计算或删除操作，具体包括：在所述字段重要性高，且缺失率低时，对所述字段进行计算填充，或通过人工进行填充；在所述字段重要性高，且缺失率高时，查找所述字段的另一数据源，获取另一数据源中的字段，并根据所述另一数据源中的字段对当前字段进行填补；在所述字段重要性低，且缺失率高时，去除所述字段；在所述字段重要性低，且缺失率低时，无需对所述字段进行处理或进行简单填充。

在其中一个实施例中，在所述配置所述有效外部数据与业务系统用户端的数据接口之后，还包括：在所述有效外部数据具有多个数据接口时，将多个数据接口均与所述数据管理平台连接，对多个数据接口根据接口评级规则进行评级，根据评级结果选择最优的数据接口作为所述有效外部数据的专用数据接口。

在其中一个实施例中，接口评级规则具体包括：根据数据接口的时效性、响应速度、接口接入复杂度和业务系统反馈五个属性设置属性权重；并根据时间阈值区间将属性设置为五个等级，将当前时间阈值区间内的属性与等级进行匹配，获取对应的匹配区间分数；根据所述匹配区间分数和属性权重计算数据接口的评级分数，公式为：

y＝k

其中，y为接口评级分数，k1、k2……k5是各属性的匹配区间分数，p1、p2……p5则为各属性的属性权重。

在其中一个实施例中，在所述数据管理平台实时监控所述有效外部数据的调用情况和对应的数据接口调用情况，分析获取数据接口调用信息和外部数据调用信息并通过页面进行展示之后，还包括：根据所述数据接口调用信息和外部数据调用信息判断数据接口和数据调用是否存在异常，并根据异常情况进行数据源分析，根据分析结果对所述路由规则进行调整。

一种外部数据管理系统，包括：数据接口模块，用于数据管理平台根据预设路由规则接入初始外部数据；数据加工模块，用于对所述初始外部数据进行数据清洗和格式转换加工，获取有效外部数据并进行存储；接口配置模块，用于配置所述有效外部数据与业务系统用户端的数据接口；数据分析模块，用于数据管理平台实时监控所述有效外部数据的调用情况和对应的数据接口调用情况，分析获取数据接口调用信息和外部数据调用信息并通过页面进行展示。

一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述各个实施例中所述的一种外部数据管理方法的步骤。

一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述各个实施例中所述的一种外部数据管理方法的步骤。

相比于现有技术，本发明的优点及有益效果在于：

1、将外部数据接入业务系统，提高外部数据调用效率，加快决策流转。

2、将初始外部数据进行清洗加工，获取有效外部数据并进行存储，将历史外部数据进行分析使用，避免外部数据重复浪费。

3、数据管理平台实时监控有效外部数据调用情况和接口调用情况，能够在出现异常时进行及时处理，加快运维速度。

附图说明

图1为一个实施例中一种外部数据管理方法的流程示意图；

图2为一个实施例中一种外部数据管理系统的结构示意图；

图3为一个实施例中设备的内部结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明做进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在一个实施例中，如图1所示，提供了一种外部数据管理方法，包括以下步骤：

步骤S101，数据管理平台根据预设路由规则接入初始外部数据。

具体地，通过数据管理平台统一外部数据接口，使得企业在接入外部数据更加方便和高效，也能够支持外部数据的数据源上下线和路由切换等功能。

其中，初始外部数据可能存在多个数据源，可以根据不同的数据源获取初始外部数据。

其中，路由规则具体包括：数据管理平台根据数据成本预先设置优质数据源规则，对外部数据源进行排序并根据排序结果获取优质数据源，对优质数据源打上标记，在数据管理平台接入外部数据时优先连接具有标记的优质数据源；实时分析外部数据源的接口质量，根据接口成功率和响应速度进行记录，针对接口成功率低且响应速度慢超过对应阈值的外部数据源进行降级操作，取消优质数据源标记。

具体地，在实际中，在将初始外部数据接入之前，需要经过一系列的路由规则等自动化实时分析，选择最佳的同类初始外部数据的数据源，同时可以做初始外部数据异常，网络异常等极端情况下，自动切换正常的三方数据源。

具体地，数据管理凭条可以根据数据成本或其他业务要素设置优质数据源规则，对外部数据源进行排序，并根据排序结果获取优质数据源，例如可以预先设定选取排序在前K个的数据源为优质数据源。之后，对优质数据源打上标记，在数据管理平台接入外部数据时优先连接具有标记的优质数据源。

在进行优质数据源标记之后，实时分析外部数据源的接口质量，根据接口成功率和响应速度，判断是否对接口进行降级操作并取消优质数据源标记，自动路由时就不会对该外部数据源进行路由。

此外，还可以对外部数据源进行评级操作，评级更高的外部数据源优先使用。当然路由规则可以灵活进行配置和调整，确保系统能够自动选择最优质的的数据源。

步骤S102，对初始外部数据进行数据清洗和格式转换加工，获取有效外部数据并进行存储。

具体地，接入企业所需的初始外部数据之后，将初始外部数据进行分类整管理，对初始外部数据进行数据清洗。数据清洗包括对初始外部数据中存在的缺失值、无效值和重复字段等进行清洗。经过数据清洗后对初始外部数据进行格式转换，将其转换为预设的标准数据格式，从而获取有效外部数据并进行存储。

具体地，有效外部数据是实际的外部相应数据，作为外部数据资产可以支持多种模型，例如关系型或非关系型数据库。也可以同时进行物理式的存储，便于系统中实时使用或离线使用。

其中，为了便于对初始外部数据进行统一的管理和数据的使用，对外部数据源返回的xml、json和html等不同格式的数据内容，进行加工转换出例如json格式的外部数据。

具体地，格式转换加工包括：数字、日期和文本等常见格式，对非标准的初始外部数据进行统一字段格式的操作，获取有效外部数据并进行存储。

其中，还可以对数据清洗后的初始外部数据进行相似字段的匹配、合并和拆分等操作。例如，用户的历史手机号可以分为几个数据的字段，字段之间进行相互的匹配，进行对应顺序的合并，并返回一个数据给业务端，这就是匹配合并操作。而拆分是为了截取某一字段中的部分信息，将该字段拆分为两个或多个字段，同时为了表明外部数据某个字段含义表面的多种信息，比如外部数据中，某企业不同大区销售额的信息分布在一个字段中，这时候可以分别加工出企业、大区和销售额等关键字段。

步骤S103，配置所述有效外部数据与业务系统用户端的数据接口。

具体地，数据管理平台配置有效外部的与业务系统用户端的接口，并统一业务系统用户端的数据接入规范。用户端可以指定有效外部数据的时效性，由数据管理平台进行统一配置管理。在既有数据情况下，能够从存储的数据里捞取对应的有效外部数据，并以接口的方式传输至用户端。

步骤S104，数据管理平台实时监控有效外部数据的调用情况和对应的数据接口调用情况，分析获取有效外部数据调用信息和数据接口调用信息并通过页面进行展示。

具体地，数据管理平台可以通过展示页面获取各个有效外部数据的调用情况、时间点情况、外部数据接口请求量和数据接口调用情况，便于管理员及时发现异常情况，并根据异常对路由规则和路由策略进行调整，加快异常处理速度，使得有效外部数据调用保持顺畅。

其中，数据接口调用情况包括：接口相应速度、接口返回成功率、接口调用请求量、接口调用时间点等信息，根据上述信息对接口进行实时监控和分析，便于实时发现接口异常，并及时进行处理。

在本实施例中，首先通过数据管理平台根据预设路由规则接入初始外部数据，对其进行数据清洗和格式转换加工，获取有效外部数据并进行存储，配置有效数据与业务系统用户端的数据接口，数据管理平台实时监控有效外部数据的调用情况和对应的数据接口调用情况，分析获取有效外部数据调用信息和数据接口调用信息，并通过页面进行展示，能够将外部数据接入业务系统，提高外部数据调用效率和决策流转速度，对初始外部数据进行清洗加工，对历史外部数据进行分析使用，避免外部数据重复浪费，同时能够实时监控外部数据调用情况和数据接口调用情况，能够及时发现异常情况并进行对应处理。

其中，步骤S102具体包括：所述初始外部数据包括有若干个字段，对所述若干个字段进行检测，获取字段重要程度和字段缺失程度；根据所述字段重要程度和字段缺失程度计算所述字段的缺失值比例；根据所述缺失值比例对所述字段进行填充、计算或删除操作。

具体地，初始外部数据可以分为若干个字段，对初始外部数据中的若干字段进行检测，判断字段重要程度和字段缺失程度，从而根据字段重要程度和字段缺失程度，计算初始字段的缺失值比例，并根据缺失值比例进行对应的操作。

具体地，在字段重要性高，且缺失率低时，对字段进行计算填充，或通过人工进行填充；在字段重要性高，且缺失率高时，查找字段的另一数据源，获取另一数据源中的字段，并根据另一数据源中的字段对当前字段进行填补；在字段重要性低，且缺失率高时，去除字段；在字段重要性低，且缺失率低时，无需对字段进行处理或进行简单填充。

其中，步骤S103之后，还包括：在有效外部数据具有多个数据接口时，将多个数据接口均与数据管理平台连接，对多个数据接口根据接口评级规则进行评级，根据评级结果选择最优的数据接口作为有效外部数据的专用数据接口。

具体地，有效外部数据具有多个数据源，多个数据源均配置有数据接口，对同一有效外部数据的数据接口进行评级，评级等级高的作为该有效外部数据的专用数据接口。当然，在有效外部数据出现异常或网络异常等极端情况下，由于多个数据接口均与数据管理平台连接，因此也可以自动切换到下一评级的数据接口，确保有效外部数据的正常接入。

其中，接口评级规则具体包括：根据数据接口的时效性、响应速度、接口接入复杂度和业务系统反馈五个属性设置属性权重；并根据时间阈值区间将属性设置为五个等级，将当前时间阈值区间内的属性与等级进行匹配，获取对应的匹配区间分数；根据匹配区间分数和属性权重计算数据接口的评级分数，公式为：

y＝k

式中，y为接口评级分数，k

具体地，对数据接口的时效性、响应速度、接口接入复杂度和业务系统反馈五个属性设置属性权重，并根据时间阈值区间将属性设置为五个等级，将当前时间阈值区间内的属性与等级进行匹配，获取对应的匹配区间分数。

其中，步骤S104之后，还包括：根据数据接口调用信息和外部数据调用信息判断数据接口和数据调用是否存在异常，并根据异常情况进行数据源分析，根据分析结果对所述路由规则进行调整。

具体地，管理员能够通过展示页面的接口数据调用信息和外部数据调用信息判断数据接口和数据调用是否存在异常，在存在异常时可以手动调整外部数据源的路由规则，做到有效外部数据的数据接口上线和下线功能。

其中，异常情况一般有：有效外部数据的数据源调用异常或存在欠费等异常返回，此时系统无法处理，就需要通过页面进行展示，人工接入进行处理；网络异常，在网络出现拥堵或不稳定的情况下，会导致大部分有效外部数据的数据源不可用或超时，此时页面可以展示数据源超时报警分布图，供人工参考排查；存在突发部分时间段，接入有效外部数据后，一直存在无数据结果报告，此时页面展示记录这部分有效外部数据的数据源，并提供数量作为参考，人工查看具体内容，以便于及时与外部数据平台联系。

如图2所示，提供了一种外部数据管理系统20，包括：数据接口模块21、数据管理模块22、接口配置模块23和数据分析模块24，其中：

数据接口模块21，用于数据管理平台根据预设路由规则接入初始外部数据；

数据加工模块22，用于对初始外部数据进行数据清洗和格式转换加工，获取有效外部数据并进行存储；

接口配置模块23，用于配置有效外部数据与业务系统用户端的数据接口；

数据分析模块24，用于数据管理平台实时监控有效外部数据的调用情况和对应的数据接口调用情况，分析获取数据接口调用信息和外部数据调用信息并通过页面进行展示。

在一个实施例中，数据加工模块22还用于：所述初始外部数据包括有若干个字段，对所述若干个字段进行检测，获取字段重要程度和字段缺失程度；根据所述字段重要程度和字段缺失程度计算所述字段的缺失值比例；根据所述缺失值比例对所述字段进行填充、计算或删除操作。

具体地，数据加工模块22在字段重要性高，且缺失率低时，对字段进行计算填充，或通过人工进行填充；在字段重要性高，且缺失率高时，查找字段的另一数据源，获取另一数据源中的字段，并根据所述另一数据源中的字段对当前字段进行填补；在字段重要性低，且缺失率高时，去除字段；在字段重要性低，且缺失率低时，无需对字段进行处理或进行简单填充。

在一个实施例中，接口配置模块23还用于：在有效外部数据具有多个数据接口时，将多个数据接口均与数据管理平台连接，对多个数据接口根据接口评级规则进行评级，根据评级结果选择最优的数据接口作为有效外部数据的专用数据接口。

在一个实施例中，提供了一种设备，该设备可以是服务器，其内部结构图可以如图3所示。该设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该设备的处理器用于提供计算和控制能力。该设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该设备的数据库用于存储配置模板，还可用于存储目标网页数据。该设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种外部数据管理方法。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还可以提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时使所述计算机执行如前述实施例所述的方法，所述计算机可以为上述提到的一种外部数据管理系统的一部分。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

显然，本领域的技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。