一种数据共享质量分析方法、系统、计算机及存储介质

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据共享质量分析方法、系统、计算机及存储介质。

背景技术

在当前网络信息化的时代，已为大量的管理数据及业务数据构建了数据目录，可通过数据目录的形式进行数据共享交换，数据不再局限在各个信息孤岛上，通过数据的共享交换，已将各种数据进行横向和纵向的打通。

用户已不再局限于仅将获取到相关数据，还需要在获取的同时，思考所获取数据的质量和高效利用。通过数据处理技术的发展，将共享数据形成数据湖，并形成各种主题库、专题库供需求方调用的技术已相对成熟。

但现有的数据共享过程中，数据质量的判定仅依据数据供应部门对数据的质量评估，缺乏统一的共享数据的质量监控体系，导致共享数据的质量难以把控。

发明内容

本申请实施例提供了一种数据共享质量分析方法、系统、计算机及存储介质，以解决现有技术中仅依靠数据供应部门对共享数据进行质量评估，缺乏完整的监控体系对共享数据的质量进行监控，难以把控数据质量的技术问题。

第一方面，本申请实施例提供了一种数据共享质量分析方法，包括以下步骤：

当需求方产生业务需求时，自供应方处提取供应数据及与所述供应数据对应的初始质量评分；

对所述供应数据进行标准评估，以获取标准评分；

将所述标准评分与所述初始质量评分进行比对，以检测所述供应数据的供应质量是否达标；

若所述供应数据的供应质量达标，则将所述供应数据传输至所述需求方，并将所述供应方及所述需求方关联为血缘关系网；

基于所述需求方的需求点，自包括若干个评测维度的维度组中确定需求评测维度，并通过所述需求评测维度对所述供应数据进行最终质量评分；

将所述最终质量评分与分数阈值进行比对，以确定所述供应数据的需求质量是否达标。

进一步地，所述对所述供应数据进行标准评估，以获取标准评分的步骤包括：

通过所述初始质量评分，自包括若干个评测维度的维度组中确定供应评测维度；

基于所述供应评测维度，以标准规范对所述供应数据进行规范评分，以获取若干个维度评分；

对若干个所述维度评分进行均值化处理，以获取标准评分。

进一步地，所述评测维度为完整性、唯一性、及时性、准确性或一致性。

进一步地，在所述将所述标准评分与所述初始质量评分进行比对，以检测所述供应数据的供应质量是否达标的步骤之后，还包括：

若所述供应数据的供应质量未达标，则自所述供应方处提取所述供应数据的供应质检报告，分析所述供应质检报告中的差异项，并将所述标准评分及所述差异项反馈至所述供应方，以校正所述供应数据。

进一步地，在所述将所述最终质量评分与分数阈值进行比对，以确定所述供应数据的需求质量是否达标的步骤之后，还包括：

若所述供应数据的需求质量未达标，则自所述供应数据中分析异常数据，并通过所述血缘关系网将所述异常数据及需求质检报告反馈至所述供应方。

进一步地，所述在所述若所述供应数据的需求质量未达标，则自所述供应数据中分析异常数据，并通过所述血缘关系网将所述异常数据及需求质检报告反馈至所述供应方的步骤之后，还包括：

以预设时间间隔自所述供应方处提取根据所述异常数据及所述需求质检报告修正后的所述供应数据。

进一步地，所述预设时间间隔为25min~30min。

第二方面，本申请实施例提供了一种数据共享质量分析系统，应用于如上述技术方案中的数据共享质量分析方法，所述系统包括：

获取模块，用于当需求方产生业务需求时，自供应方处提取供应数据及与所述供应数据对应的初始质量评分；

标准化模块，用于对所述供应数据进行标准评估，以获取标准评分；

第一评估模块，用于将所述标准评分与所述质量评分进行比对，以检测所述供应数据的供应质量是否达标；

传输模块，用于若所述供应数据的供应质量达标，则将所述供应数据传输至所述需求方，并将所述供应方及所述需求方关联为血缘关系网；

反馈模块，用于基于所述需求方的需求点，自包括若干个评测维度的维度组中确定需求评测维度，并通过所述需求评测维度对所述供应数据进行最终质量评分；

第二评估模块，用于将所述最终质量评分与分数阈值进行比对，以确定所述供应数据的需求质量是否达标。

第三方面，本申请实施例提供了一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的数据共享质量分析方法。

第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的数据共享质量分析方法。

相比于现有技术，本发明的有益效果在于：在所述供应方提供所述供应数据后，通过所述标准评分对所述供应数据的质量进行一次评估，以确保所述供应数据的供应质量，通过在所述需求方接收到所述供应数据时，以需求方的所述需求评测维度对所述供应数据的质量进行二次评估，可考虑在数据共享的层面下，所述供应数据面向不同的用户所涉及的多维度情况，确保了数据质量监控的全面性，同时，从所述供应数据的供应链上进行各个节点的质量评估，形成了完整的质量监控体系，且通过多次对所述供应数据进行质量评估，可实现对所述供应数据的质量的有效把控。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

图1为本发明第一实施例中数据共享质量分析方法的流程图；

图2为本发明第二实施例中数据共享质量分析系统的结构框图；

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

请参阅图1，本发明第一实施例提供的数据共享质量分析方法，包括以下：

步骤S10：当需求方产生业务需求时，自供应方处提取供应数据及与所述供应数据对应的初始质量评分；

所述供应方接收到业务需求时，进行相应的数据配置，以生成所述供应数据，在完成所述供应数据的生成后，所述供应方对所述供应数据进行初步质量检测，具体地，所述供应方自包括若干个评测维度的维度组中选定部分所述评测维度为供应评测维度，并通过所述供应评测维度对所述供应数据进行得分评估，以生成所述初始质量评分，可以理解地，在生成所述初始质量评分时，所述供应方一并生成与所述初始质量评分匹配的供应质检报告。

步骤S20：对所述供应数据进行标准评估，以获取标准评分；

在提取到所述供应数据集所述初始质量评分后，基于规范标准对所述供应数据进行所述标准评估，可明确所述供应方提供的所述供应数据是否符合标准化规范，进而确定所述供应方的初步质量检测是否规范严谨。

所述步骤S20包括：

S210：通过所述初始质量评分，自包括若干个评测维度的维度组中确定供应评测维度；

所述评测维度为完整性、唯一性、及时性、准确性或一致性。一般情况下，所述供应方会基于数据的供应需求，选择部分所述评测维度进行初步质量检测。

S220：基于所述供应评测维度，以标准规范对所述供应数据进行规范评分，以获取若干个维度评分；

即对所述供应数据以与所述初始质量评分相同的评测维度进行规范化的二次评测，以确定所述供应评测维度下的评测得分的准确性。

S230：对若干个所述维度评分进行均值化处理，以获取标准评分；

需要说明的是，除审核标准及计算主体不同外，所述标准评分与所述初始质量评分的获取步骤一致。

步骤S30：将所述标准评分与所述质量评分进行比对，以检测所述供应数据的供应质量是否达标；

即判断所述标准评分是否高于所述初始质量评分，若所述标准评分高于所述初始质量频分，则判定所述供应数据的供应质量达标，若所述标准评分低于所述初始质量评分，则判定所述供应数据的供应质量未达标。

步骤S40：若所述供应数据的供应质量达标，则将所述供应数据传输至所述需求方，并构建包括所述供应方及所述需求方的血缘关系网。

即当所述供应数据的供应质量达标后，在将所述供应数据传输至所述需求方后，将所述供应方与所述需求方进行关联，以形成所述血缘关系网，优选地，所述血缘关系网还关联业务中转方，所述业务中转方可进行所述供应数据的存储，并进行相应的数据分析，监测并记录所述供应数据的调用情况及数据异常情况。

优选地，所述数据共享质量分析方法还包括：

步骤S50：若所述供应数据的供应质量未达标，则自所述供应方处提取所述供应数据的供应质检报告，分析所述供应质检报告中的差异项，并将所述标准评分及所述差异项反馈至所述供应方，以校正所述供应数据；

在所述供应数据的供应质量未达标的情况下，将所述差异项反馈至所述供应方，所述供应方可根据所述差异项进行相应的数据校正，同时，可通过所述差异项调整初步质量检测的检测规则，以避免后续再次进行数据供应时，产生同样的质量分析误差。

S60：基于所述需求方的需求点，自包括若干个评测维度的维度组中确定需求评测维度，并通过所述需求评测维度对所述供应数据进行最终质量评分；

对于同一所述供应数据，其在所述供应方与所述需求方所关注的重点并不相同，且面对不同的所述需求方，其所关注的重点也不相同，因此，根据所述需求方的需求点，重新确定所述需求评测维度，可多维度全面的对所述供应数据进行质量检测。可以理解地，所述最终质量评分与所述标准评分的获取步骤相同，仅维度不同，此处不再进行赘述。

S70：将所述最终质量评分与分数阈值进行比对，以确定所述供应数据的需求质量是否达标。

优选地，所述分数阈值为：100分，判断所述最终质量评分是否高于所述分数阈值，若所述最终质量评分高于所述分数阈值，则所述供应数据的需求质量达标，若所述最终质量评分不高于所述分数阈值，则所述供应数据的需求质量未达标。

进一步地，所述数据共享质量分析方法还包括：

S80：若所述供应数据的需求质量未达标，则自所述供应数据中分析异常数据，并通过所述血缘关系网将所述异常数据及需求质检报告反馈至所述供应方；

即在生成所述最终质量评分时，将一并生成所述需求质检报告，其包含了所述需求评测维度等相关数据，通过所述血缘关系网，可追溯至所述供应方，为所述供应方提供数据校正依据。

S90：以预设时间间隔自所述供应方处提取根据所述异常数据及所述需求质检报告修正后的所述供应数据。

所述预设时间间隔为25min~30min，在所述供应方接收到所述需求质检报告及所述异常数据后，需根据其对所述供应数据进行修正，并在修正完成后，将修正后的所述供应数据再次通过所述血缘关系网提供至所述需求方。通过构建所述血缘关系网，可明确所述供应数据的传输链，快速确定所述供应数据的供应方及需求方，以提高数据共享的效率。

优选地，可通过记录所述血缘关系网，所述初始质量评分、所述标准评分及所述最终质量评分，形成数据考核表，通过所述数据考核表，可定期形成相应的统计数据，并基于所述统计数据对不同的所述供应方进行定期考核，以进一步提高所述供应数据的质量。

在所述供应方提供所述供应数据后，通过所述标准评分对所述供应数据的质量进行一次评估，以确保所述供应数据的供应质量，通过在所述需求方接收到所述供应数据时，以需求方的所述需求评测维度对所述供应数据的质量进行二次评估，可考虑在数据共享的层面下，所述供应数据面向不同的用户所涉及的多维度情况，确保了数据质量监控的全面性，同时，从所述供应数据的供应链上进行各个节点的质量评估，形成了完整的质量监控体系，且通过多次对所述供应数据进行质量评估，可实现对所述供应数据的质量的有效把控。

请参阅图2，本发明第二实施例提供了一种数据共享质量分析系统，该系统应用于如上述实施例中的所述的数据共享质量分析，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

所述系统包括：

获取模块10，用于当需求方产生业务需求时，自供应方处提取供应数据及与所述供应数据对应的初始质量评分；

标准化模块20，用于对所述供应数据进行标准评估，以获取标准评分；

所述标准化模块20包括：

第一单元，用于通过所述初始质量评分，自包括若干个评测维度的维度组中确定供应评测维度；

第二单元，用于基于所述供应评测维度，以标准规范对所述供应数据进行规范评分，以获取若干个维度评分；

第三单元，用于对若干个所述维度评分进行均值化处理，以获取标准评分；

第一评估模块30，用于将所述标准评分与所述质量评分进行比对，以检测所述供应数据的供应质量是否达标；

传输模块40，用于若所述供应数据的供应质量达标，则将所述供应数据传输至所述需求方，并将所述供应方及所述需求方关联为血缘关系网；

优选地，所述系统还包括：

第一校正模块50，用于若所述供应数据的供应质量未达标，则自所述供应方处提取所述供应数据的供应质检报告，分析所述供应质检报告中的差异项，并将所述标准评分及所述差异项反馈至所述供应方，以校正所述供应数据；

反馈模块60，用于基于所述需求方的需求点，自包括若干个评测维度的维度组中确定需求评测维度，并通过所述需求评测维度对所述供应数据进行最终质量评分；

第二评估模块70，用于将所述最终质量评分与分数阈值进行比对，以确定所述供应数据的需求质量是否达标。

优选地，所述系统还包括：

第二校正模块80，用于若所述供应数据的需求质量未达标，则自所述供应数据中分析异常数据，并通过所述血缘关系网将所述异常数据及需求质检报告反馈至所述供应方；

执行模块90，用于以预设时间间隔自所述供应方处提取根据所述异常数据及所述需求质检报告修正后的所述供应数据。

本发明还提供了一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述技术方案中所述的数据共享质量分析方法。

本发明还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述技术方案中所述的数据共享质量分析方法。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。