一种客户数据管理系统

技术领域

本申请涉及互联网平台技术领域，特别是一种客户数据管理系统。

背景技术

客户数据平台是一项管理公司所有客户及潜在客户关系及互动的技术。客户管理系统为用户提供前所未有的销售数据视图报告，将销售管理、客户服务管理、网络营销方案等数据都集于一体并进行可视化处理。在处理大量数据时，通常会使用数据湖来存储和处理数据，数据湖是一个集中存储和处理数据的系统，可以存储各种类型的数据，包括结构化、半结构化和非结构化数据。在数据湖中，数据可以在任何规模下进行存储和处理，满足各种数据分析的需求。

然而在现有的数据处理方法中，当源端业务层数据产生变更时，通常需要在数据湖中进行碎片化的修复客户层操作，这种操作效率低下，容易遗漏风险，且在后续接入其他源端数据时适应性及扩展性较差，因此需要一种基于内部数据湖的技术，能够在源端业务层数据产生变更时，无需碎片化修复客户层，提高操作效率，降低遗漏风险，并且能够更好地适应后续接入其他源端数据的需求。

发明内容

鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的一种客户数据管理系统。

本申请提供一种客户数据管理系统，包括：所述系统涉及数据层，所述数据层包括保单子层和客户子层；其中，所述保单子层包括业务数据总域和若干业务数据分域；所述客户子层包括客户数据总域、客户数据业务层总域和若干客户数据业务层分域；

获取模块用于数据仓库获取原始业务数据，并依据原始业务数据的业务类型分配至对应的业务数据分域；其中，所述原始业务数据的数据类型包括内部特色化标签、挖掘模型标签以及各集市数据标签；

汇总模块用于依据所述业务数据分域进行标记并汇总至所述业务数据总域；

传输模块用于将所述业务数据总域带有业务标记的原始业务数据发送至客户数据总域；

分配模块用于依据所述客户数据总域带有业务标记的原始业务数据生成原始客户数据，并依据所述原始客户数据的客户类型分配至对应的客户数据业务层分域；

汇合模块用于依据所述客户数据业务层分域进行标记并汇总至所述客户数据业务层总域。

进一步地，所述获取模块包括第一抽取子模块和第一分类子模块；

所述第一抽取子模块用于依据ETL工具从所述数据仓库获取所述原始业务数据；

所述第一分类子模块用于依据机器学习模型将所述原始业务数据分类至对应的业务数据分域。

进一步地，所述汇总模块包括第一标记子模块和第一汇总子模块；

所述第一标记子模块用于依据数据处理工具对所述业务数据分域进行标记；

所述第一汇总子模块用于依据第一SQL语句对所述业务数据分域中带有相同标记的业务数据进行抽取，并将抽取出的业务数据汇总至所述业务数据总域。

进一步地，所述传输模块包括发送子模块；

所述发送子模块用于获取所述业务数据总域带有业务标记的原始业务数据，并依据传输至所述客户数据总域。

进一步地，所述分配模块包括第二抽取子模块和第二分类子模块；

所述第二抽取子模块用于依据ETL工具从所述客户数据总域获取所述带有业务标记的原始业务数据，生成原始客户数据；

所述第二分类子模块用于对依据机器学习模型进行将原始客户数据的客户类型分类至对应的客户数据业务层分域。

进一步地，所述汇合模块包括第二标记数据子模块和第二数据汇总模块；

所述第二标记子模块用于依据数据处理工具对所述客户数据业务层分域进行标记；

所述第二汇总子模块用于依据第二SQL语句对所述客户数据业务层分域中带有相同标记的客户数据进行抽取，并将抽取出的客户数据汇总至所述客户数据业务层总域。

进一步地，所述获取模块包括数据获取子模块、数据清洗子模块和原始业务数据子模块；

所述数据获取子模块用于从所述数据仓库获取原始数据；

所述数据清洗子模块用于将所述原始数据的错误数据、不一致性数据和不完整性数据去除；

所述原始业务数据子模块用于将去除后剩余的所述原始数据生成所述原始业务数据。

进一步地，所述原始业务数据生成子模块包括数据回补子模块和原始业务数据子模块；

所述数据回补子模块用于当所述剩余的原始数据存在数据缺失时，依据业务逻辑和规则对所述剩余的原始数据进行数据回补；

原始业务数据子模块用于将所述回补后的数据生成所述原始业务数据。

进一步地，还包括整合子模块；

所述整合子模块用于从不同数据源获业务数据，将所述业务数据整合至所述数据仓库。

进一步地，所述数据层Oracle作为数据存储仓库，其中所述数据存储仓库用于支持数据仓库的数据存储需求，kettel作为所述ETL的开发工具。

本申请具有以下优点：

在本申请的实施例中，相对于现有技术中的“数据处理方法中，当源端业务层数据产生变更时，通常需要在数据湖中进行碎片化的修复客户层操作，这种操作效率低下，容易遗漏风险，且在后续接入其他源端数据时适应性及扩展性较差”本申请提供了“整合内部特色化标签/挖掘模型标签及各集市数据标签，带来后续衍生时的高扩展性及高适用性，实现“业务数据分域—业务数据总域—客户数据总域—客户数据业务层分域—客户数据业务层总域”的全流程建设。”的解决方案，具体为“获取模块用于数据仓库获取原始业务数据，并依据原始业务数据的业务类型分配至对应的业务数据分域；其中，所述原始业务数据的数据类型包括内部特色化标签、挖掘模型标签以及各集市数据标签；汇总模块用于依据所述业务数据分域进行标记并汇总至所述业务数据总域；传输模块用于将所述业务数据总域带有业务标记的原始业务数据发送至客户数据总域；分配模块用于依据所述客户数据总域带有业务标记的原始业务数据生成原始客户数据，并依据所述原始客户数据的客户类型分配至对应的客户数据业务层分域；汇合模块用于依据所述客户数据业务层分域进行标记并汇总至所述客户数据业务层总域。”通过“依据原始业务数据的业务类型分配至对应的业务数据分域”解决了“源端业务层数据产生变更时，通常需要在数据湖中进行碎片化的修复客户层操作，这种操作效率低下，容易遗漏风险”达到了当源端业务层数据产生变更时，在“业务数据分域”的步骤即可开展修复变更，无需碎片化修复客户层，效率上可极大程度地规避遗漏风险。

附图说明

为了更清楚地说明本申请的技术方案，下面将对本申请的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的一种客户数据管理系统的流程示意图；

图2是本申请一实施例提供的一种客户数据管理管理系统的结构示意图。

具体实施方式

为使本申请的所述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

发明人通过分析现有技术发现：现有的数据处理方法中，当源端业务层数据产生变更时，通常需要在数据湖中进行碎片化的修复客户层操作，这种操作效率低下，容易遗漏风险，且在后续接入其他源端数据时适应性及扩展性较差。

在本发明任一实施例中，可以使用不同数据类型的作为原始业务数据，本发明实施例对数据类型不做限定。

参照图1-图2，示出了本申请一实施例提供的一种客户数据管理系统的流程示意图和结构示意图。具体可以包括：

获取模块110，用于数据仓库获取原始业务数据，并依据原始业务数据的业务类型分配至对应的业务数据分域；其中，所述原始业务数据的数据类型包括内部特色化标签、挖掘模型标签以及各集市数据标签；

汇总模块120，用于依据所述业务数据分域进行标记并汇总至所述业务数据总域；

传输模块130，用于将所述业务数据总域带有业务标记的原始业务数据发送至客户数据总域；

分配模块140，用于依据所述客户数据总域带有业务标记的原始业务数据生成原始客户数据，并依据所述原始客户数据的客户类型分配至对应的客户数据业务层分域；

汇合模块150，用于依据所述客户数据业务层分域进行标记并汇总至所述客户数据业务层总域。

在本申请实施的实例中，通过获取模块用于数据仓库获取原始业务数据，并依据原始业务数据的业务类型分配至对应的业务数据分域；其中，所述原始业务数据的数据类型包括内部特色化标签、挖掘模型标签以及各集市数据标签；汇总模块用于依据所述业务数据分域进行标记并汇总至所述业务数据总域；传输模块用于将所述业务数据总域带有业务标记的原始业务数据发送至客户数据总域；分配模块用于依据所述客户数据总域带有业务标记的原始业务数据生成原始客户数据，并依据所述原始客户数据的客户类型分配至对应的客户数据业务层分域；汇合模块用于依据所述客户数据业务层分域进行标记并汇总至所述客户数据业务层总域。”通过“依据原始业务数据的业务类型分配至对应的业务数据分域”解决了“源端业务层数据产生变更时，通常需要在数据湖中进行碎片化的修复客户层操作，这种操作效率低下，容易遗漏风险”，达到了当源端业务层数据产生变更时，在第一步“业务数据分域”的步骤即可开展修复变更，无需碎片化修复客户层，效率上可极大程度地规避遗漏风险。

下面，将对本示例性实施例中一种客户数据管理系统作进一步地说明。

如所述获取模块110所述，用于数据仓库获取原始业务数据，并依据原始业务数据的业务类型分配至对应的业务数据分域；其中，所述原始业务数据的数据类型包括内部特色化标签、挖掘模型标签以及各集市数据标签。

需要说明的是，一种客户数据管理系统总体技术框架分为六层，分别为数据层、缓存层、服务层、网关层、展现层和公共服务层，其中所述数据层主要负责数据处理和数据支撑；数据层以GreenPlum数据库(Greenplum是一个功能强大的分布式数据库系统，特别适用于需要高性能、高可用性和可扩展性的大规模数据仓库和分析任务)及Oracle(Oracle数据库是一种关系型数据库，它以表格的形式存储数据，并使用结构化查询语言SQL)来管理和查询数据)作为数据存储仓库；以海豚调度、kettel作为ETL(Extract,提取Transform转换,Load加载)开发工具；海豚服务器、ETL服务器负责任务调度和交换文件临时存放位置；所述缓存层的目的是避免数据多次读盘加载，加速计算性能；EHCache(流行的开源Java缓存框)为本地缓存，负责存放单台服务器特定的数据；Redis为共享缓存，负责存放多台服务器间需要共享的热点数据；所述服务层采用微服务架构，实现业务功能。SpingBoot作为应用开发框架；SpringCloud作为微服务应用框架；Mybatis作为ORM框架；Druid作为数据源连接池；所述网关层负责代理请求转发；Nginx既作为负载均衡器，也作为前端页面容器。所述展现层负责前端展示，Vue作为前端开发语言，ElementUI作为前端展示框架，Axios作为网络通信框架，Echarts作为报表工具；所述公共服务层负责微服务架构中所需的公共组件，Apollo作为配置中心，Eurka作为注册中心，Quartz作为应用内部调度框架。

需要说明的是，Oracle是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。

需要说明是的，Greenplum是分布式数据库的一种，架构采用了MPP(大规模并行处理),利用强大并行处理能力,利用资源队列管理可实现按用户组的进行资源分配，通过集群的搭建，可以对于从TB量级到PB量级的数据进行分组，存储和分析。

在本发明一实施例中，可以结合下列描述进一步说明获取模块110，“用于数据仓库获取原始业务数据，并依据原始业务数据的业务类型分配至对应的业务数据分域；其中，所述原始业务数据的数据类型包括内部特色化标签、挖掘模型标签以及各集市数据标签”的具体过程。

所述获取模块包括，数据获取子模块、数据清洗子模块和原始业务数据子模块；所述数据获取子模块用于从所述数据仓库获取原始数据；所述数据清洗子模块用于将所述原始数据的错误数据、不一致性数据和不完整性数据去除；所述原始业务数据子模块用于将去除后剩余的所述原始数据生成所述原始业务数据。”

需要说明的是，传统的数据清洗工作往往无法突破数据库的限制，且人工介入性较高，本系统基于存量数据已生成的缺失数据、错误数据等情况，可跨系统开展回补、清洗、判定、特色标注等工作，并可高效自动化开展清洗工作。

所述原始业务数据生成子模块包括，数据回补子模块和原始业务数据子模块；所述数据回补子模块用于当所述剩余的原始数据存在数据缺失时，依据业务逻辑和规则对所述剩余的原始数据进行数据回补；原始业务数据子模块用于将所述回补后的数据生成所述原始业务数据。

需要说明的是，当客户数据产生缺失时，制定回补方案，并生成长期性、系统化回补机制。

还包括整合子模块，所述整合子模块用于从不同数据源获业务数据，将所述业务数据整合至所述数据仓库。所述数据层Oracle作为数据存储仓库，其中所述数据存储仓库用于支持数据仓库的数据存储需求，kettel作为所述ETL的开发工具。

需要说明的是，通过整合内外数据源，以数据技术手段研发、制定客户相关标签、分群方案、模型决策等，为用户提供客群自选、维度自选、指标自选的自主化客户分析体验，在所述客户数据管理平台中生成业务常用的可视化图表，最后协助业务部门开展客户运营、服务管理全流程客户赋能平台，协助业务部门提高业绩收益。

所述获取模块包括，第一抽取子模块和第一分类子模块；所述第一抽取子模块用于依据ETL工具从所述数据仓库获取所述原始业务数据；所述第一分类子模块用于依据机器学习模型将所述原始业务数据分类至对应的业务数据分域。

需要说明的是，所述客户数据管理系统将整合数据挖掘模型下的客户标签，通过监督/无监督式算法，迭代式细化客群分类。

在本发明一实施例中，可以结合下列描述进一步说明汇总模块120“用于依据所述业务数据分域进行标记并汇总至所述业务数据总域；”的具体过程。

所述汇总模块包括，第一标记子模块和第一汇总子模块；所述第一标记子模块用于依据数据处理工具对所述业务数据分域进行标记；所述第一汇总子模块用于依据第一SQL语句对所述业务数据分域中带有相同标记的业务数据进行抽取，并将抽取出的业务数据汇总至所述业务数据总域。

需要说明的是，通过将具有相同标记的业务数据从不同分域中抽取并汇总，可以实现数据的整合和合并。这有助于消除数据孤岛问题，使得业务数据更加完整和一致。

在本发明一实施例中，可以结合下列描述进一步说明传输模块130“用于将所述业务数据总域带有业务标记的原始业务数据发送至客户数据总域；”的具体过程。

所述传输模块包括，发送子模块；所述发送子模块用于获取所述业务数据总域带有业务标记的原始业务数据，并依据传输至所述客户数据总域。

在本发明一实施例中，可以结合下列描述进一步说明分配模块140“依据所述客户数据总域带有业务标记的原始业务数据生成原始客户数据，并依据所述原始客户数据的客户类型分配至对应的客户数据业务层分域。

所述分配模块包括，第二抽取子模块和第二分类子模块；所述第二抽取子模块用于依据ETL工具从所述客户数据总域获取所述带有业务标记的原始业务数据，生成原始客户数据；所述第二分类子模块用于对依据机器学习模型进行将原始客户数据的客户类型分类至对应的客户数据业务层分域。

需要说明的是，ETL工具可以自动定期或实时抽取数据，确保始终使用最新的客户数据进行分类。

在本发明一实施例中，可以结合下列描述进一步说明汇合模块150“依据所述业务数据分域进行标记并汇总至所述业务数据总域；”的具体过程。

如下列所述步骤，所述汇合模块包括第二标记数据子模块和第二数据汇总模块；所述第二标记子模块用于依据数据处理工具对所述客户数据业务层分域进行标记；所述第二汇总子模块用于依据第二SQL语句对所述客户数据业务层分域中带有相同标记的客户数据进行抽取，并将抽取出的客户数据汇总至所述客户数据业务层总域。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种客户数据管理系统进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。