基于海量数据和指标体系的全流程精益运营系统

技术领域

本发明涉及运营系统技术领域，具体为基于海量数据和指标体系的全流程精益运营系统。

背景技术

国务院于2017年发布的《新一代人工智能发展规划》提出，要创新智能金融产品和服务，发展金融新业态，鼓励金融行业应用智能客服、智能监控等技术和装备，建立金融风险智能预警与防控系统。

目前主流的智能金融产品和服务中，应用最为广泛且发展前景最大的领域无疑是“人工智能+金融”。“人工智能+金融”主要通过以人工智能核心技术，包括机器学习、知识图谱、NLP自然语言处理、计算机视觉(如人脸识别)等作为主要驱动力，为金融行业的各参与主体、各业务环节赋能，突出AI技术对于金融行业的产品创新、流程再造、服务升级的重要作用。

在金融服务向下细分的消费金融业务场景中，当前行业面临的主要问题是如何实现从传统金融向数据化智能化系统化金融的转换，以及如何实现从以人为主体的决策运营过程向以数据和分析为主体的决策运营过程的转换。因此，构建一套基于海量数据和指标体系的全流程精益运营系统具有十分重要的实际价值和战略意义；

在上述背景下，为了让金融服务业务流程更好地转向数据化、智能化、体系化，将以人为主体的决策运营过程转变为以数据和分析为主体的决策运营过程，从而通过数据量化的指标发现业务痛点、驱动业务变更、提升业务效率，我们发明了一套基于海量数据和指标体系的全流程精益运营系统，取得了潜在用户价值挖掘、授信及风险决策过程优化、数据分析及管理标准系统化、大数据下风控模型高速迭代等具有实际价值的成果。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了基于海量数据和指标体系的全流程精益运营系统。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：基于海量数据和指标体系的全流程精益运营系统，包括大数据离线算法分析平台和风险埋点决策实时数据仓库平台，大数据离线算法分析平台和风险埋点决策实时数据仓库平台分别与特征加工、模型训练和智能决策三个子系统相交互；

大数据离线算法分析平台；

实现数据平台和机器学习算法模型的服务级低延迟的数据互通、服务互通，实现大数据支撑风控业务场景的数据分析和机器学习算法模型的高效迭代计算；

完善并提升了大数据平台用户服务级别数据访问安全认证和授权访问机制，包括用户级、Team级、部门级在数据库和数据表层级上的授权访问；

风险埋点决策实时数据仓库平台；

丰富业务营销场景能力：对于缺乏实时类标签关联和运营营销能力的情况，需要建设实时营销标签和时效性更高的事件营销场景，以助力客户转化和价值提升；

实时运营分析能力提升：对于缺乏分钟级甚至更高效的实时数据分析能力的情况，需要构建实时运营指标体系，为企业经营决策提供分钟级实时应用通报；

服务运营优化提升：运营服务和业务流程从业务受理到服务开通，全流程场景涉及系统多。

优选的，所述大数据离线算法分析平台支撑sparkmllib、xgboots、sparklyr、pyspark等多种分布式机器学习算法模型，支撑业务方多租户资源和服务隔离访问大数据、支持亿级别和TB级别规模数据的算法模型计算分析。

优选的，所述风险埋点决策实时数据仓库平台数据实时通报汇总：据分析和汇总主要采用天级频率汇总，数据分析延迟高、出数不及时，无法实现业务的快速决策，实时数仓实现了秒级的数据分析与汇总。

优选的，所述服务运营优化提升业务运营服务往往无法快速分析定位问题，需要建设实时的全链路的运营监控服务能力。

优选的，。

本发明公开了基于海量数据和指标体系的全流程精益运营系统，其具备的有益效果如下：

该基于海量数据和指标体系的全流程精益运营系统，解决了风险业务模型算法和数据分析单机计算瓶颈、大规模数据计算能力(TB级别/千万级别)，丰富了大数据平台的计算能力和计算模式，从单一的hiveMR计算引擎，升级优化可支持Spark引擎、SparkSQL引擎、pySpark接口、机器学习算法、flink实时计算等计算服务能力；

该基于海量数据和指标体系的全流程精益运营系统，优化提升了大数据的使用效率；

实现大数据平台和机器学习算法模型的服务级低延迟的数据互通、服务互通及公司大数据支撑风控业务场景的数据分析和机器学习算法模型的高效迭代计算；

解决了风险业务模型算法和数据分析单机计算瓶颈、大规模数据计算能力；

建设了企业级高吞吐、低延迟的金融级通用性实时计算平台，保障了公司数据业务的快速发展，满足了各个业务方的数据运营和决策需求。

实现了全用户生命周期价值挖掘，从人群当中挖掘潜在的客户，解决了“客户是谁？来做什么？结果如何？”等问题，提升了各个阶段的用户转化，最大化客户全生命周期的价值；

实现了秒级到账业务流程的模式创新，将线下审核的资料标准化，使得整个流程变得更加迅速，让用户拥有了更好的体验；

实现对消费金融业务场景的实时刻画，提升了决策效率，加快了业务迭代频率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明整体系统构成图；

图2为平台的大数据离线算法分析平台数据链路图；

图3为本发明大数据离线算法分析平台技术架构图；

图4为本发明大数据离线算法分析平台物理部署架构规划图；

图5为本发明风险埋点决策实时数据仓库平台技术架构图；

图6为本发明风险埋点决策实时数据仓库平台开发技术栈；

图7为本发明实时应用与技术映射关系图；

图8为本发明用户授信核心行为图；

图9为本发明用户实时授信行为业务流程图；

图10为本发明用户实时授信行为业务漏斗图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

结合说明书1-10所述，基于海量数据和指标体系的全流程精益运营系统最关键的两个部分为大数据离线算法分析平台和风险埋点决策实时数据仓库平台，两个平台和特征加工、模型训练、智能决策三个子系统相交互，共同实现高时效、高质量、高稳定的实时线上服务和风险业务模型算法和数据分析的大规模分布式迭代计算。

展示了平台的整体系统构成。

全流程精益运营系统各子模块交互关系；

为高效实现大数据平台和机器学习算法模型的服务级低延迟的数据互通、服务互通并支撑撑风控业务场景的数据分析和机器学习算法模型的高效迭代计算、解决风险业务模型算法和数据分析的单机计算瓶颈并提高大规模数据计算能力(TB级别/千万级别)，系统需要大数据离线算法分析平台提供算力方面的支撑。

与离线分析计算相对应的是需要进行实时数据处理的应用场景，这类场景下，数据价值通常都会随着时间流逝而迅速下降，因此，为了最大化数据价值、实现迅速的响应和决策、为用户提供秒级到账的业务服务，系统需要风险埋点决策实时数据仓库平台提供技术方面的支撑。

大数据离线算法分析平台

离线分析模块实现了以下几个功能：

实现哈银消金公司大数据平台和机器学习算法模型的服务级低延迟的数据互通、服务互通。

实现大数据支撑风控业务场景的数据分析和机器学习算法模型的高效迭代计算。

支撑sparkmllib、xgboots、sparklyr、pyspark等多种分布式机器学习算法模型，支撑业务方多租户资源和服务隔离访问大数据、支持亿级别和TB级别规模数据的算法模型计算分析。

解决了风险业务模型算法和数据分析单机计算瓶颈、大规模数据计算能力(TB级别/千万级别)。

丰富了大数据平台的计算能力和计算模式，从单一的hiveMR计算引擎，升级优化可支持Spark引擎、SparkSQL引擎、pySpark接口、机器学习算法、flink实时计算等计算服务能力。

完善并提升了大数据平台用户服务级别数据访问安全认证和授权访问机制，包括用户级、Team级、部门级在数据库和数据表层级上的授权访问。

优化提升了大数据的使用效率，访问机制和计算引擎、服务模式对业务数据的读取和操作的性能效率基于spark+hive内存引擎提升了3-5倍(这里采用分布式的内存计算)；

从数据链路、技术架构和物理部署架构三个方面展示了大数据离线算法分析平台的具体构成。

平台主要通过Hive数据仓库集市和HDFS对来自核心系统、财务数据、合作渠道等的数据信息进行分布式的平台数据计算，并将计算资源用于即席查询、远程集群调用和风险算法模型接口等远程风险数据应用，并在全流程中完善了平台用户服务级别数据访问的安全认证和授权访问机制，包括用户级、Team级、部门级在数据库和数据表层级上的授权访问。

风险埋点决策实时数据仓库平台，随着金融业务不断增长，营销活动变得越来越频繁，如何快速有效地获取数据价值，实现高效运营及营销策略调整变得愈加关键。

风险埋点决策实时数据仓库平台很好地应对了这种快速增长的业务诉求，并得到了以下几个方面的数据价值提升：

丰富业务营销场景能力：对于缺乏实时类标签关联和运营营销能力的情况，需要建设实时营销标签和时效性更高的事件营销场景，以助力客户转化和价值提升。

实时运营分析能力提升：对于缺乏分钟级甚至更高效的实时数据分析能力的情况，需要构建实时运营指标体系，为企业经营决策提供分钟级实时应用通报，提效业务决策。

服务运营优化提升：运营服务和业务流程从业务受理到服务开通，全流程场景涉及系统多，业务运营服务往往无法快速分析定位问题，需要建设实时的全链路的运营监控服务能力，提高业务服务水平。

数据实时通报汇总：目前大多数据分析和汇总主要采用天级频率汇总，数据分析延迟高、出数不及时，因此无法实现业务的快速决策，实时数仓实现了秒级的数据分析与汇总，提升了营销能力，助力了快速决策。

展示了平台的整体技术架构，展示了项目开发所使用的具体技术栈，展示了平台所提供的实时应用与具体所使用技术的映射关系。

风险埋点决策实时数据仓库平台整体技术架构分为实时数据采集与接入层、实时数据缓存和传输层、实时数据存储与计算层、实时数据分析与应用层、平台统一实时监控报警层。

实时数据采集与接入层，非结构化数据：实时采集接入安卓、ios、H5、小程序等客户端埋点数据包括业务操作数据、用户网络行为数据、终端设备信息等，采用同步和异步方式推送数据代理和数据缓存层。

结构化业务数据：采用flinkcdc技术方案实时监听mysqlbinglog和oraclelogminer事务操作数据，主要包括数据库DML语句数据的INSERT、UPDATE、DELETE。

实时数据缓存和传输层

主要对数据采集层push的结构化和非结构化数据，提供高吞吐高并发的读写缓存支持，保障上下游数据的高效传输和数据的容灾恢复，并给下游实时计算服务提供流数据和数据可靠性保障。

实时数据存储与计算层

主要对缓存层Kafka各个业务Topic数据，低延迟订阅消费和分布式计算处理，通过Flinksql计算引擎和FlinkDataStreamAPI接口、Olap计算引擎等，保障大规模数据的秒级别计算和输出。同时对实时流数据提供异步离线数仓备份和离线分析服务，保障数据可靠和数据一致性问题。

实时数据分析与应用层，主要对实时计算数据根据业务需求可视化展示和实时决策分析场景支撑，以及业务数据和用户行为数据交叉关联分析等应用场景服务；

平台统一实时监控报警层；

主要对整个实时数据链路数据生产消费情况、数据吞吐效率、数据延迟和重复丢失问题的可视化监控和企业微信报警服务支撑，方便平台维护和研发人员能快速高效定位异常问题、风险，提高平台稳定性和可靠性保障。

展示了授信业务中用户的核心行为。基于海量数据和指标体系的全流程精益运营系统通过分析用户的授信过程完成时长、授信过程前端活跃时长、访问身份证识别页面次数、访问银行卡验证页面次数、访问联系信息填写页面次数、第一联系人关系更改次数、第一联系人信息粘贴次数、第二联系人信息更改次数、第二联系人信息粘贴次数等信息统计用户最近时间段的行为，以分析用户的行为。

平台通过对用户的授信过程埋点进行实时分析，对用户授信行为的时间进行优化，提升了用户体验，实现实时刻画消费金融业务场景的功能，并提升了决策效率，加快了业务迭代频率，具体业务流程如下：

用户通过身份识别、银行卡绑定等流程进行授信；

在微信、客户端等平台完成实时埋点上报

系统端进行实时计算、授信过程时点次数统计等数据生产工作

实时数仓进行数据端的数据分析处理工作

完成对用户行为的实时观测、快速决策和实时查询统计

工作原理：

平台通过对用户的授信过程埋点进行实时分析，对用户授信行为的时间进行优化，提升了用户体验，实现实时刻画消费金融业务场景的功能，并提升了决策效率，加快了业务迭代频率。

具体业务流程如下：

用户通过身份识别、银行卡绑定等流程进行授信；

在微信、客户端等平台完成实时埋点上报；

系统端进行实时计算、授信过程时点次数统计等数据生产工作；

实时数仓进行数据端的数据分析处理工作；

完成对用户行为的实时观测、快速决策和实时查询统计。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。