一种基于大数据平台的业务可视化方法及系统

技术领域

本发明涉及信息管理技术领域，更具体地说，涉及一种基于大数据平台的业务可视化方法及系统。

背景技术

随着信息技术的高速发展，近年来移动支付、人工智能、大数据、万物互联、5G、区块链等备受欢迎，人们工作生活的方方面面也逐步从线下搬到了线上，很多需求只需登录一个网站或打开一个APP就能实现。对于银行来说，无论是对内的管理还是对外的业务，实现数字化、智能化已成必然，然而现有技术中并不存在一种能够实现银行内相应业务数据统一管控的技术方案。

发明内容

本发明的目的是提供一种基于大数据平台的业务可视化方法及系统，能够实现相应业务数据的统一管控。

为了实现上述目的，本发明提供如下技术方案：

一种基于大数据平台的业务可视化系统，包括数据生成模块、数据交换模块、数据集成模块、数据应用模块及数据访问模块；其中：

所述数据生成模块，用于：获取业务系统产生的数据及外部输入的数据，并确定获取的数据均为业务数据；

所述数据交换模块，用于：基于预设的工具及规范对所述业务数据进行整合，并将整理后的业务数据传输给所述数据集成模块；

所述数据集成模块，用于：利用所述ETL技术对所述业务数据进行处理，并将处理完成的业务数据存入数据仓库中；

所述数据应用模块，用于：调取所述数据仓库中的业务数据，并将调取的所述业务数据发送给相应的应用；

所述数据访问模块，用于：调取并展示所述数据仓库中的业务数据。

优选的，所述数据集成模块包括源数据层、中间明细层、中间汇总层及集市层；其中：

所述源数据层，用于：采集并加载相应的数据为业务数据；

所述中间明细层，用于：利用所述ETL技术对所述业务数据进行处理；

所述中间汇总层，用于：将所述业务数据进行分类，并将分类所述的业务数据分别存入至相应的存储区域；

所述集市层，用于：基于所述存储区域中业务数据提供集市的数据支撑。

优选的，所述数据访问模块包括权限确定单元，所述权限确定单元用于：确定需要访问所述数据仓库中业务数据的用户的身份信息，基于所述身份信息确定所述用户具有访问权限的业务数据，供所述用户实现相应的调取及展示。

优选的，所述数据访问模块包括登录验证单元，所述登录验证单元用于：对需要访问所述数据仓库中业务数据的用户输入的登录信息进行验证，如果验证通过，则允许所述用户访问所述数据仓库，否则，拒绝所述用户访问所述数据仓库。

优选的，所述数据访问模块包括数据展示单元，所述数据展示单元用于：将所述用户调取的所述数据仓库中的业务数据，在所述用户对应的终端进行展示，所述用户的终端包括所述用户的APP、数据屏及数位板。

优选的，所述数据展示单元包括第一数据展示子单元，所述第一数据展示子单元用于：将所述用户调取的所述数据仓库中的业务数据，在所述用户对应的终端进行图形化展示。

优选的，所述数据展示单元包括第二数据展示子单元，所述第二数据展示子单元用于：将所述用户调取的所述数据仓库中的业务数据，在所述用户对应的终端进行语音播报。

优选的，所述数据应用模块包括BI数据工具平台及机器学习数据工具平台，所述BI数据工具平台及所述机器学习数据工具平台用于：供所述应用调用以实现相应的数据分析功能。

优选的，所述数据访问模块包括数据调取单元，所述数据调取单元用于：通过调用所述数据仓库提供的API接口，调取所述数据仓库中的业务数据。

一种基于大数据平台的业务可视化方法，包括：

获取业务系统产生的数据及外部输入的数据，确定获取的数据均为业务数据，并基于预设的工具及规范对所述业务数据进行整合；

利用所述ETL技术对所述业务数据进行处理，并将处理完成的业务数据存入数据仓库中；

调取所述数据仓库中的业务数据，并将调取的所述业务数据发送给相应的应用；或者，调取并展示所述数据仓库中的业务数据。

本发明提供了一种基于大数据平台的业务可视化方法及系统，该系统包括数据生成模块、数据交换模块、数据集成模块、数据应用模块及数据访问模块；其中：所述数据生成模块，用于：获取业务系统产生的数据及外部输入的数据，并确定获取的数据均为业务数据；所述数据交换模块，用于：基于预设的工具及规范对所述业务数据进行整合，并将整理后的业务数据传输给所述数据集成模块；所述数据集成模块，用于：利用所述ETL技术对所述业务数据进行处理，并将处理完成的业务数据存入数据仓库中；所述数据应用模块，用于：调取所述数据仓库中的业务数据，并将调取的所述业务数据发送给相应的应用；所述数据访问模块，用于：调取并展示所述数据仓库中的业务数据。可见，本申请在数据生成模块获取业务系统产生的数据，并接收外部输入的数据后，数据交换模块对这些数据进行整合，数据集成模块对这些数据进行相应的处理及存储，数据应用模块及数据访问模块均能够调取所需数据后发送给应用或者进行展示，从而能够实现相应业务数据的统一管控。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种基于大数据平台的业务可视化系统的第一种结构示意图；

图2为本发明实施例提供的一种基于大数据平台的业务可视化系统中ETL架构的示意图；

图3为本发明实施例提供的一种基于大数据平台的业务可视化系统的第二种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种基于大数据平台的业务可视化系统，可以包括数据生成模块、数据交换模块、数据集成模块、数据应用模块及数据访问模块；其中：

数据生成模块，用于：获取业务系统产生的数据及外部输入的数据，并确定获取的数据均为业务数据；

数据交换模块，用于：基于预设的工具及规范对业务数据进行整合，并将整理后的业务数据传输给数据集成模块；

数据集成模块，用于：利用ETL技术对业务数据进行处理，并将处理完成的业务数据存入数据仓库中；

数据应用模块，用于：调取数据仓库中的业务数据，并将调取的业务数据发送给相应的应用；

数据访问模块，用于：调取并展示数据仓库中的业务数据。

数据生成模块能够接收业务系统产生的数据及外部输入的数据，进而将这些数据均作为业务数据传输给数据交换模块，其中，数据生成模块接收的数据具体可以包括信贷管理部数据、风险管理部数据、资产管理部数据、个人业务部数据、小微业务部数据、租赁数据、理财子公司数据等。数据交换模块在获取到数据生成模块发送的数据后，可以通过预设的工具及规范对这些数据进行整合，进而将整合完成的数据传输到数据集成模块，具体来说，对于数据的整合可以包括将数据分别整合处理成结构化数据、非结构化数据及半结构化数据进行相应的存储，还可以包括将这些数据按照一定的顺序进行排列，等；而根据实际需要进行的其他设定也均在本发明的保护范围之内。数据集成模块能够利用ETL(Extract-Transform-Load)技术对数据交换模块发送的数据进行相应的处理，进而将处理完成的数据均存储至大数据平台的数据仓库中；其中，ETL是BI(商业智能)项目重要的一个环节，ETL技术是将相应的数据经过抽取、清洗、转换等之后加载到数据仓库的过程，目的是将分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据，因此，对于数据集成模块利用ETL技术对数据进行相应的处理具体可以包括对这些行内、行外数据进行加载、清洗、转换及分发等。在实现数据至数据仓库的存储后，可以供数据应用模块为相应的应用实现数据的调用，还可以供数据访问模块为相应的用户实现数据的调取及展示等，从而能够使得应用或者用户通过数据仓库，快速获知所需数据，实现相应的分析等操作。

本申请在数据生成模块获取业务系统产生的数据，并接收外部输入的数据后，数据交换模块对这些数据进行整合，数据集成模块对这些数据进行相应的处理及存储，数据应用模块及数据访问模块均能够调取所需数据后发送给应用或者进行展示，从而能够实现相应业务数据的统一管控。

需要说明的是，数据交换模块对数据进行整合时数据的实质内容是不会发生变化的，另外，还可以利用实时流计算(datahub)对这些数据进行处理，例如，信贷系统可以开启监听模式，其需要将实时指标的每次更新(即为需要整合的数据)均传给实时流计算的实时流组件，实时流组件将这些指标的更新发送给streamcompute进行实时流计算，将计算所得结果回传到实时流组件存储，供需要时获取；而实时流组件可以开启订阅分发机制。对数据交换模块的功能进行举例说明，比如支用金额、授信金额这两个指标由信贷系统产生，数据交换模块获取支用金额、授信金额这两个指标的数据值(可以称之为源数据)后，可以根据数据源格式的不同，选取相应的数据结构来存储，数据结构可以包括结构化数据、非结构化数据、半结构化数据；具体来说，如果源数据是结构化数据，比如业务数据仓库RDS等，则直接以结构化数据的方式存储，如果源数据是半结构化数据，比如征信信息中个人的消费行为、交易行为、人际关系等，则按照半结构化数据的方式存储，如果源数据是非结构化数据，比如图片、声音、视频文件等，则按照非结构化数据的方式存储。

本发明实施例提供的一种基于大数据平台的业务可视化系统，数据集成模块可以包括源数据层、中间明细层、中间汇总层及集市层；其中：

源数据层，用于：采集并加载相应的数据为业务数据；

中间明细层，用于：利用ETL技术对业务数据进行处理；

中间汇总层，用于：将业务数据进行分类，并将分类的业务数据分别存入至相应的存储区域；

集市层，用于：基于存储区域中业务数据提供集市的数据支撑。

本申请实施例中数据集成模块可以包括源数据层、中间明细层、中间汇总层及集市层，其中，源数据层是基础数据层，其可以获取数据交换模块传输的数据进而对其进行相应的处理，具体来说，源数据层可以通过离线数据采集模块、准实时采集DTS、日志数据采集LogService、消息数据同步DataHub、贴源数据等方式，将采集到的数据先加载到业务可视化系统内，而这些数据可以来源于消息队列、日志数据、数据仓库RDS、数据仓库等。中间明细层能够利用ETL技术，基于集市(也即数据集市)需要应用到的数据进行相应提取、精炼、整合等操作。中间汇总层的存储区域可以包括客户域、关系域、基础域，客户域是客户标签库，关系域是OneID及其关系模型，基础域是支撑集市的通用中间层设计。集市层则基于存储区域中存储的业务数据，为不同的集市提供其所需的数据支持。可见，本申请实施例通过上述不同的处理层有效实现数据集成模块相应功能。

其中，OneID的做法是通过统一的实体识别和连接，打破数据孤岛，实现数据通融、全域链接、标签萃取、立体画像，也叫主数据管理；简单来说，用户、设备、消费者、企业、内容、商品、位置等业务实体，可以称为主数据，在对应的业务数据中会被映射为唯一识别(UID)上，其各个维度的数据通过这个UID进行关联，比如实体抽象人、位置、商品、家庭、公司、组织等映射为UID，可以映射为身份证ID、设备ID、手机号码、应用账号ID等，再通过二维码关系构建、OneID构建，最终形成标签，比如自然属性、社会属性、兴趣爱好，行业消费爱好等。基础域是承上启下的中间层，作为支撑应用数据区集市的通用设计。集市层可以包含营销集市、风控集市、报表集市、客户画像、公共集市等，针对具体的应用场景进行数据支撑，为上层应用提供完整、一致、可扩展的数据服务。

需要说明的是，数据采集通道分为批量通道、流计算通道。大数据平台中可以包括批量计算引擎(maxcompute)和实时计算引擎(streamcompute)，且可以同时搭建数据集成开发平台(DIP)，通过ETL技术周期性采集、加载、清洗、转换、分发各种结构化或非结构化的数据，从而在数据消费方面为OTS、ADS、RDS提供数据存储及引用。与批量计算引擎(maxcompute)和实时计算引擎(streamcompute)相对应的，ETL技术的架构可以如图2所示，其可以包括批量ETL架构及实时ETL架构，其中：批量ETL架构负责从ODS采集数据，通过文本的方式加载到批量数据处理平台(maxcompute)，进而进行消费；而实时ETL架构负责采集消息队列、文本日志、数据仓库日志等传送过来的流数据，通过datahub与loghub加载到流数据处理平台(streamcompute)，进而进行数据消费。而利用ETL技术实现数据分析可以包括采集分析用户全量行为、建立用户画像、还原用户行为模型，作为产品分析、优化的基础。具体来说，可以是采集埋点数据，建立用户指标体系，分析用户行为，通过用户指标可以建立用户画像，而数据埋点是一种良好的私有化部署数据采集方式，数据采集准确，满足了企业去粗取精，实现产品、服务快速优化迭代的需求。举例说明，如支用金额、授信金额这两个指标，在对这两个指标进行ETL时，如果对时效性要求不高，就利用批量ETL架构实现，如果对时效性要求很高，就用实时ETL架构实现。

本发明实施例提供的一种基于大数据平台的业务可视化系统，数据访问模块可以包括权限确定单元，权限确定单元用于：确定需要访问数据仓库中业务数据的用户的身份信息，并基于身份信息确定用户具有访问权限的业务数据，供用户实现相应的调取及展示。

为了既能满足总行产品经营管理者对于产品在全行范围及不同分支行内的运营和对比情况，也能满足一线产品人员对相关运营状态的查询，也即能够满足不同用户角色的需求，本申请实施例可以在数据访问模块中设置权限确定单元，权限确定单元可以基于权限体系及账户体系实现，账户体系中的账户可以包括产品运营岗、产品管理岗、风控岗、反欺诈岗、总行管理岗、分支行管理岗、客户经理岗、网点主任岗等。对应的，本申请可以确定访问数据仓库的用户的身份信息，也即其属于上述账户体系中的哪类账户，进而仅允许其对其属于的账户能够访问的全部业务系统实现相应的访问。另外，不同的账户在实现数据仓库访问时可以看到不同的页面，同一个页面不同的账户也可以看到不同的模块，即可以按照业务需要对可视化内容进行控制，比如：风险雷达模块只有风险管理岗可以查看，其他岗位则没有权限。

本发明实施例提供的一种基于大数据平台的业务可视化系统，数据访问模块可以包括登录验证单元，登录验证单元用于：对需要访问数据仓库中业务数据的用户输入的登录信息进行验证，如果验证通过，则允许用户访问数据仓库，否则，拒绝用户访问数据仓库。

为了保障数据仓库中数据的安全性及可靠性，本申请实施例可以对需要访问数据仓库的用户进行身份验证，也即判断其输入的登录信息是否正确，如果是，则说明该用户的身份能够登录并实现数据仓库的访问，否则，说明该用户的身份无法登录并实现数据仓库的访问。

本发明实施例提供的一种基于大数据平台的业务可视化系统，数据访问模块可以包括数据展示单元，数据展示单元用于：将用户调取的数据仓库中的业务数据，在用户对应的终端进行展示，用户的终端包括用户的APP、数据屏及数位板。

本申请实施例可以由用户通过PC端界面选择需要展示的指标(数据)，将其以拖拉拽的方式完成指标的加、减、乘、除、平均数、求和等运营分析。而数据访问模块能够实现多渠道终端展示，如APP、PC端、公众号、IPAD、数据屏、数位板(或者称之为数据板)等，达到体验升级的效果。

本发明实施例提供的一种基于大数据平台的业务可视化系统，数据展示单元可以包括第一数据展示子单元及第二数据展示子单元，第一数据展示子单元用于：将用户调取的数据仓库中的业务数据，在用户对应的终端进行图形化展示；第二数据展示子单元用于：将用户调取的数据仓库中的业务数据，在用户对应的终端进行语音播报。

需要说明的是，本申请可以将需要展示的数据通过手机端等进行图形化展示或者语音播报，方便相应人员直观获取，便于线上产品经营管理者和运营分析人员及时掌握产品经营趋势和分析客户行为对产品运营状态的影响，便于线上产品的全面运营监控。

本发明实施例提供的一种基于大数据平台的业务可视化系统，数据应用模块可以包括BI数据工具平台及机器学习数据工具平台，BI数据工具平台及机器学习数据工具平台用于：供应用调用以实现相应的数据分析功能。

需要说明的是，数据应用模块中可以搭建数据分析(BI)及机器学习这两个数据工具平台，进而在需要时能够调用这两个数据工具平台实现相应的数据分析，提升业务人员自动化分析水平，降低用户数据使用的门槛，推动数据快速应用到业务决策中。另外还可以搭建报表统一门户，实现报表的统一管理与访问；且基于行内具体需求情况，支持APP、风控、营销、客服等业务场景。其中，BI就是运营分析工具，机器学习平台是指标AI化，这两个平台调取数据集成模块的数据，需要经数据调度层、服务网关层及原子服务层。具体来说，数据调度层支持HTTP、RPC联机服务、批量文件接口、消息队列、异步回调推送等服务调度方式，满足实时和准实时等各种场景需求；服务网关层包括服务注册、服务发现、服务鉴权、服务组合；原子服务层包括营销服务群组、运营服务群组、绩效服务群组、报表服务群组。每个组内部是按照业务条线分的指标体系。

本发明实施例提供的一种基于大数据平台的业务可视化系统，数据访问模块可以包括数据调取单元，数据调取单元用于：通过调用数据仓库提供的API接口，调取数据仓库中的业务数据。

为了方便实现数据调取，本申请可以为数据仓库设置相应的API接口，从而通过该API接口即可调取数据仓库中的业务数据，进而实现相应的分析处理等数据操作。

在一种具体应用场景下，本发明实施例提供的一种基于大数据平台的业务可视化系统可以如图3所示；本申请能够实现申请、审批、支用整个流程环节的监控以及逾期情况的跟踪，同时梳理近300个埋点数据相关指标，对微信端以及手机银行app端客户对产品的访问情况进行监控。由于从指标的生成到查询结果都是实时或者准实时，且都是业务运营、产品绩效、实时报表等数据，终端通过业务监控大屏、app端查看，加上管理层也有账户权限查看，所以对领导做管理决策、战略调整都有参考价值。在应用于风控时，比如业务瞭望台(是一款基于线上业务运营的数字化平台，通过对运营中的数字化监控与分析，为用户提供专业、准确的管理决策支持，从而达到优化运营、降低运营成本、提高收益的母的)慧预警模块中有贷前、贷中、贷后，贷前有企业集中度预警、个人集中度预警、反欺诈指标调用情况、发欺诈通过率、反欺诈拒绝率；在应用于营销时，在业务瞭望台有个模块叫龙虎榜，里面有全行创新条线产品营销排名，按照分支行或者个人排名，在供客户经理使用时，可以通过业务瞭望台可以查看自己的业绩排名、待办事项等。

可见，本申请帮助分支行管理人员、总行管理人员快速掌握业绩完成情况，分支行排名，产品信息等，提高了工作效率；方便管理人员及时掌握产品运营情况、风险指标、机构业绩，提高其管理效率；有助于洞察客户行为，提供更加及时、专业的服务，有效提升客户体验、增加客户满意度。

本发明实施例还提供了一种基于大数据平台的业务可视化方法，具体可以包括：

S11：获取业务系统产生的数据及外部输入的数据，确定获取的数据均为业务数据，并基于预设的工具及规范对业务数据进行整合；

S12：利用ETL技术对业务数据进行处理，并将处理完成的业务数据存入数据仓库中；

S13：调取数据仓库中的业务数据，并将调取的业务数据发送给相应的应用；或者，调取并展示数据仓库中的业务数据。

需要说明的是，本发明实施例提供的一种基于大数据平台的业务可视化方法中相关部分的说明请参见本发明实施例提供的一种基于大数据平台的业务可视化系统中对应部分的详细说明，在此不再赘述。另外，本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。