一种风控业务数据分析方法及装置

技术领域

本发明涉及数据分析领域，具体涉及一种风控业务数据分析方法及装置。

背景技术

在风控业务中，经常会产生疑似风险的用户群体，需要分析评估用户群体和用户个人的质量，如x天的未支付率、x天未支付金额等指标。风控业务场景的人群质量评估往往依赖专业的BI通过，通过离线数仓数据，通过复杂的SQL进行数据分析，存在对需求处理人员专业要求高、需求处理周期长、处理速度慢问题。

发明内容

鉴于以上现有技术的缺点，本发明提供一种风控业务数据分析方法及装置，以改善现有的风控业务数据分析方法存在需求处理周期长及处理速度慢的问题。

为实现上述目的及其它相关目的，本发明提供一种风控业务数据分析方法，包括步骤：

获取分析任务，并解析分析数据源，获取待分析数据的元数据；

加载对应的分析模板，调取所述待分析数据的元数据；

将相应的所述元数据对应的数据加载至内置内存数据库中并执行SQL，得到分析结果指标；

根据所述分析模板及所述分析结果指标生成数据分析报告。

在本发明一实施方式中，获取分析任务的步骤之前包括：将风控业务的数据的元数据存储至HBASE中。

在本发明一实施方式中，将风控业务的数据的元数据存储至HBASE中的步骤包括：将HIVE中的风控业务的数据的元数据同步至HBASE中。

在本发明一实施方式中，加载对应的分析模板的步骤包括：以所述分析任务为依据，自模板中心加载对应的模板。

本发明还提供一种风控业务数据分析装置，包括：操作层、业务层、存储层以及处理层，其中，操作层用于生成操作指令；业务层用于进行业务管理，接收操作指令并进行相应的业务解析，并发送解析结果；存储层用于存储风控业务的数据；处理层用于接收解析结果，从所述存储层中调用数据并执行所述操作指令。

在本发明一实施方式中，操作指令包括数据同步以及分析任务。

在本发明一实施方式中，所述业务层包括：分析数据源管理模块、分析模板管理模块以及分析任务管理模块；所述分析数据源管理模块用于分析并编辑元数据以及管理符合权限的数据源；所述分析模板管理模块用于管理SQL和分析报告的模板；分析任务管理模块用于管理分析任务。

在本发明一实施方式中，所述分析模板管理模块内设置有模板中心。

在本发明一实施方式中，所述处理层包括：任务执行模块、SQL运算模块、任务指标存储模块以及分析报告模块；其中，所述任务执行模块用于执行分析任务、加载分析数据以及加载分析模板；SQL运算模块用于进行SQL运算；任务指标存储模块用于保存所述分析任务的分析结果指标；分析报告模板用于根据所述分析结果指标和分析模板生成分析报告。

在本发明一实施方式中，所述存储层包括HIVE、HBASE以及MONGO；所述HIVE用于存储风控业务的数据；所述HBASE用于存储风控业务的数据的元数据；所述MONGO用于存储分析任务的相关数据。

本发明风控业务数据分析方法，将元数据对应的待分析数据加载到内置内存数据库中并执行SQL进行数据分析，得出分析结果，根据数据分析模板输出报告文件；从而保证数据需求的快速高效，提高了数据分析的处理速度，缩短了处理周期。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明风控业务数据分析方法的流程图；

图2为本发明风控业务数据分析装置的结构框图。

元件标号说明

100、操作层；200、业务层；210、分析数据源管理模块；220、分析模板管理模块；230、分析任务管理模块；300、处理层；310、任务执行模块；320、SQL运算模块；330、任务指标存储模块；340、分析报告模块；400、存储层；410、HIVE；420、HBASE；430、MONGO；500、任务监控层。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其它优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。还应当理解，本发明实施例中使用的术语是为了描述特定的具体实施方案，而不是为了限制本发明的保护范围。下列实施例中未注明具体条件的试验方法，通常按照常规条件，或者按照各制造商所建议的条件。

须知，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

请参阅图1至图2，本发明提供一种风控业务数据分析方法，包括步骤：

同步风控业务的数据的元数据，如订单数据或者用户数据等，通过数据定时同步任务或者一次性数据同步，由HIVE 410同步到HBASE 420中存储。HIVE是离线仓库，是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL(Structured Query Language，结构化查询语言)查询功能。HBASE为是一个分布式的、面向列的开源数据库，属于NOSQL(泛指非关系型的数据库)数据库。

通过用户提交方式获取分析任务，并解析分析数据源，获取待分析数据的元数据。其中，通过用户提交方式获取分析任务的步骤包括：接收用户的新建任务指令以及工作人员上传的用户信息，提供分析模板并由用户选择确认分析模板，并以所述用户信息以及用户选择的分析模板为依据生成分析任务并反馈给用户以供用户提交分析任务至风控业务数据分析装置。用户信息包括但不限于用户的手机号码和/或用户的编号。

以所述分析任务为依据，自模板中心加载对应的模板，自所述HBASE 420中查询并调取所述待分析数据的元数据；

将相应的元数据对应的数据加载至内置内存数据库中并执行分析模板对应的SQL，得到分析结果指标；分析结果指标包括分析结果的明细项目，例如X天的未支付率，X天未支付金额等。

根据所述分析模板及所述分析结果指标生成数据分析报告并保存以及反馈给用户，用户可根据自身需求选择后续相关操作，后续相关操作包括编辑、删除、运行以及下载。

本发明风控业务数据分析方法，将待分析元数据存储在NOSQL(泛指非关系型的数据库)数据库，将条件范围内的数据加载到内置内存，通过内置内存数据库执行模板SQL进行数据分析，得出分析结果，根据数据分析模板输出报告文件；从而保证数据需求的快速高效，提高了数据分析的处理速度，缩短了处理周期。

请参阅图2，本发明还提供一种风控业务数据分析装置，包括：操作层100、业务层200、存储层400以及处理层300，其中，操作层100用于生成操作指令；业务层200用于进行业务管理，接收操作指令并进行相应的业务解析，并发送解析结果；存储层400用于存储风控业务的数据；处理层300用于接收解析结果，从所述存储层400中调用数据并执行所述操作指令。

请参阅图2，在本发明一实施方式中，操作指令包括数据同步以及分析任务。其中，数据同步风控业务分析的元数据，如订单数据或者用户数据等，通过数据定时同步任务或者一次性数据同步，由HIVE 410同步到HBASE 420中存储。分析任务是指提交数据分析请求的任务。如分析输入用户近7天的成单质量，在系统中新建分析任务，上传分析人员，提交任务表单后即为一个数据分析请求。

请参阅图2，在本发明一实施方式中，所述业务层200包括：分析数据源管理模块210、分析模板管理模块220以及分析任务管理模块230；所述分析数据源管理模块210用于分析并编辑元数据以及管理符合权限的数据源，例如，分析元数据的增删改查，管理系统允许使用的数据源，如订单数据、用户数据等。所述分析模板管理模块220用于管理分析引擎执行指标加工的SQL和分析报告的模板，是数据分析装置的核心模块。分析任务管理模块230用于管理分析任务，例如分析任务的生命周期的管理，如新增、启动、取消等。所述分析模板管理模块220内设置有模板中心，所述模板中心用于存储分析模板。

请参阅图2，在本发明一实施方式中，所述处理层300包括：任务执行模块310、SQL运算模块320、任务指标存储模块330以及分析报告模块340；其中，所述任务执行模块310用于执行分析任务、加载分析数据以及加载分析模板；SQL运算模块320用于进行SQL运算，即内存数据分析引擎基于记载内存数据进行SQL指标运算；任务指标存储模块330用于保存所述分析任务的分析结果指标；分析报告模块340用于根据所述分析结果指标和分析模板生成分析报告。

请参阅图2，在本发明一实施方式中，所述存储层400包括HIVE 410、HBASE420以及MONGO 430；所述HIVE 410是离线数据仓库，用于存储风控业务的所有数据；所述HBASE 420用于存储风控业务的数据的元数据；所述MONGO 430用于存储分析任务的相关数据，分析任务的相关任务包括分析任务数据和分析输入数据。

请参阅图2，在本发明一实施方式中，所述风控业务数据分析装置还包括任务监控层500，用于监控分析任务，以便于管理。

本发明相比之前的BI(Business Intelligence，商业智能)数据分析的方法，更加简便，无门槛，仅需要提交待分析数据，几秒钟就可下载分析报告，完成之前一个专业BI一个小时的工作量。本发明根据数据分析需求，一次模板配置，随时分析输入数据，针对分析需求仅需要新建分析模板和选择数据源，配置分析报告格式，即可得到分析数据结果。本发明能实现需求流程标化、工程化和系统化，建立一个敏捷高效的数据分析手段。用户仅需要以下操作：选择指定时间范围，确定分析模板，提交分析任务，下载分析报告，便可以达到在秒级可以得到数据分析结果。因此，本发明极大的降低了对数据分析的门槛，提升了数据分析的效率。所以，本发明有效克服了现有技术中的一些实际问题从而有很高的利用价值和使用意义。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。