掌桥专利:专业的专利平台
掌桥专利
首页

数据处理方法以及装置

文献发布时间:2024-04-18 19:58:21


数据处理方法以及装置

技术领域

本说明书实施例涉及计算机技术领域,特别涉及一种数据处理方法。

背景技术

随着业务的不断发展,业务对应的数据量也在不断增加;为了对业务数据进行分类,通常会采用人工统计的方式。

但目前采用人工统计数据的方式会存在两方面的问题,一方面,人工统计的效率较低,无法适应业务快速增长的需求;另一方面,业务数据需要满足实时性的要求,而人工统计效率较低,时效性无法得到保证。

因此,如何提升对数据的统计效率成为本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此,本说明书实施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面,提供了一种数据处理方法,包括:

接收各数据源发送的针对至少一个用户的用户特征数据,其中,用户特征数据中包含至少两种数据类型的特征数据;

基于预设特征配置在各用户特征数据中确定目标特征数据,并将所述目标特征数据存储至特征数据库;

根据业务分析任务在所述特征数据库中获取任务特征数据,并基于所述任务特征数据执行所述业务分析任务,获得所述业务分析任务的数据分析结果。

根据本说明书实施例的第二方面,提供了一种数据处理装置,包括:

接收模块,被配置为接收各数据源发送的针对至少一个用户的用户特征数据,其中,用户特征数据中包含至少两种数据类型的特征数据;

确定模块,被配置为基于预设特征配置在各用户特征数据中确定目标特征数据,并将所述目标特征数据存储至特征数据库;

获取模块,被配置为根据业务分析任务在所述特征数据库中获取任务特征数据,并基于所述任务特征数据执行所述业务分析任务,获得所述业务分析任务的数据分析结果。

根据本说明书实施例的第三方面,提供了一种保险产品的定价方法,包括:

接收各数据源发送的针对至少一个电商商家的商家特征数据,其中,商家特征数据中包含至少两种数据类型的特征数据;

基于预设特征配置在各商家特征数据中确定目标特征数据,并将所述目标特征数据存储至特征数据库;

根据保险定价任务在所述特征数据库中获取任务特征数据,并基于所述任务特征数据执行所述保险定价任务,获得所述保险定价任务的保险定价结果。

根据本说明书实施例的第四方面,提供了一种保险产品的定价装置,包括:

商家特征接收模块,被配置为接收各数据源发送的针对至少一个电商商家的商家特征数据,其中,商家特征数据中包含至少两种数据类型的特征数据;

商家目标特征确定模块,被配置为基于预设特征配置在各商家特征数据中确定目标特征数据,并将所述目标特征数据存储至特征数据库;

任务特征获取模块,被配置为根据保险定价任务在所述特征数据库中获取任务特征数据,并基于所述任务特征数据执行所述保险定价任务,获得所述保险定价任务的保险定价结果。

根据本说明书实施例的第五方面,提供了一种计算设备,包括:

存储器和处理器;

所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。

根据本说明书实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述数据处理方法的步骤。

根据本说明书实施例的第七方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述数据处理方法的步骤。

本说明书一个实施例实现了接收各数据源发送的针对至少一个用户的用户特征数据,其中,用户特征数据中包含至少两种数据类型的特征数据;基于预设特征配置在各用户特征数据中确定目标特征数据,并将所述目标特征数据存储至特征数据库;根据业务分析任务在所述特征数据库中获取任务特征数据,并基于所述任务特征数据执行所述业务分析任务,获得所述业务分析任务的数据分析结果。

通过基于预设特征配置在各用户特征数据中确定目标特征数据,实现了包含不同类型的用户特征数据的统计处理,从而避免人工对用户特征数据进行统计,提升对用户特征数据处理效率,进而保证了用户特征数据的实时性;根据业务分析任务在存储目标特征数据的特征数据库中获取任务特征数据,并基于任务特征数据执行数据分析任务,从而提升了数据分析任务执行效率。

附图说明

图1是本说明书一个实施例提供的一种数据处理方法的场景示意图图;

图2是本说明书一个实施例提供的一种数据处理方法的流程图;

图3是本说明书一个实施例提供的一种保险产品的定价方法的处理过程流程图;

图4是本说明书一个实施例提供的一种数据处理装置的结构示意图;

图5是本说明书一个实施例提供的一种保险产品的定价装置的结构示意图;

图6是本说明书一个实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

此外,需要说明的是,本说明书一个或多个实施例所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。

目前,从异构海量数据源中实时计算并提取有用的统计信息(有效特征),准实时给风控和精算等上游业务系统提供特征支持。需要解决的技术问题包含以下几点:1)解决数据源多的问题。例如:ODPS、MYSQL、RPC接口等不同的数据;2)解决数据类型繁杂的问题。例如:商家的订单数据、物流数据、退货单数据、买卖家信息、商品库存数据等,甚至是任何的结构化业务数据;3)解决特征统计维度不同的问题。有的特征计算范围可能是30天,有的特征计算范围可能是需要半年或者一年甚至更久;4)解决不同的业务使用的具体特征以及数量都是不确定的问题。比如:一个店铺统计出来10个特征数据,定价业务只需要其中的4个,风控需要其中的8个,而且是不确定的,这也是一个需要解决的问题痛点;5)解决哪些统计数据是可信的,可使用的问题。比如样品数量少,统计的数据就不具有可信度,需要过滤丢弃。

目前利用人工线下统计相应的特征数据的方案,没有实时精准的数据统计作为支撑。由于人工统计受限于个人的细心程度、工作状态等因素,并不能保证统计数据的可信度,特征数据质量无法保证。其次人工统计数据不具备准实时的特性,时效性不能得到保证,且效率低下;并且随着保险产品互联网化,入驻的商家会越来越多,数据量达到日亿级,人工的统计投入人力成本巨大,而且人工统计已经不能满足业务快速增长的需求。

本说明书的方案利用特征平台实现对特征数据的提取;特征平台是对不同数据进行统计得到各式各样特征值的系统,它通过对数据的统计分析,得到有数据支撑的可提供有价值、有可信度的特征。例如:统计一个店家商铺的退货率,可以规避一些店家的投保风险。统计一个买家的退换货率,可以了解一个买家的买卖行为。针对目前人工统计特征方法的缺点,本发明使用了大量配置化解决方案,通过数据源可配置化、特征提取sql可配置化、实时提取可配置化、特征维度可配置化、特征过滤可配置化、业务使用特征组可配置化等配置化解决方案,将业务和特征平台系统功能进行解耦,并且可以应对快速的业务增长和特征时效性等问题。

在本说明书中,提供了一种数据处理方法,本说明书同时涉及一种数据处理装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。

参见图1,图1示出了根据本说明书一个实施例提供的一种数据处理方法的场景示意图,本实施例中以数据处理方法在确定电商商家可参与的退货保险的保险定价为例,对本申请的数据处理方法进行描述,具体包括:

保险公司与电商平台达成合作后,电商平台的商家可以通过电商平台参与退货险,在用户签订退货险协议后,若用户退货,则用户退货的费用可以由保险公司承担;保险公司需要获取商家的退换货情况来为商家推荐保险价格,即为保险定价;具体的,保险公司在确定商家签订退货险协议后,并且在商家同意隐私协议的情况下生成数据拉取任务;保险公司的服务器响应于数据拉取任务,拉取商家的销售业务数据,包括退货订单数量、总订单数量等等;将拉取的销售业务数据上传至保险公司的数据库中,包括数据源1、数据源2和数据源3;进一步由保险公司的特征平台对数据源中的数据进行统计处理,以便对商家的保险费用进行定价。

具体的,预先对特征平台进行配置处理;其中,数据源配置包括数据源id、数据源类型、数据源名称、用户名、密码,从而可以从数据源拉取特征数据;特征配置包括渠道编码、渠道平台编码、产品编号、特征标签、特征维度集合、数据类型、数据源id、特征提取脚本、占位符、结果字段映射、计算方式;特征过滤配置包括渠道编码、渠道平台编码、产品编码、特征标签、数据类型、数据源id、过滤数据提交脚本或数据文本集合、占位符、过滤字段、过滤方式;特征提取任务包括渠道编码、渠道平台编码、产品编号、特征标签、特征维度、数据类型、数据源id、特征提取运行脚本、结果字段映射、计算方式、操作日期、任务状态、批次号;提取的特征中包括渠道编码、渠道平台编码、产品编号、所属者id、所属者id类型、特征标签、特征维度、特征值、业务日期;特征组包括渠道编码、渠道平台编码、产品编号、特征组名、特征组描述、特征组维度、特征标签集合、所属域;特征组通知记录包括渠道编码、渠道平台编码、产品编码、特征组名、通知日期、所属域。通过预先对特征平台的处理方式进行配置,从而可以提升后续对数据进行统计的效率。

进一步地,通过数据源配置在数据源中拉取业务数据,包括从数据源1、数据源2以及数据源3中拉取不同数据类型的业务数据,本实例中数据源1、数据源2、数据源3分别为RPC、MySql、odps;基于特征配置和特征过滤配置生成特征提取任务,特征平台响应于特征提取任务,根据数据源配置在各数据域中拉取不同数据类型的业务数据;基于特征配置在业务数据中提取渠道编号、数据类型等信息,进一步基于特征过滤配置剔除参考性较低的数据,得到提取出的特征,并将特征存储至特征数据库;根据特征组配置在特征数据库中筛选出用于风控分析和定价分析的目标特征数据,进而基于筛选出的目标特征数据完成对商家退货险的定价。

本说明书一个实施例实现了接收各数据源发送的针对至少一个用户的用户特征数据,其中,用户特征数据中包含至少两种数据类型的特征数据;基于预设特征配置在各用户特征数据中确定目标特征数据,并将所述目标特征数据存储至特征数据库;根据业务分析任务在所述特征数据库中获取任务特征数据,并基于所述任务特征数据执行所述业务分析任务,获得所述业务分析任务的数据分析结果。

通过基于预设特征配置在各用户特征数据中确定目标特征数据,实现了包含不同类型的用户特征数据的统计处理,从而避免人工对用户特征数据进行统计,提升对用户特征数据处理效率,进而保证了用户特征数据的实时性;根据业务分析任务在存储目标特征数据的特征数据库中获取任务特征数据,并基于任务特征数据执行数据分析任务,从而提升了数据分析任务执行效率。

参见图2,图2示出了根据本说明书一个实施例提供的一种数据处理方法的流程图,具体包括以下步骤。

步骤202:接收各数据源发送的针对至少一个用户的用户特征数据,其中,用户特征数据中包含至少两种数据类型的特征数据。

其中,数据源是指存储有用户特征数据的媒介,例如,图数据库、数据表、mysql数据库等等;用户特征数据是指用户在目标业务下的数据,例如,用户为网店商家,则用户特征数据可以是商家卖货的退货订单数量。

实际应用中,可以一次接收一个、两个或多个用户的用户特征数据,对多个用户的用户特征数据共同进行处理;并且,用户特征数据可以是包含一种数据类型或至少两种数据类型的特征数据,即后续可以对不同数据类型的特征数据进行处理。

具体的,由处理特征数据的设备,接收各数据源发送的针对至少一个用户的用户特征数据,并且用户特征数据中可以包含一种数据类型或至少两种数据类型的特征数据。

在本申请一具体实施方式中,接收针对用户A的用户特征数据,该用户特征数据中包含订单总数量信息、订单商品信息,并且订单总数量信息、订单商品信息为不同的数据类型。

在本申请另一具体实施方式中,接收针对用户A、B的用户特征数据,其中,用户A和用户B的用户特征数据均为相同的数据类型。

通过接收针对至少一个用户的用户特征数据,在用户特征数据中包含至少两种数据类型的特征数据,从而避免仅获取单一用户的用户特征数据以及单一数据类型的特征数据,从而可以提升后续对用户特征数据的处理效率。

实际应用中,在接收各数据源发送的至少一个用户的用户特征数据之前,还包括:

确定至少一个数据源的数据源属性信息;

基于各数据源的数据源属性信息创建用户特征数据的传输链接。

其中,数据源属性信息是指与数据源相关的信息,例如,数据源名称、数据源类型、数据源连接地址等等。

具体的,确定存储用户特征数据的数据源,包括数据库、数据表等;获取至少一个数据源的数据源属性信息;通过各数据源的数据源属性信息,在服务器进行预先的数据源配置,创建数据源至数据处理服务器的传输连接,使得后续可以将数据源中的用户特征数据上传中至服务器。

在本申请一具体实施方式中,确定存储用户特征数据的数据库m和数据库n;确定数据库m和数据库n的数据源属性信息;根据数据源属性信息在数据处理平台进行数据源配置,从而建立用数据源与数据处理平台之间用于传输用户特征数据的传输链接。

通过预先建立传输用户特征数据的传输链接,以便后续基于传输链接获取各数据源中的用户特征数据。

步骤204:基于预设特征配置在各用户特征数据中确定目标特征数据,并将所述目标特征数据存储至特征数据库。

其中,预设特征配置是指用于在用户特征数据中确定目标特征数据的配置信息,例如,在订单数据中筛选订单时间为近两日的订单数据;目标特征数据是指符合预设特征配置的特征数据。

具体的,根据预设特征配置中的各配置信息在用户特征数据中查找符合预设特征配置的特征数据作为目标特征数据;将查找到的目标特征数据进行存储,例如,将目标特征数据存储至特征数据库,云存储平台等。

在本申请一具体实施方式中,基于预设特征配置中的时间配置在各用户特征数据中查找订单时间在三天内的订单数据;将查找到的订单数据作为目标特征数据。

通过基于预设特征配置在各用户特征数据中确定目标特征数据,从而可以提升对用户特征数据的处理效率,以便后续对目标特征数据做进一步的统计。

在实际应用中,用户特征数据中可能会包含与常规数据差距较大的数据,为了不影响后续对用户特征数据分析的准确度,可以预先设置过滤条件,对与常规数据差距较大的数据进行剔除。

具体的,基于预设特征配置在各用户特征数据中确定目标特征数据的方法可以包括:

基于所述预设特征配置中的特征配置和特征过滤配置生成特征提取任务;

响应于特征提取任务在各用户特征数据中确定目标特征数据。

其中,特征配置包括渠道配置、数据特征配置、数据属性配置、计算配置中的至少一项;渠道配置用于筛选出用户特征数据中包含渠道信息,例如,渠道编号、渠道平台编码、产品编号等,具体的,渠道信息可以是用户特征数据是在电商平台a获取的、在公司b的数据库中获取的等等;数据特征配置用于筛选出用户特征数据中包含的特征信息,例如,特征标签、特征维度集合、特征提取脚本等等;数据属性配置用于筛选出用户特征数据中包含的数据属性信息,例如,数据类型、数据源id等;计算配置用于筛选出用户特征数据中包含的数据计算信息,例如,数据计算方式、数据占位符等等。

特征过滤配置包括渠道配置、数据属性配置、过滤配置、数据特征配置中的至少一项;过滤配置用于筛选出用户特征数据中需要剔除的数据,例如,过滤字段、过滤方式、过滤数据提交脚本等等。

特征提取任务是指在用户特征数据中提取目标特征数据的任务;特征提取任务基于特征配置和特征过滤配置创建;由特征提取任务根据渠道配置、数据特征配置等预设特征配置在用户特征数据中提取目标特征数据。

具体的,确定特征配置以及特征过滤配置;基于特征配置和特征过滤配置生成特征提取任务;响应于特征提取任务在各用户特征数据中提取目标特征数据。

在本申请一具体实施方式中,确定预设特征配置中的特征配置和特征过滤配置;基于特征配置和特征过滤配置生成特征提取任务,在特征提取任务中包含渠道编码、渠道平台编码、产品编号、特征标签、特征维度、数据类型、数据源id、特征提取运行脚本、结果字段映射、计算方式、操作日期、任务状态、批次号的特征提取配置,从基于上述配置在用户特征数据中提取出目标特征数据。

在实际应用中,可以仅基于特征配置在用户特征数据中提取目标特征数据,但为了保证数据的有效性,可以进一步基于特征过滤配置进行特征数据的提取。

具体的,响应于特征提取任务在各用户特征数据中确定目标特征数据的方法可以包括:

基于所述特征配置在各用户特征数据中筛选出符合所述特征配置的初始特征数据;

根据所述特征过滤配置剔除所述初始特征数据中的过滤特征数据,获得目标特征数据。

其中,初始特征数据是指仅根据特征提取任务在用户特征数据中提取的特征数据;过滤特征数据是指初始特征数据中符合特征过滤配置的特征数据。

具体的,根据特征配置在各用户特征数据中查找符合特征配置的初始特征数据;此时,可以将初始特征数据作为目标特征数据存储至特征数据库;进一步地,也可以基于特征过滤配置在初始特征数据中筛选目标特征数据,即可以基于特征过滤配置在初始特征数据中筛选出符合特征过滤配置的过滤特征数据,将初始特征数据中的过滤特征数据剔除,得到目标特征数据。

在本申请一具体实施方式中,响应于特征提取任务,根据特征配置在各用户特征数据中提取渠道编码信息和特征标签对应的特征数据,并将提取出的特征数据作为目标特征数据存储至特征数据库。

在本申请另一具体实施方式中,响应于特征提取任务,根据特征配置在各用户特征中提取特征标签信息对应的初始特征数据;进一步根据特征过滤配置确定初始特征数据中的过滤特征数据,本实施例中特征过滤配置为特征标签对应的内容为“国内”,则剔除初始特征数据中包含“国内”特征标签的特征数据,得到目标特征数据;将目标特征数据存储至特征数据库。

需要注意的是,上述实施例为对特征配置中的部分配置进行的举例,在实际应用中可以根据需求设置多个配置信息,本申请不做具体限定。

步骤206:根据业务分析任务在所述特征数据库中获取任务特征数据,并基于所述任务特征数据执行所述业务分析任务,获得所述业务分析任务的数据分析结果。

在筛选出目标特征数据后,可以根据业务分析需求在目标特征数据中进一步筛选用于业务分析任务的任务特征数据。

其中,业务分析任务是根据目标特征数据确定业务分析结果的任务;任务特征数据是指基于业务分析任务在特征数据库中获取的数据,即在目标特征数据中筛选出的数据;数据分析结果是指业务分析任务对应的分析结果,例如,业务分析任务为拟定商品价格,则数据分析结果为拟定的商品价格。

具体的,确定业务分析任务对应的配置信息,并基于配置信息在特征数据库的目标特征数据中查找任务特征数据;根据任务特征数据执行业务分析任务,得到业务分析任务对应的任务特征数据。

在本申请一具体实施方式中,确定保险定价任务对应的配置信息,基于配置信息在特征数据库中查找对应配置信息的目标特征数据作为任务特征数据;基于任务特征数据执行保险定价任务,获得保险定价分析结果。

通过在特征数据库确定业务分析任务对应的任务特征数据,进而基于任务特征数据执行业务分析任务,获得数据分析结果,从而提升了业务分析任务的执行效率。

在实际应用中,根据业务分析任务在所述特征数据库中获取任务特征数据的方法可以包括:

确定所述业务分析任务的业务标识;

在所述特征数据库中检索所述业务标识对应的目标特征数据,作为所述业务分析任务对应的任务特征数据。

其中,业务标识是指业务分析任务对应的业务配置字段,实际应用中,业务分析任务可以对应一个或多个业务标识;基于业务标识可以在特征数据中检索与业务标识应的目标特征数据。

具体的,确定业务分析任务对应的一个或多个业务标识;基于业务标识在特征数据库中搜索与各业务标识对应的目标特征数据,并将与各业务标识对应的目标特征数据作为任务特征数据。

在本申请一具体实施方式中,确定商品数量确定任务的业务配置信息包括商品描述和商品价格;基于业务配置信息在特征数据库中检索业务配置信息对应的任务特征数据,根据任务特征数据执行商品数量确定任务。

通过确定业务分析任务的业务标识,进而基于业务标识在特征数据库中确定业务分析任务执行所需的任务特征数据,从而可以提升业务分析任务的执行效率。

上述为采集一个业务分析任务对应的任务特征数据,实际应用中,可以确定多个业务分析任务,基于多个业务分析任务在特征数据库中采集任务特征数据。

具体的,业务分析任务中包括至少两个业务分析子任务;根据业务分析任务在所述特征数据库中获取任务特征数据的方法可以包括:

确定所述业务分析任务中各业务分析子任务对应的子任务标识;

基于各子任务标识在所述特征数据库中获取各业务分析子任务对应的任务特征数据组。

其中,业务分析子任务是指需要在特征数据库中获取任务特征数据的任务;子任务标识是指各业务分析子任务对应的业务配置字段;任务特征数据组是指由任务特征数据组成的集合。

具体的,业务分析任务中可以包含一个或多个任务,即业务分析任务可以是由多个业务分析任务组成的总任务,也可以是由多个业务分析任务组成;在确定业务分析任务包含至少两个业务分析子任务的情况下,确定各业务分析子任务对应的子任务标识;基于各子任务标识在特征数据中获取各业务分析子任务对应的任务特征数据组。

在本申请一具体实施方式中,确定保险定价任务包含风控子任务和定价子任务;确定各子任务对应的子任务标识;基于子任务标识在特征数据库中获取任务特征数据;基于风控子任务对应的任务特征数据执行风控子任务,获得用户是否可参与保险的分析结果;基于定价子任务对应的任务特征数据执行定价子任务,获得用户参与保险定价的分析结果。

通过确定各业务分析子任务对应的任务特征数据,基于任务特征数据执行业务分析任务,从而可以提升对业务分析任务的执行效率。

实际应用中,还可以对任务特征数据的提取进行通知记录,以便后续确定对任务特征数据的提取过程。

具体的,根据业务分析任务在所述特征数据库中获取任务特征数据之后,还包括:

记录所述业务分析任务对应的任务属性信息。

其中,任务属性信息是指业务分析任务执行而产生的属性信息;对任务特征数据的通知记录可以预先进行配置,具体的配置信息可以包括渠道编码、特征组名、通知日期等等。

具体的,在获取到任务特征数据后,可以对提取的任务特征数据进行记录,即对业务分析任务对应的任务属性信息进行记录。

在本申请一具体实施方式中,根据业务分析任务在特征数据库中获取任务特征数据之后,基于通知记录对应的配置信息,包括:渠道编码、产品编号、特征组名、通知日期等进行任务属性信息的获取,生成特征组通知记录。

本说明书一个实施例实现了接收各数据源发送的针对至少一个用户的用户特征数据,其中,用户特征数据中包含至少两种数据类型的特征数据;基于预设特征配置在各用户特征数据中确定目标特征数据,并将所述目标特征数据存储至特征数据库;根据业务分析任务在所述特征数据库中获取任务特征数据,并基于所述任务特征数据执行所述业务分析任务,获得所述业务分析任务的数据分析结果。

通过基于预设特征配置在各用户特征数据中确定目标特征数据,实现了包含不同类型的用户特征数据的统计处理,从而避免人工对用户特征数据进行统计,提升对用户特征数据处理效率,进而保证了用户特征数据的实时性;根据业务分析任务在存储目标特征数据的特征数据库中获取任务特征数据,并基于任务特征数据执行数据分析任务,从而提升了数据分析任务执行效率。

下述结合附图3,以本说明书提供的数据处理方法在保险产品定价的应用为例,对所述数据处理方法进行进一步说明。其中,图3示出了本说明书一个实施例提供的一种保险产品的定价方法的处理过程流程图,具体包括以下步骤。

步骤302:接收各数据源发送的针对至少一个电商商家的商家特征数据,其中,商家特征数据中包含至少两种数据类型的特征数据。

其中,数据源是指存储有商家特征数据的媒介,例如,图数据库、数据表、mysql数据库等等;商家特征数据是指商家在目标业务下的数据,例如,网店商家的商家特征数据可以是商家卖货的退货订单数量。

实际应用中,可以一次接收一个、两个或多个商家的商家特征数据,对多个商家的商家特征数据共同进行处理;并且,商家特征数据可以是包含一种数据类型或至少两种数据类型的特征数据,即后续可以对不同数据类型的特征数据进行处理。

具体的,由处理特征数据的设备,接收各数据源发送的针对至少一个商家的商家特征数据,并且商家特征数据中可以包含一种数据类型或至少两种数据类型的特征数据。

在本申请一具体实施方式中,接收针对商家A的商家特征数据,该商家特征数据中包含订单总数量信息、订单商品信息,并且订单总数量信息、订单商品信息为不同的数据类型。

在本申请另一具体实施方式中,接收针对商家A、B的商家特征数据,其中,商家A和商家B的商家特征数据均为相同的数据类型。

在实际应用中,在接收各数据源发送的至少一个商家的商家特征数据之前,还可以包括:确定至少一个数据源的数据源属性信息;基于各数据源的数据源属性信息创建商家特征数据的传输链接。

通过接收针对至少一个商家的商家特征数据,在商家特征数据中包含至少两种数据类型的特征数据,从而避免仅获取单一商家的商家特征数据以及单一数据类型的特征数据,从而可以提升后续对商家特征数据的处理效率。

步骤304:基于预设特征配置在各商家特征数据中确定目标特征数据,并将所述目标特征数据存储至特征数据库。

其中,预设特征配置是指用于在商家特征数据中确定目标特征数据的配置信息,例如,在订单数据中筛选订单时间为近两日的订单数据;目标特征数据是指符合预设特征配置的特征数据。

具体的,根据预设特征配置中的各配置信息在商家特征数据中查找符合预设特征配置的特征数据作为目标特征数据;将查找到的目标特征数据进行存储,例如,将目标特征数据存储至特征数据库,云存储平台等。

在本申请一具体实施方式中,基于预设特征配置中的时间配置在各商家特征数据中查找订单时间在三天内的订单数据;将查找到的订单数据作为目标特征数据。

在实际应用中,基于预设特征配置在各商家特征数据中确定目标特征数据的方法可以包括:基于预设特征配置中的特征配置和特征过滤配置生成特征提取任务;响应于特征提取任务在各商家特征数据中确定目标特征数据。其中,特征配置包括渠道配置、数据特征配置、数据属性配置、计算配置中的至少一项;特征过滤配置包括渠道配置、数据属性配置、过滤配置、数据特征配置中的至少一项。

进一步地,响应于特征提取任务在各用户特征数据中确定目标特征数据的方法可以包括:基于所述特征配置在各商家特征数据中筛选出符合所述特征配置的初始特征数据;根据所述特征过滤配置剔除所述初始特征数据中的过滤特征数据,获得目标特征数据。

通过基于预设特征配置在各商家特征数据中确定目标特征数据,从而可以提升对商家特征数据的处理效率,以便后续对目标特征数据做进一步的统计。

步骤306:根据保险定价任务在所述特征数据库中获取任务特征数据,并基于所述任务特征数据执行所述保险定价任务,获得所述保险定价任务的保险定价结果。

其中,保险定价任务是根据目标特征数据确定业务分析结果的任务;任务特征数据是指基于保险定价任务在特征数据库中获取的数据,即在目标特征数据中筛选出的数据;数据分析结果是指保险定价任务对应的分析结果,例如,保险定价任务为拟定商品价格,则数据分析结果为拟定的商品价格。

具体的,确定保险定价任务对应的配置信息,并基于配置信息在特征数据库的目标特征数据中查找任务特征数据;根据任务特征数据执行保险定价任务,得到保险定价任务对应的任务特征数据。

在本申请一具体实施方式中,确定保险定价任务对应的配置信息,基于配置信息在特征数据库中查找对应配置信息的目标特征数据作为任务特征数据;基于任务特征数据执行保险定价任务,获得保险定价分析结果。

在实际应用中,根据保险定价任务在所述特征数据库中获取任务特征数据的方法可以包括:确定保险定价任务的业务标识;在所述特征数据库中检索所述业务标识对应的目标特征数据,作为所述保险定价任务对应的任务特征数据。

具体的,业务分析任务中还可以包括至少两个业务分析子任务;根据业务分析任务在所述特征数据库中获取任务特征数据的方法可以包括:

确定所述保险定价任务中各业务分析子任务对应的子任务标识;

基于各子任务标识在所述特征数据库中获取各业务分析子任务对应的任务特征数据组。

实际应用中,还可以对任务特征数据的提取进行通知记录,以便后续确定对任务特征数据的提取过程。具体为:根据保险定价任务在所述特征数据库中获取任务特征数据之后,还包括:记录所述保险定价任务对应的任务属性信息。

通过在特征数据库确定保险定价任务对应的任务特征数据,进而基于任务特征数据执行保险定价任务,获得数据分析结果,从而提升保险定价任务的执行效率。

本说明书一个实施例实现了接收各数据源发送的针对至少一个电商商家的商家特征数据,其中,商家特征数据中包含至少两种数据类型的特征数据;基于预设特征配置在各商家特征数据中确定目标特征数据,并将所述目标特征数据存储至特征数据库;根据保险定价任务在所述特征数据库中获取任务特征数据,并基于所述任务特征数据执行所述保险定价任务,获得所述保险定价任务的保险定价结果。

通过基于预设特征配置在各商家特征数据中确定目标特征数据,实现了包含不同类型的商家特征数据的统计处理,从而避免人工对商家特征数据进行统计,提升对商家特征数据处理效率;根据保险定价任务在存储目标特征数据的特征数据库中获取任务特征数据,并基于任务特征数据执行保险定价任务,从而提升了保险定价任务执行效率。

与上述方法实施例相对应,本说明书还提供了数据处理装置实施例,图4示出了本说明书一个实施例提供的一种数据处理装置的结构示意图。如图4所示,该装置包括:

接收模块402,被配置为接收各数据源发送的针对至少一个用户的用户特征数据,其中,用户特征数据中包含至少两种数据类型的特征数据;

确定模块406,被配置为基于预设特征配置在各用户特征数据中确定目标特征数据,并将所述目标特征数据存储至特征数据库;

获取模块408,被配置为根据业务分析任务在所述特征数据库中获取任务特征数据,并基于所述任务特征数据执行所述业务分析任务,获得所述业务分析任务的数据分析结果。

在本申请一具体实施方式中,所述确定模块406,进一步被配置为:

基于所述预设特征配置中的特征配置和特征过滤配置生成特征提取任务;

响应于特征提取任务在各用户特征数据中确定目标特征数据。

在本申请一具体实施方式中,所述确定模块406,进一步被配置为:

基于所述特征配置在各用户特征数据中筛选出符合所述特征配置的初始特征数据;

根据所述特征过滤配置剔除所述初始特征数据中的过滤特征数据,获得目标特征数据。

在本申请一具体实施方式中,所述获取模块408,进一步被配置为:

确定所述业务分析任务的业务标识;

在所述特征数据库中检索所述业务标识对应的目标特征数据,作为所述业务分析任务对应的任务特征数据。

在本申请一具体实施方式中,所述装置还包括创建模块,所述创建模块被配置为:

确定至少一个数据源的数据源属性信息;

基于各数据源的数据源属性信息创建用户特征数据的传输链接。

在本申请一具体实施方式中,业务分析任务中包括至少两个业务分析子任务;所述获取模块408,进一步被配置为:

确定所述业务分析任务中各业务分析子任务对应的子任务标识;

基于各子任务标识在所述特征数据库中获取各业务分析子任务对应的任务特征数据组。

在本申请一具体实施方式中,所述装置还包括记录模块,所述记录模块被配置为:

记录所述业务分析任务对应的任务属性信息。

在本申请一具体实施方式中,所述特征配置包括渠道配置、数据特征配置、数据属性配置、计算配置中的至少一项;

所述特征过滤配置包括渠道配置、数据属性配置、过滤配置、数据特征配置中的至少一项。

本说明书的数据处理装置,接收各数据源发送的针对至少一个用户的用户特征数据,其中,用户特征数据中包含至少两种数据类型的特征数据;基于预设特征配置在各用户特征数据中确定目标特征数据,并将所述目标特征数据存储至特征数据库;根据业务分析任务在所述特征数据库中获取任务特征数据,并基于所述任务特征数据执行所述业务分析任务,获得所述业务分析任务的数据分析结果。

通过基于预设特征配置在各用户特征数据中确定目标特征数据,实现了包含不同类型的用户特征数据的统计处理,从而避免人工对用户特征数据进行统计,提升对用户特征数据处理效率,进而保证了用户特征数据的实时性;根据业务分析任务在存储目标特征数据的特征数据库中获取任务特征数据,并基于任务特征数据执行数据分析任务,从而提升了数据分析任务执行效率。

上述为本实施例的一种数据处理装置的示意性方案。需要说明的是,该数据处理装置的技术方案与上述的数据处理方法的技术方案属于同一构思,数据处理装置的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。

与上述方法实施例相对应,本说明书还提供了保险产品的定价装置实施例,图5示出了本说明书一个实施例提供的一种保险产品的定价装置的结构示意图。如图5所示,该装置包括:

商家特征接收模块502,被配置为接收各数据源发送的针对至少一个电商商家的商家特征数据,其中,商家特征数据中包含至少两种数据类型的特征数据;

商家目标特征确定模块504,被配置为基于预设特征配置在各商家特征数据中确定目标特征数据,并将所述目标特征数据存储至特征数据库;

任务特征获取模块506,被配置为根据保险定价任务在所述特征数据库中获取任务特征数据,并基于所述任务特征数据执行所述保险定价任务,获得所述保险定价任务的保险定价结果。

本说明书的保险产品的定价装置,接收各数据源发送的针对至少一个电商商家的商家特征数据,其中,商家特征数据中包含至少两种数据类型的特征数据;基于预设特征配置在各商家特征数据中确定目标特征数据,并将所述目标特征数据存储至特征数据库;根据保险定价任务在所述特征数据库中获取任务特征数据,并基于所述任务特征数据执行所述保险定价任务,获得所述保险定价任务的保险定价结果。

通过基于预设特征配置在各用户特征数据中确定目标特征数据,实现了包含不同类型的用户特征数据的统计处理,从而避免人工对用户特征数据进行统计,提升对用户特征数据处理效率,进而保证了用户特征数据的实时性;根据业务分析任务在存储目标特征数据的特征数据库中获取任务特征数据,并基于任务特征数据执行数据分析任务,从而提升了数据分析任务执行效率。

上述为本实施例的一种保险产品的定价装置的示意性方案。需要说明的是,该保险产品的定价装置的技术方案与上述的保险产品的定价方法的技术方案属于同一构思,保险产品的定价装置的技术方案未详细描述的细节内容,均可以参见上述保险产品的定价方法的技术方案的描述。

图6示出了根据本说明书一个实施例提供的一种计算设备600的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接,数据库650用于保存数据。

计算设备600还包括接入设备640,接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,LocalAreaNetwork)、广域网(WAN,WideAreaNetwork)、个域网(PAN,PersonalAreaNetwork)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,network interfacecontroller))中的一个或多个,诸如IEEE802.11无线局域网(WLAN,WirelessLocalAreaNetwork)无线接口、全球微波互联接入(Wi-MAX,Worldwide Interoperabilityfor MicrowaveAccess)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near Field Communication)。

在本说明书的一个实施例中,计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图6所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。

计算设备600可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(PC,Personal Computer)的静止计算设备。计算设备600还可以是移动式或静止式的服务器。

其中,处理器620用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。

上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的数据处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。

本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述数据处理方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。

本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述数据处理方法的步骤。

上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的数据处理方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述数据处理方法的技术方案的描述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据专利实践的要求进行适当的增减,例如在某些地区,根据专利实践,计算机可读介质不包括电载波信号和电信信号。

需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。

以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

相关技术
  • 话音数据处理方法以及支持该话音数据处理方法的电子装置
  • 一种数据处理方法、装置和用于数据处理的装置
  • 一种数据处理方法、装置和用于数据处理的装置
  • 一种数据处理方法、装置和用于数据处理的装置
  • 一种数据处理方法、装置和用于数据处理的装置
  • 数据处理设备、数据处理方法、程序转换处理设备和程序转换处理方法、程序转换处理设备、数据处理设备、程序转换处理方法和数据处理方法、数据处理设备、数据处理方法、程序分析处理设备和程序分析处理方法、数据处理设备、历史保存设备、数据处理方法和程序、以及编译处理设备
  • 图像数据处理方法、用于图像数据处理方法的程序、记录有用于图像数据处理方法的程序的记录介质和图像数据处理装置
技术分类

06120116484146