一种数据处理方法及装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法及装置。

背景技术

随着信用卡的普及，信用卡交易欺诈案件发生呈上升趋势。因此，对信用卡交易的反欺诈监控是银行的重点工作。因此，许多银行均建立了自己的反欺诈系统。核心系统可以向反欺诈系统发送信用卡的交易数据，从而通过反欺诈系统对信用卡的交易数据进行分析，判断该交易数据是否合法。由于信用卡的交易数据的数据量较大，可以采用分布式处理系统对信用卡的交易数据进行处理。

但是，由于信用卡的交易数据是随着信用卡交易产生的流数据，而判断信用卡的交易数据是否合法需要结合该信用卡(或该客户)的历史交易数据进行判断。因此，在判断任意一张信用卡的交易数据是否合法前，需要从全部交易数据中筛选出这张信用卡的历史交易数据，才能利用反欺诈系统对交易数据进行分析。为此，现有的分布式处理系统中每个处理单元都需要获取所有信用卡的交易数据，导致分布式处理系统的负载较大，也会产生计算资源和存储资源的浪费。

发明内容

有鉴于此，本申请实施例提供了一种数据处理方法及装置，旨在提供一种能够根据信用卡和交易时间对信用卡的交易数据进行预处理的技术方案。

第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：

获取交易数据流，所述交易数据流包括至少一个交易对象在至少一个预设时间段内的交易数据；

根据所述交易对象将至少一个交易数据划分为至少一个交易数据集合；

根据所述预设时间段将所述至少一个交易数据集合中每个交易数据集合划分为至少一个交易数据切片，所述交易数据切片包括单次交易产生的交易数据、生成该交易的交易对象和该交易所属的时间段。

可选地，所述至少一个交易对象包括第一交易对象，所述至少一个交易数据集合包括第一交易数据集合，所述第一交易数据集合包括第一交易对象在至少一个预设时间段内的交易数据，所述第一交易对象的交易数据切片包括所述第一交易对象在对应的预设时间段内的交易数据；

在得到至少一个交易数据切片后，所述方法还包括：

接收指标生成指令，所述指标生成指令包括第一时间间隔；

根据所述第一时间间隔，从所述第一交易数据集合生成的交易数据切片中选择至少一个交易数据切片；

将所述选择的至少一个交易数据切片聚合为交易指标。

可选地，在接收指标生成指令前，所述方法还包括：

根据所述交易对象将所述至少一个交易切片数据存储在至少一个存储空间中；

所述至少一个存储空间包括第一存储空间，所述根据所述交易对象将所述至少一个交易切片数据存储在至少一个存储空间中包括：

将所述至少一个交易切片数据中属于第一交易对象的至少一个交易切片数据存储在第一存储空间中。

可选地，所述至少一个交易对象包括第一交易对象，所述至少一个预设时间段包括第一预设时间段，所述根据所述预设时间段将所述至少一个交易数据集合中每个交易数据集合划分为至少一个交易数据切片包括：

将第一交易数据、所述第一交易对象和所述第一预设时间段存储为交易数据切片，所述第一交易数据为所述第一交易对象在第一预设时间段内的交易数据。

可选地，所述第一交易数据包括第一交易子数据和第二交易子数据；

所述将所述第一交易数据、所述第一交易对象和所述第一预设时间段存储为交易数据切片包括：

将所述第一交易子数据、所述第一交易对象和所述第一预设时间段存储为第一交易数据切片；

将所述第二交易子数据、所述第一交易对象和所述第一预设时间段存储为第二交易数据切片。

第二方面，本申请实施例提供了一种数据处理装置，所述装置包括：

获取单元，用于获取交易数据流，所述交易数据流包括至少一个交易对象在至少一个预设时间段内的交易数据；

处理单元，用于根据所述交易对象将至少一个交易数据划分为至少一个交易数据集合；用于根据所述预设时间段将所述至少一个交易数据集合中每个交易数据集合划分为至少一个交易数据切片，所述交易数据切片包括单次交易产生的交易数据、生成该交易的交易对象和该交易所属的时间段。

可选地，所述至少一个交易对象包括第一交易对象，所述至少一个交易数据集合包括第一交易数据集合，所述第一交易数据集合包括第一交易对象在至少一个预设时间段内的交易数据，所述第一交易对象的交易数据切片包括所述第一交易对象在对应的预设时间段内的交易数据；

所述处理单元，用于接收指标生成指令，所述指标生成指令包括第一时间间隔；根据所述第一时间间隔，从所述第一交易数据集合生成的交易数据切片中选择至少一个交易数据切片；将所述选择的至少一个交易数据切片聚合为交易指标。

可选地，所述装置还包括存储单元；

所述存储单元，用于根据所述交易对象将所述至少一个交易切片数据存储在至少一个存储空间中；

当所述至少一个存储空间包括第一存储空间时，所述存储单元，用于将所述至少一个交易切片数据中属于第一交易对象的至少一个交易切片数据存储在第一存储空间中。

可选地，所述至少一个交易对象包括第一交易对象，所述至少一个预设时间段包括第一预设时间段；

所述处理单元，用于将第一交易数据、所述第一交易对象和所述第一预设时间段存储为交易数据切片，所述第一交易数据为所述第一交易对象在第一预设时间段内的交易数据。

可选地，所述第一交易数据包括第一交易子数据和第二交易子数据；

所述处理单元，用于将所述第一交易子数据、所述第一交易对象和所述第一预设时间段存储为第一交易数据切片；将所述第二交易子数据、所述第一交易对象和所述第一预设时间段存储为第二交易数据切片。

第三方面，本申请实施例还提供了一种设备，所述设备包括存储器和处理器，所述存储器用于存储指令，所述处理器用于运行所述存储器存储的所述指令，以使所述设备执行前述第一方面所述的数据处理方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储机制用于存储计算机程序，所述计算机程序用于控制设备执行前述第一方面所述的数据处理方法。

本申请实施例提供了一种数据处理方法及装置。在对信用卡的交易数据进行处理时，可以先获取交易数据流，该交易数据流例如可以是银行核心系统产生的信用卡的交易数据的数据流，包括至少一个交易对象在至少一个预设时间段内的交易数据。该至少一个交易对象包括第一交易对象，至少一个预设时间段包括第一预设时间段。接着，可以根据交易对象将交易数据流划分为至少一个交易数据集合，即将第一交易对象对应的全部交易数据划分到第一交易对象对应的交易数据集合中。最后，可以根据预设时间段再将至少一个交易数据集合中每个交易数据集合划分为至少一个交易数据切片。这样，先根据生成交易数据的交易对象对交易数据流进行初步划分为一个或多个交易数据集合，再根据交易数据的交易时间将每个交易数据集合划分为一个或多个交易数据切片，使得每个交易数据切片仅包括某个单独的交易对象在某个单独的预设时间段内的交易数据。在分布式处理系统对交易数据进行处理时，可以针对每个交易对象获取特定的交易数据切片，从而根据交易数据切片判断交易数据是否合法。如此，相较于传统技术，无需为分布式处理系统中每个分布式处理单元存储全部的交易数据流，节省了存储资源和计算资源。

附图说明

为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的数据处理方法的方法流程图；

图2为本申请实施例提供的数据处理装置的一种结构示意图；

图3为本申请实施例提供的数据处理装置的另一种结构示意图。

具体实施方式

目前，针对信用卡的反欺诈系统大多运行在分布式处理系统上，可以对大量的信用卡的交易数据的合法性进行判定。在判定交易数据的合法性时，反欺诈系统可以查找该交易数据所属的交易对象在历史时间段内的全部交易数据，进而通过交易数据之间的规律确定该交易数据是否合法。为此，反欺诈系统中每个处理单元都需要存储全部的交易数据，才能在接收到新的交易数据后从数据库中查找到该交易数据对应的历史交易数据。可见，当有N个处理单元执行任务时，交易数据就需要被复制N份。显然，这会造成大量存储资源的浪费。

为了解决这一问题，部分现有技术可以通过分布式处理系统的各个处理单元之间的存储资源共享，即多个处理单元使用同一个数据库中存储的数据，从而减轻存储资源的浪费。但是这种方法仍然需要分布式处理系统主动从数据库中查找交易数据对应的历史交易数据，一定程度上仍然存在着存储资源浪费和计算资源浪费的问题。

为了给出能够根据信用卡和交易时间对信用卡的交易数据进行预处理的技术方案，本申请实施例提供了一种数据处理方法及装置。以下结合说明书附图，从数据处理系统的角度对本申请实施例提供的文件上传方法进行说明。需要说明的是，该数据处理系统可以是运行于服务器的软件平台，也可以是银行核心系统或反欺诈系统的一个数据处理模块，本申请实施例对此不作限定。

显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，本申请实施例提供的技术方案可以用于对信用卡的交易数据进行处理，也可以用于对非信用卡的交易数据进行处理。

参见图1，图1为本申请实施例提供的数据处理方法的方法流程图，包括：

S101：获取交易数据流。

在本申请实施例中，数据处理系统可以先获取交易数据流，该交易数据流包括至少一个交易对象在至少一个预设时间段内的交易数据。可选地，该交易数据流可以是负责处理信用卡业务的系统生成的交易数据。

在一些可能的实现方式中，数据处理系统可以流式获取信用卡的交易数据，即在信用卡的交易数据产生时就获取该交易数据。那么，负责处理信用卡业务的系统可以每生成一条交易数据，就将该交易数据发送给数据处理系统。数据处理系统可以逐条接收交易数据，并在接收到交易数据后立即将这些交易数据划分为交易数据切片。

在一些可能的实现方式中，数据处理系统还可以统一获取信用卡的交易数据，即每隔一段时间获取一次交易数据。那么，负责处理信用卡业务的系统可以将生成的交易数据存储在数据库中，以便数据处理系统获取。在获取到信用卡的交易数据后，数据处理系统可以将数据库中存储的交易数据清空。

S102：根据所述交易对象将至少一个交易数据划分为至少一个交易数据集合。

在获取到交易数据流后，数据处理系统可以根据交易对象将交易数据流中的至少一个交易数据划分为至少一个交易数据集合。其中，交易对象可以是信用卡的标识，例如信用卡卡号等标识，也可以是信用卡的开卡人的标识，例如开卡人的客户标识、身份证号等标识。那么，将交易数据流中的交易数据划分为至少一个交易数据集合，相当于根据交易数据对应的交易方的身份标识对交易数据进行划分。这样，可以按照信用卡卡号或其他信息将全部交易数据初步划分至少一个交易数据集合，以便进行后续处理。

举例说明。假设交易数据流包括第一交易对象的两条交易数据和第二交易对象的三条交易数据。那么在划分交易数据集合时，数据处理系统可以将第一交易对象生成的两条交易数据划分到第一交易数据集合中，将第二交易对象生成的三条交易数据划分到第二交易数据集合中。

S103：根据所述预设时间段将所述至少一个交易数据集合中每个交易数据集合划分为至少一个交易数据切片。

在得到至少一个交易数据集合后，数据处理系统可以根据预设时间段将该至少一个交易数据集合中每个交易数据集合划分为至少一个交易数据切片。其中，每个交易数据切片对应一笔交易，包括这笔交易的相关信息(即该交易对应的交易数据)，进行该交易的交易对象，和该交易所属的时间段。

在本申请实施例中，预设时间段可以是技术人员配置的一个时间间隔，用于区分同一交易对象的不同交易数据。例如，预设时间段可以是一分钟，十分钟等时间间隔。那么，根据交易数据切片中交易所属的时间段，可以确定这笔交易是在那一段时间中进行的。

举例说明。假设至少一个交易对象包括第一交易对象，至少一个预设时间段包括第一预设时间段和第二预设时间段，且第一交易对象在第一预设时间段和第二预设时间段内均进行了交易。那么在划分数据切片时，可以将第一交易对象在第一预设时间段内生成的交易数据、第一交易对象和第一预设时间段的标识划分为一个交易数据切片；将第一交易对象在第二预设时间段内生成的交易数据、第一交易对象和第二预设时间段的标识划分为另一个交易数据切片。这样，可以根据交易数据切片中交易数据的标识确定该交易数据所属的交易对象和时间。

在一些可能的实现方式中，一笔交易可能会生成多个交易数据。例如，交易数据可能包括交易金额，交易地点等数据。那么在生成交易数据切片时，可以分别针对每种交易数据生成一个交易数据切片。

以第一交易对象在第一预设时间段内进行了一笔交易，且该交易生成了第一交易子数据和第二交易子数据为例进行说明。在生成交易数据切片时，数据处理系统可以将第一交易子数据、第一交易对象和第一预设时间段的标识存储为第一交易数据切片，将第二交易子数据、第一交易对象和第一预设时间段的标识存储为第二交易数据切片。这样，由于反欺诈系统对交易子数据的处理相对独立，根据每个交易子数据生成一条交易数据切片，便于反欺诈系统对每个交易子数据进行处理。

在生成交易数据切片后，数据处理系统可以将交易数据切片存储在数据库中。可选地，数据处理系统可以根据交易数据切片对应的交易对象将至少一个交易数据切片分别存储在至少一个存储空间中。具体地，数据处理系统可以将第一交易对象对应的一个或多个交易数据切片存储在同一个存储空间中，将第二交易对象对应的一个或多个交易数据切片存储在另一个存储空间中。这样，当反欺诈系统需要对某个交易对象的交易进行处理时，可以直接从对应的存储空间中获取交易数据切片。

在本申请实施例中，反欺诈系统可以通过指标生成指令从数据处理系统获取交易数据，该指标生成指令包括第一时间间隔。那么，在接收到反欺诈系统发送的指标生成指令后，数据处理系统可以根据第一时间间隔从至少一个交易数据切片中选择一个或多个交易时间属于第一时间间隔的交易数据切片，并将这些交易数据切片汇总为交易指标，向反欺诈系统发送该交易指标，以便反欺诈系统根据交易指标进行合法性判定。

举例说明。当反欺诈系统需要对第一交易对象的交易进行合法性判定时，反欺诈系统可以向数据处理系统发送指标生成指令，该指标生成指令可以包括第一时间间隔，该第一时间间隔可以长于前述预设时间段，例如可以是一天、一个月等较长的时间间隔。在接收到指标生成指令后，数据处理系统可以从前述生成的交易数据切片中选择第一交易对象在过去第一时间间隔内进行的全部交易对应的交易数据切片，并将这些交易数据切片融合为交易指标提供给反欺诈系统。

本申请实施例提供了一种数据处理方法。在对信用卡的交易数据进行处理时，可以先获取交易数据流，该交易数据流例如可以是银行核心系统产生的信用卡的交易数据的数据流，包括至少一个交易对象在至少一个预设时间段内的交易数据。该至少一个交易对象包括第一交易对象，至少一个预设时间段包括第一预设时间段。接着，可以根据交易对象将交易数据流划分为至少一个交易数据集合，即将第一交易对象对应的全部交易数据划分到第一交易对象对应的交易数据集合中。最后，可以根据预设时间段再将至少一个交易数据集合中每个交易数据集合划分为至少一个交易数据切片。这样，先根据生成交易数据的交易对象对交易数据流进行初步划分为一个或多个交易数据集合，再根据交易数据的交易时间将每个交易数据集合划分为一个或多个交易数据切片，使得每个交易数据切片仅包括某个单独的交易对象在某个单独的预设时间段内的交易数据。在分布式处理系统对交易数据进行处理时，可以针对每个交易对象获取特定的交易数据切片，从而根据交易数据切片判断交易数据是否合法。如此，相较于传统技术，无需为分布式处理系统中每个分布式处理单元存储全部的交易数据流，节省了存储资源和计算资源。

以上为本申请实施例提供数据处理方法的一些具体实现方式，基于此，本申请还提供了对应的装置。下面将从功能模块化的角度对本申请实施例提供的上述装置进行介绍。

参见图2所示的数据处理装置的结构示意图，该装置200包括：

获取单元210，用于获取交易数据流，所述交易数据流包括至少一个交易对象在至少一个预设时间段内的交易数据。

处理单元220，用于根据所述交易对象将至少一个交易数据划分为至少一个交易数据集合；用于根据所述预设时间段将所述至少一个交易数据集合中每个交易数据集合划分为至少一个交易数据切片，所述交易数据切片包括单次交易产生的交易数据、生成该交易的交易对象和该交易所属的时间段。

本申请实施例提供了一种数据处理装置。在对信用卡的交易数据进行处理时，可以先获取交易数据流，该交易数据流例如可以是银行核心系统产生的信用卡的交易数据的数据流，包括至少一个交易对象在至少一个预设时间段内的交易数据。该至少一个交易对象包括第一交易对象，至少一个预设时间段包括第一预设时间段。接着，可以根据交易对象将交易数据流划分为至少一个交易数据集合，即将第一交易对象对应的全部交易数据划分到第一交易对象对应的交易数据集合中。最后，可以根据预设时间段再将至少一个交易数据集合中每个交易数据集合划分为至少一个交易数据切片。这样，先根据生成交易数据的交易对象对交易数据流进行初步划分为一个或多个交易数据集合，再根据交易数据的交易时间将每个交易数据集合划分为一个或多个交易数据切片，使得每个交易数据切片仅包括某个单独的交易对象在某个单独的预设时间段内的交易数据。在分布式处理系统对交易数据进行处理时，可以针对每个交易对象获取特定的交易数据切片，从而根据交易数据切片判断交易数据是否合法。如此，相较于传统技术，无需为分布式处理系统中每个分布式处理单元存储全部的交易数据流，节省了存储资源和计算资源。

可选地，在一些可能的实现方式中，所述至少一个交易对象包括第一交易对象，所述至少一个交易数据集合包括第一交易数据集合，所述第一交易数据集合包括第一交易对象在至少一个预设时间段内的交易数据，所述第一交易对象的交易数据切片包括所述第一交易对象在对应的预设时间段内的交易数据。

所述处理单元220，用于接收指标生成指令，所述指标生成指令包括第一时间间隔；根据所述第一时间间隔，从所述第一交易数据集合生成的交易数据切片中选择至少一个交易数据切片；将所述选择的至少一个交易数据切片聚合为交易指标。

可选地，参见图3，在图2所示装置的基础上，所述装置200还包括存储单元230。

所述存储单元230，用于根据所述交易对象将所述至少一个交易切片数据存储在至少一个存储空间中。

当所述至少一个存储空间包括第一存储空间时，所述存储单元230，用于将所述至少一个交易切片数据中属于第一交易对象的至少一个交易切片数据存储在第一存储空间中。

可选地，在一些可能的实现方式中，所述至少一个交易对象包括第一交易对象，所述至少一个预设时间段包括第一预设时间段。

所述处理单元220，用于将第一交易数据、所述第一交易对象和所述第一预设时间段存储为交易数据切片，所述第一交易数据为所述第一交易对象在第一预设时间段内的交易数据。

可选地，在一些可能的实现方式中，所述第一交易数据包括第一交易子数据和第二交易子数据。

所述处理单元220，用于将所述第一交易子数据、所述第一交易对象和所述第一预设时间段存储为第一交易数据切片；将所述第二交易子数据、所述第一交易对象和所述第一预设时间段存储为第二交易数据切片。

本申请实施例中提到的“第一交易对象”、“第二交易对象”等名称中的“第一”、“第二”只是用来做名字标识，并不代表顺序上的第一、第二。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-only memory，ROM)/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本申请示例性的实施方式，并非用于限定本申请的保护范围。