数据处理方法、装置、设备以及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及数据中心、大数据等技术领域。

背景技术

在线营销领域中，信息聚合平台集合了海量的来自多商家的商品数据。信息聚合平台可以针对这些商品数据进行数据聚合、比价、排序等一系列数据处理，从而为用户提供具有高时效价值的营销信息，辅助用户决策。由于数据来自不同的商家，各商家之间相互独立，因此信息聚合平台的数据处理压力较大。

发明内容

本公开提供了一种数据处理方法、装置、设备、存储介质以及程序产品。

根据本公开的一方面，提供了一种数据处理方法，包括：响应于获取到第一数据，将所述第一数据中写入第一消息队列；根据第一时间窗口，对所述第一消息队列中的数据进行数据清洗，得到第二数据，并将所述第二数据写入第二消息队列；根据第二时间窗口，对所述第二消息队列中的数据进行数据聚合，得到第三数据，并将所述第三数据写入第三消息队列；以及根据第三时间窗口，将所述第三消息队列中的数据分发到至少一个终端设备。

根据本公开的另一方面，提供了一种数据处理装置，包括：获取模块，用于获取响应于获取到第一数据，将所述第一数据中写入第一消息队列；数据清洗模块，用于根据第一时间窗口，对所述第一消息队列中的数据进行数据清洗，得到第二数据，并将所述第二数据写入第二消息队列；数据聚合模块，用于根据第二时间窗口，对所述第二消息队列中的数据进行数据聚合，得到第三数据，并将所述第三数据写入第三消息队列；以及数据分发模块，用于根据第三时间窗口，将所述第三消息队列中的数据分发到至少一个终端设备。

本公开的另一个方面提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例所示的方法。

根据本公开实施例的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开实施例所示的方法。

根据本公开实施例的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现本公开实施例所示方法的步骤。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1A是根据本公开实施例的数据处理方法、装置、电子设备和存储介质的系统架构示意图；

图1B示意性示出了根据本公开的实施例的数据处理系统的示意图；

图2示意性示出了根据本公开的实施例的数据处理方法的流程图；

图3示意性示出了根据本公开的实施例的对第一消息队列中的数据进行数据清洗的方法的流程图；

图4示意性示出了根据本公开另一实施例的对数据进行数据清洗的方法的流程图；

图5示意性示出了根据本公开另一实施例的对数据进行数据清洗的方法的流程图；

图6示意性示出了根据本公开的实施例的数据聚合方法的流程图；

图7示意性示出了根据本公开的实施例的数据处理方法的示意图；

图8示意性示出了根据本公开实施例的数据处理装置的框图；

图9示意性示出了可以用来实施本公开的实施例的示例电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

以下将结合图1A对本公开提供的数据处理方法和装置的系统架构进行描述。

图1A是根据本公开实施例的数据处理方法、装置、电子设备和存储介质的系统架构示意图。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1A所示，该系统架构100包括数据源101、102、103，信息聚合平台104，以及终端设备105、106、107。

用户可以使用终端设备105、106、107通过网络与信息聚合平台104交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备105、106、107可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

示例性地，用户可以利用终端设备105、106、107向信息聚合平台104发送检索请求。信息聚合平台104可以对接收到的检索请求进行检索，并将检索结果分发给对应的终端设备。

数据源101、102、103可以向信息聚合平台104提供数据。数据可以包括商品数据、设备信息等等。其中，商品例如可以包括实物商品，也可以包括酒店、加油服务等非实物商品。数据源101、102、103例如可以包括网上商城、在线票务服务平台、旅游出行网络交易平台等等。

信息聚合平台104例如可以对数据源101、102、103提供的数据进行数据清洗、数据聚合、数据分发等服务。

例如，信息聚合平台可以获取来自多个旅游出行网络交易平台(即数据源)的酒店房间数据，其中，酒店房间数据包括房间所属的酒店(即商家)、房间(商品)的类型、价格和与房间位置对应的兴趣点(POI)等信息。然后对这些酒店房间数据进行数据清洗和数据聚合。然后可以基于聚合结果对每种酒店房间的价格进行对比，得到比价信息。用户可以通过终端设备使用地图应用，搜索目标兴趣点附近的酒店房间。信息聚合平台可以根据用户的搜索请求将目标兴趣点附近的酒店房间比价信息分发给终端设备。

需要说明的是，本公开实施例所提供的数据处理方法一般可以由信息聚合平台104执行。相应地，本公开实施例所提供的数据处理装置一般可以设置于信息聚合平台104中。本公开实施例所提供的数据处理方法也可以由不同于信息聚合平台104且能够与终端设备105、106、107和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的数据处理装置也可以设置于不同于信息聚合平台104且能够与终端设备105、106、107和/或信息聚合平台104通信的服务器或服务器集群中。

应该理解，图1A中的终端设备、数据处理系统和数据源的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、数据处理系统和数据源。

以下将结合图1B对本公开提供的数据处理系统进行描述。

图1B示意性示出了根据本公开的实施例的数据处理系统的示意图。

根据本公开的实施例，信息聚合平台104例如可以包括数据清洗层1041、数据聚合层1042和数据分发层1043。信息聚合平台104例如还可以包括消息队列1044、1045、1046。数据清洗层1041、数据聚合层1042和数据分发层1043之间可以通过消息队列连接。

根据本公开的实施例，数据清洗层1041可以用于对数据进行数据清洗。数据聚合层1042可以用于对数据间聚合。数据分发层1043可以用于对数据进行分发。

示例性地，本实施例中，信息聚合平台104可以从多个数据源获取数据，为了便于区别，以下将来自数据源的数据称为第一数据。然后将数据写入消息队列1044。数据清洗层1041可以根据第一时间窗口，对消息队列1044中的数据进行数据清洗，以下将数据清洗后的数据称为第二数据。然后将第二数据写入消息队列1045。数据聚合层1042根据第二时间窗口，对消息队列1045中的数据进行数据聚合，得到第三数据，并将第三数据写入消息队列1046。数据分发层1043可以根据第三时间窗口，将消息队列1046中的数据分发到至少一个需求方的终端设备。

其中，第一时间窗口、第二时间窗口和第三时间窗口可以根据需求方对数据的时效性来设置。

在线营销领域，接入商家规模、商品规模和数据时效性是衡量营销平台基础能力的重要指标。例如，a家实体店铺(即商家)通过b家分销商(例如信息发布平台)完成c个商品的分销，其中，a、b、c为正整数。每家分销商都针对该商品有独立的营销策略，当实体店铺商品的价格、状态等高时效性属性信息发生变化，在b家分销商接入到信息聚合平台的情况下，对于分销商每一次变价，信息聚合平台需要应对a×b×c(即分销商数乘以商品数乘以实体店铺数)条消息的更新、处理、实时输出，数据处理系统的数据处理压力较大。

根据本公开的实施例，通过将数据处理流程拆分为以消息队列连接数据清洗层、数据聚合层和数据分发层，其中，数据清洗层可以用于对数据进行清理，数据聚合层可以用于对数据进行聚合，数据分发层可以用于对数据进行分发。由此，可以分解单点的处理压力。

另外，各商家之间的更新频率并不相同，因此信息聚合平台需要应对这些频繁更新、不确定更新频率的信息变化，这对信息聚合平台提出更高的挑战。

根据本公开的实施例，可以根据需求方对数据的时效性的需求来设置第一时间窗口、第二时间窗口和第三时间窗口，对于不同的更新频率，均可以采用同一的数据处理速率来处理。

根据本公开的实施例，数据清洗层、数据聚合层和数据分发层例如可以基于Kappa架构来实现，消息队列可以通过kafka实现。

在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

以下将结合图2对本公开提供的数据处理方法进行描述。

图2示意性示出了根据本公开的实施例的数据处理方法的流程图。

如图2所示，该方法200包括在操作S210，响应于获取到第一数据，将第一数据中写入第一消息队列。

根据本公开的实施例，第一数据可以包括至少一个子数据。第一数据例如可以来自数据源。在第一数据包括多个子数据的情况下，该多个子数据可以来自相同的数据源，也可以来自不同的数据源。

根据本公开的实施例，第一消息队列可以为一个也可以为多个。例如可以将第一数据全部写入同一个第一消息队列。在第一数据包括多个子数据的情况下，可以将该多个子数据全部写入同一个第一消息队列，也可以将该多个子数据分别写入多个第一消息队列。

然后，在操作S220，根据第一时间窗口，对第一消息队列中的数据进行数据清洗，得到第二数据，并将第二数据写入第二消息队列。

根据本公开的实施例，例如可以根据第一时间窗口，对第一消息队列中的数据进行采样，得到多个待清洗数据。然后对多个待清洗数据进行数据清洗，得到第二数据。根据本公开的实施例，数据清洗可以用于将第一数据中不符合要求的数据清理掉，从而可以减少后续的写入压力。

在操作S230，根据第二时间窗口，对第二消息队列中的数据进行数据聚合，得到第三数据，并将第三数据写入第三消息队列。

据本公开的实施例，例如可以根根据第二时间窗口，对第二消息队列进行采样，得到多个待聚合数据。对多个待聚合数据进行数据聚合，得到第三数据。

根据本公开的实施例，例如可以根据预设的数据整合逻辑，来对待聚合数据进行数据聚合，得到第三数据。其中，数据整合逻辑可以根据业务需求来设置。

在操作S240，根据第三时间窗口，将第三消息队列中的数据分发到至少一个终端设备。

根据本公开的实施例，例如可以根据第三时间窗口，对第三消息队列进行采样，得到至少一个待分发数据。然后将至少一个待分发数据分发到至少一个终端设备。其中，终端设备例如可以为需求方所使用的终端设备。

根据本公开的实施例的数据处理方法，将数据处理流程拆分为以消息队列连接数据清洗层、数据聚合层和数据分发层，其中，数据清洗层可以用于对数据进行清理，数据聚合层可以用于对数据进行聚合，数据分发层可以用于对数据进行分发。由此，可以分解单点的处理压力。

根据本公开的实施例，数据清洗层的时间窗口可以为第一时间窗口，数据聚合层的时间窗口可以为第二时间窗口，数据分发层的时间窗口可以为第三时间窗口。第一时间窗口的大小例如可以为t1，即可以每隔t1时长从第一消息队列中获取一批数据，作为待清洗数据。其中，第一时间窗口和每次获取的待清洗数据的数量上限可以根据清洗层的处理能力设置。

根据本公开的实施例，数据聚合层的时间窗口可以为第二时间窗口。第二时间窗口的大小例如可以为t2，即可以每隔t2时长从第二消息队列中获取一批数据，作为待聚合数据。其中，第二时间窗口和每次获取的待清洗数据的数量上限可以根据数据聚合层的处理能力设置。

根据本公开的实施例，数据分发层的时间窗口可以为第三时间窗口。第三时间窗口的大小例如可以为t3，即可以每隔t3时长从第三消息队列中获取一批数据，作为待分发数据。其中，第三时间窗口和每次获取的待分发数据的数量上限可以根据数据分发层的处理能力设置。

根据本公开的另一实施例，例如可以将第一时间窗口设置为大于第二时间窗口，将第二时间窗口设置为大于第三时间窗口。即每一层的时间窗口逐层降低，从而可以降低处理压力。

根据本公开的实施例，例如可以接收来自多个数据源的数据变更消息。然后解析数据变更消息，得到其中的第一数据。示例性地，可以与数据源之间建立HTTP(超文本连接协议)连接，然后通过该HTTP连接接收数据源发送的数据变更消息。

根据本公开的另一实施例，例如还可以访问多个数据源。然后从多个数据源中读取第一数据。示例性地，可以与数据源之间建立HTTP连接或SOAP(简单对象访问协议)连接，然后通过该HTTP连接或SOAP连接访问数据源从而获取第一数据。

根据本公开的另一实施例，还可以将第一数据存储在本地服务器。基于此，例如可以建立与本地服务器之间的文件传输连接，例如FTP连接。然后通过文件传输连接，从本地服务器获取原始数据。

以下将结合图3-5对本公开提供的对数据进行数据清洗，得到第二数据的方法进行描述。

图3示意性示出了根据本公开的实施例的对第一消息队列中的数据进行数据清洗的方法的流程图。

如图3所示，该方法320包括在操作S321，获取多个待清洗数据中的一个待清洗数据。

在操作S322，对该待清洗数据的内容进行分析，得到内容分析结果。

在操作S323，确定内容分析结果是否符合预定要求。如果不符合预定要求，则执行操作S324。否则返回操作S321，获取另一待清洗数据。

在操作S324，删除该待清洗数据。

根据本公开的实施例，例如可以对待清洗数据的内容中是否包含违禁词进行分析。如果内容分析结果表示待清洗数据的内容中包含违禁词，则确定内容分析结果不符合预定要求。其中，违禁词可以根据实际需要设置。或者，在确定待清洗数据的内容是否采用预定格式，如果待清洗数据的内容不是预定格式则确定内容分析结果不符合预定要求。其中，预定格式可以根据实际需要设置。

图4示意性示出了根据本公开另一实施例的对数据进行数据清洗的方法的流程图。

如图4所示，该方法420包括在操作S421，获取多个待清洗数据中的一个待清洗数据。

在操作S422，确定与该待清洗数据对应的兴趣点。

根据本公开的实施例，数据可以用于展示在电子地图中。基于此，每个数据可以对应于兴趣点(POI)。兴趣点可以用于指示数据所对应的地图位置。

在操作S423，确定每个待清洗数据所对应的兴趣点是否准确。如果不准确，则执行操作S424。否则返回操作S421，获取另一待清洗数据。

根据本公开的实施例，例如可以根据数据的位置信息指示的位置距离对应兴趣点的距离是否小于距离阈值来确定是否对应兴趣点是否准确。数据的位置信息指示的位置距离对应兴趣点的距离是否小于距离阈值，则表示兴趣点准确，否则表示兴趣点不准确。其中，位置信息例如可以包括地址信息、地理坐标等等。

在操作S424，删除该待清洗数据。

图5示意性示出了根据本公开另一实施例的对数据进行数据清洗的方法的流程图。

如图5所示，该方法520包括在操作S521，获取多个待清洗数据中的一个待清洗数据。

在操作S522，确定与该待清洗数据对应的兴趣点以及兴趣点的权重。

在操作S523，确定兴趣点的权重是否小于权重阈值。如果小于，则执行操作S524。否则返回操作S521，获取另一待清洗数据。

在操作S524，删除该待清洗数据。

根据本公开的实施例，兴趣点的权重可以根据业务的需要进行设置。例如可以将对于近期热度较高的兴趣点，可以设置较高的权重，对于近期热度较低的兴趣点，可以设置较低的权重。

根据本公开的实施例，通过数据清理，可以减少后续所需处理的数据量，提高数据处理速度。

根据本公开的实施例，待聚合数据例如可以包括商品标识、商家标识和数据源标识。商品标识可以用于表示商品的SKU(最小库存单元)。商家标识可以用于表示售卖该商品的商家。数据源标识可以用于表示该数据的提供方。

基于此，图6示意性示出了根据本公开的实施例的数据聚合方法的流程图。

如图6所示，该方法630包括在操作S631，根据商品标识，对待聚合数据进行数据聚合，得到第一聚合结果。

根据本公开的实施例，例如可以将具有相同商品标识的待聚合数据聚合为一个第一数据集，得到至少一个第一数据集，作为第一聚合结果。

在操作S632，根据商家标识，对待聚合数据进行数据聚合，得到第二聚合结果。

根据本公开的实施例，例如可以将具有相同商家标识的待聚合数据聚合为一个第二数据集，得到至少一个第二数据集，作为第二聚合结果。

在操作S633，根据数据源标识，对待聚合数据进行数据聚合，得到第三聚合结果。

根据本公开的实施例，例如可以将具有相同数据源标识的待聚合数据聚合为一个第三数据集，得到至少一个第三数据集，作为第三聚合结果。

在操作S634，根据第一聚合结果、第二聚合结果和第三聚合结果，确定第三数据。

根据本公开的实施例，可以将第一数据集、第二数据集和第三数据集合并，作为第三数据。

根据本公开的实施例，可以根据不同的应用场景采用不同的数据聚合维度和方式。通过数据聚合，可以减少数据的数量，方便后续检索。

下面参考图7，结合具体实施例对上文所示的数据处理方法做进一步说明。本领域技术人员可以理解，以下示例实施例仅用于理解本公开，本公开并不局限于此。

图7示意性示出了根据本公开的实施例的数据处理方法的示意图。

在图7中示出了，数据源例如可以包括A、B、C、D、E、F、G、H和I。其中，数据源A、B、C、D、E、F、G、H和I生成数据的频率如下

表1所示。其中，N为数据单位，N为正整数。

表1

根据本公开的实施例，数据清洗层可以包括消息队列711、712、713、714，清洗器715、716、717、718，和资源调度器719。每个消息队列可以对应于一个清洗器。数据聚合层可以包括消息队列721、722、723，聚合器724、725、726，和资源调度器727。每个消息队列可以对应于一个聚合器。数据分发层可以包括消息队列731、732，数据处理器733、734，和资源调度器735。

例如可以将数据源A、B和C的数据写入消息队列711，写入消息队列711的大小可以为10*N。数据源F和G的数据写入消息队列712，写入消息队列712的数据大小可以为30*N。数据源E和C的数据写入消息队列713，写入消息队列713的数据大小可以为30*N。数据源D和I的数据写入消息队列714，写入消息队列714的数据大小可以为30*N。

可以利用清洗器715对消息队列711中的数据进行数据清洗，利用清洗器716对消息队列712中的数据进行数据清洗，利用清洗器717对消息队列713中的数据进行数据清洗，利用清洗器718对消息队列714中的数据进行数据清洗。然后，可以利用资源调度器719对清洗器715、716、717、718的清洗结果进行合并、去重，然后写入存储器中。资源调度器719可以根据时间窗口，选取下层需要的数据，然后将数据写入消息队列721、722、723。其中，写入消息队列721的数据大小可以为30*N，写入消息队列722的数据大小可以为30*N，写入消息队列723的数据大小可以为5*N。

可以利用聚合器724对消息队列721中的数据进行数据聚合，利用聚合器725对消息队列722中的数据进行数据聚合，利用聚合器726对消息队列723中的数据进行数据聚合。其中，聚合器724的处理速度可以为30*N条/秒，聚合器725的处理速度可以为30*N条/秒，聚合器726的处理速度可以为5*N条/秒。然后，可以利用资源调度器727对清洗器724、725、726的聚合结果进行合并、去重，然后写入存储器中。资源调度器727可以根据时间窗口，选取下层需要的数据，然后将数据写入消息队列731、732。写入消息队列731的数据大小可以为30*N，写入消息队列732的数据大小可以为5*N。

资源调度器719、资源调度器727、资源调度器735还可以根据各自的写入压力，确定需要分多大的库、区和表，根据写入压力动态调整存储器的分库、分区和分表。

由于每一层处理后，数据量会减少。因此资源调度器719、资源调度器727、资源调度器735的处理速度可以逐层减少。例如，资源调度器719的处理速度可以为100*N条/秒。资源调度器327的处理速度可以为65*N条/秒，资源调度器335的处理速度可以为35*N条/秒。

以下将结合图8对本公开提供的数据处理装置进行描述。

图8示意性示出了根据本公开实施例的数据处理装置的框图。

如图8所示，装置800包括获取模块810、数据清洗模块820、数据聚合模块830和数据分发模块840。

获取模块810，用于获取响应于获取到第一数据，将第一数据中写入第一消息队列。

数据清洗模块820，用于根据第一时间窗口，对第一消息队列中的数据进行数据清洗，得到第二数据，并将第二数据写入第二消息队列。

数据聚合模块830，用于根据第二时间窗口，对第二消息队列中的数据进行数据聚合，得到第三数据，并将第三数据写入第三消息队列。

数据分发模块840，用于根据第三时间窗口，将第三消息队列中的数据分发到至少一个终端设备。

根据本公开的实施例，数据聚合模块，可以包括：第一采样子模块，用于根据第二时间窗口，对第二消息队列进行采样，得到多个待聚合数据；以及聚合子模块，用于对多个待聚合数据进行数据聚合，得到第三数据。

根据本公开的实施例，待聚合数据可以包括商品标识、商家标识和数据源标识。聚合子模块可以包括：第一聚合单元，用于根据商品标识，对待聚合数据进行数据聚合，得到第一聚合结果；第二聚合单元，用于根据商家标识，对待聚合数据进行数据聚合，得到第二聚合结果；第三聚合单元，用于根据数据源标识，对待聚合数据进行数据聚合，得到第三聚合结果；以及确定单元，用于根据第一聚合结果、第二聚合结果和第三聚合结果，确定第三数据。

根据本公开的实施例，数据清洗模块可以包括：第二采样子模块，用于根据第一时间窗口，对第一消息队列中的数据进行采样，得到多个待清洗数据；以及清洗子模块，用于对多个待清洗数据进行数据清洗，得到第二数据。

根据本公开的实施例，清洗子模块可以包括：分析单元，用于对多个待清洗数据的内容进行分析，得到内容分析结果；以及第一删除单元，用于删除多个待清洗数据中内容分析结果不符合预定要求的数据。

根据本公开的实施例，清洗子模块可以包括：兴趣点确定单元，用于确定与多个待清洗数据中每个待清洗数据对应的兴趣点；判断单元，用于确定每个待清洗数据所对应的兴趣点是否准确；以及第二删除单元，用于删除多个待清洗数据中兴趣点不准确的待清洗数据。

根据本公开的实施例，清洗子模块可以包括：权重确定单元，用于确定与多个待清洗数据中每个待清洗数据对应的兴趣点和兴趣点的权重；以及第三删除单元，用于删除多个待清洗数据中兴趣点权重小于权重阈值的待清洗数据。

根据本公开的实施例，数据分发模块可以包括：第三采样子模块，用于根据第三时间窗口，对第三消息队列进行采样，得到至少一个待分发数据；以及分发子模块，用于将至少一个待分发数据分发到至少一个终端设备。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9示意性示出了可以用来实施本公开的实施例的示例电子设备900的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如数据处理方法。例如，在一些实施例中，数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。