掌桥专利:专业的专利平台
掌桥专利
首页

数据处理方法及装置

文献发布时间:2023-06-19 11:45:49


数据处理方法及装置

技术领域

本公开涉及数据处理技术领域,具体涉及一种数据处理方法及装置。

背景技术

在包含大量数据的场景中,通常都会包含对数据的分析处理、上传服务器存储等环节。然而不同的数据拥有不同的价值,也就需要不同的处理流程,相关技术中的数据处理方法,对硬件或带宽资源利用率较低,导致数据处理速度慢、效率低。

发明内容

为提高数据处理效率,本公开实施方式提供了一种数据处理方法、装置、电子设备以及存储介质。

第一方面,本公开实施方式提供了一种数据处理方法,包括:

获取第一类型数据和第二类型数据;

对第一类型数据进行数据处理,得到多个第一待上传数据;

对多个第一待上传数据依次进行数据上传,在确定当前上传状态为空闲状态的情况下,上传所述第二类型数据。

在一些实施方式中,所述对第一类型数据进行数据处理,得到多个第一待上传数据,包括:

将所述第一类型数据依次发送至处理队列;

对所述处理队列中的各所述第一类型数据依次进行数据处理,得到各所述第一类型数据对应的各个第一待上传数据。

在一些实施方式中,所述对多个第一待上传数据依次进行数据上传,包括:

将多个第一待上传数据依次发送至上传队列;

对所述上传队列中的各第一待上传数据依次进行数据上传。

在一些实施方式中,采用以下步骤确定当前上传状态:

检测根据数据上传状态产生的上传状态信息;

根据所述上传状态信息确定所述当前上传状态。

在一些实施方式中,所述上传状态信息根据以下步骤切换:

在任一数据上传时,响应于该数据开始上传或正在上传,将所述上传状态信息确定为第一信息;响应于该数据上传完成,将所述上传状态信息确定为第二信息。

在一些实施方式中,所述根据所述上传状态信息确定所述当前上传状态,包括:

响应于当前上传状态信息为第二信息,且所述第一待上传数据的数量为零,确定所述当前上传状态为空闲状态。

在一些实施方式中,对多个第一待上传数据依次进行数据上传,包括:

在上传任一个第一待上传数据之前,确定当前上传状态信息为第二信息。

在一些实施方式中,所述获取第一类型数据和第二类型数据,包括:

获取待处理数据;

基于数据价值对待处理数据进行分析,得到所述第一类型数据和所述第二类型数据。

第二方面,本公开实施方式提供了一种数据处理装置,包括:

获取模块,被配置为获取第一类型数据和第二类型数据;

数据处理模块,被配置为对第一类型数据进行数据处理,得到多个第一待上传数据;

数据上传模块,被配置为对多个第一待上传数据依次进行数据上传,在确定当前上传状态为空闲状态的情况下,上传所述第二类型数据。

在一些实施方式中,所述数据处理模块具体被配置为:

将所述第一类型数据依次发送至处理队列;

对所述处理队列中的各所述第一类型数据依次进行数据处理,得到各所述第一类型数据对应的各个第一待上传数据。

在一些实施方式中,所述数据上传模块具体被配置为:

将多个第一待上传数据依次发送至上传队列;

对所述上传队列中的各第一待上传数据依次进行数据上传。

在一些实施方式中,所述数据处理装置还包括:

检测模块,被配置为检测根据数据上传状态产生的上传状态信息;

确定模块,被配置为根据所述上传状态信息确定所述当前上传状态。

在一些实施方式中,所述数据处理装置还包括:

信息确定模块,被配置为在任一数据上传时,响应于该数据开始上传或正在上传,将所述上传状态信息确定为第一信息;响应于该数据上传完成,将所述上传状态信息确定为第二信息。

在一些实施方式中,所述确定模块具体被配置为:

响应于当前上传状态信息为第二信息,且所述第一待上传数据的数量为零,确定所述当前上传状态为空闲状态。

在一些实施方式中,所述数据上传模块具体被配置为:

在上传任一个第一待上传数据之前,确定当前上传状态信息为第二信息。

在一些实施方式中,所述获取模块具体被配置为:

获取待处理数据;

基于数据价值对待处理数据进行分析,得到所述第一类型数据和所述第二类型数据。

第三方面,本公开实施方式提供了一种电子设备,包括:

处理器;和

存储器,存储有计算机指令,所述计算机指令用于使处理器执行第一方面任一实施方式所述的方法。

第四方面,本公开实施方式提供了一种存储介质,存储有计算机指令,所述计算机指令用于使计算机执行根据第一方面任一实施方式所述的方法。

本公开实施方式的数据处理方法,包括获取第一类型数据和第二类型数据,对第一类型数据进行数据处理得到多个第一待上传数据,对多个第一待上传数据依次进行数据上传,并且在确定当前上传状态为空闲状态的情况下,上传第二类型数据。本公开方法对不同数据类型进行分类,并且将第二类型数据的上传嵌入在第一类型数据上传的空闲状态,避免硬件和带宽资源闲置,最大化地利用硬件和带宽资源,提高数据处理和上传的效率。

附图说明

为了更清楚地说明本公开具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是根据本公开一些实施方式中数据处理方法的流程图。

图2是根据本公开一些实施方式中数据处理方法的流程图。

图3是根据本公开一些实施方式中数据处理方法的流程图。

图4是根据本公开一个具体实施方式中数据处理方法的流程图。

图5是根据本公开一些实施方式中数据处理装置的流程图。

图6是适于实现本公开数据处理方法的计算机系统框图。

具体实施方式

下面将结合附图对本公开的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本公开一部分实施方式,而不是全部的实施方式。基于本公开中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本公开保护的范围。此外,下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

在包含大量数据的业务场景中,部分数据常常会由于各种异常导致数据缺失,而这些残缺的数据无法像完整的数据一样通过分析处理提取出有价值的信息,但是却对日后分析故障原因具有重要意义。因此,对于这些残缺的数据无需按照完整的数据一样进行数据分析处理,但是同样需要上传至服务器以备日后使用。

基于数据价值,可将残缺的数据定义为“低价值数据”,而将完整的可提取有效信息的数据定义为“高价值数据”。可以理解,本公开所述的高低为相对概念,本领域技术人员可以根据具体应用场景实现数据价值的分类,本公开不再赘述。

数据处理和上传阶段所占用的资源不同,数据分析处理时主要占用处理设备的硬件资源,例如CPU(central processing unit,中央处理器)、GPU(Graphics ProcessingUnit,图形处理器)等硬件的计算资源。而数据上传主要占用网络带宽资源。

由于高价值数据和低价值数据处理流程不同,因此相关技术中数据处理上传时无法充分利用硬件或带宽资源,导致计算或带宽资源闲置。例如,对于串行处理的高价值数据,必须在数据处理之后才可以进行数据上传,因此在数据处理的过程中带宽资源处于闲置状态。又例如,对于串行处理的连续多个低价值数据,由于无需进行数据处理直接进行数据上传,在数据处理流程中计算资源处于闲置状态。由此可见,相关技术的数据处理方法无法充分利用硬件或带宽资源,导致数据处理和上传的效率较低。

正是基于上述相关技术中存在的缺陷,本公开实施方式提供了一种数据处理方法、装置、电子设备以及存储介质,旨在最大化利用硬件和带宽资源,提高数据处理和上传的效率。

第一方面,本公开实施方式提供了一种数据处理方法,该方法可以应用于例如计算机、计算集群等具备运算能力的系统,由系统的处理器执行处理。

如图1所示,在一些实施方式中,本公开实施例的数据处理方法包括:

S110、获取第一类型数据和第二类型数据。

具体来说,第一类型数据和第二类型数据可指基于不同的处理流程对待处理数据进行分类得到的不同类型数据。

在一个示例中,可基于数据价值将待处理数据分为高价值数据和低价值数据,其中高价值数据和低价值数据即可对应为第一类型数据和第二类型数据。

在另一个示例中,可基于数据优先级不同将待处理数据分为高优先级数据和低优先级数据,其中高优先级数据和低优先级数据即可对应为第一类型数据和第二类型数据。

可以理解,本公开实施方式的第一类型数据和第二类型数据并不局限于上述示例,本领域技术人员可以根据具体的应用场景实现对第一类型数据和第二类型数据的分类,本公开对此不再赘述。

S120、对第一类型数据进行数据处理,得到多个第一待上传数据。

具体来说,在一些实施方式中,第一类型数据为需要进行数据处理的数据,因此可对第一类型数据进行相应的数据处理之后,得到第一待上传数据,第一待上传数据可包括处理后得到的数据和原始数据。

以第一类型数据为高价值数据为例,高价值数据表示完整的用户数据或者采集数据,通过对该数据进行相应的数据分析处理,可以得到对应的处理结果。

在一个示例中,业务场景以人脸识别场景为例,在该场景中,第一类型数据可以表示包含了完整人脸图像以及用户信息的数据。在对第一类型数据处理时,可对人脸图像关键点进行识别,同时建立与用户信息对应的关系,然后将原始图像、数据以及处理后得到的数据共同作为第一待上传数据。

上述示例仅作为示例性的说明,本领域技术人员毫无疑问可以理解,对于不同的业务场景,可以采用相应的数据处理过程实现其目的,本公开对此不作限制。

S130、对第一待上传数据依次进行数据上传,在确定当前上传状态为空闲状态的情况下,上传第二类型数据。

具体来说,在一些实施方式中,第二类型数据为无需进行数据处理直接上传服务器的数据,例如第二类型数据为信息残缺的低价值数据。

在本公开实施方式中,并非直接对第二类型数据进行上传,而是将第二类型数据嵌入在第一类型数据上传的空闲阶段。这是由于,通过前述可知,数据上传时主要占用网络带宽资源,数据处理时主要占用硬件计算资源,对于系统来说,在数据处理和上传的过程中,往往会有各个线程不同步的情况,也即,计算资源处于忙碌状态时,带宽资源需要等待数据处理完成而处于闲置状态。

因此,在本公开实施方式中,将无需数据处理的第二类型数据,在第一类型数据上传的空闲状态进行数据上传。第一类型数据上传的空闲状态也即网络带宽的闲置状态,将第二类型数据利用该空闲状态进行上传,使得网络带宽始终处于满载状态,从而可以最大化的利用带宽资源,进而提高数据处理和上传的效率。

在一个示例中,可通过检测网络带宽的占用情况,来判断当前数据的上传状态。例如可设置网络带宽的预设阈值,当检测到当前网络带宽的占用小于预设阈值时,可确定当前数据的上传状态为空闲状态,反之为忙碌状态。

在另一个示例中,可根据数据上传的状态设置对应的上传状态信息,通过检测上传状态信息来确定上传状态。本公开下述对本示例进行说明,在此暂不详述。

通过上述可知,本公开实施方式的数据处理方法,对不同数据类型进行分类,并且将第二类型数据的上传嵌入在第一类型数据上传的空闲状态,从而最大化地利用硬件和网络带宽资源,避免带宽资源闲置,提高数据处理和上传的效率。

在一些实施方式中,第一类型数据表示需要进行数据处理和数据上传的数据,第二类型数据表示无需进行数据处理、只进行数据上传的数据。因此,对于第一类型数据可设置处理队列和上传队列,对于第二类型数据可设置第二队列,从而数据可以在各队列中排列,等待处理器调取执行对应的处理或者上传操作。在具体实施中,这些队列的管理和调度可以通过队列管理器完成。下面具体进行说明。

如图2所示,在一些实施方式中,本公开实施方式的方法包括:

S210、将第一类型数据依次发送至处理队列。

可以理解,待处理数据中包括大量的数据,可通过对待处理数据进行分析处理得到第一类型数据和第二类型数据。其中,第一类型数据中的各个数据表示需要首先进行数据处理的数据,因此可将这些数据依据时间先后顺序依次发送至处理队列,排队等待处理器调取处理。

S220、对处理队列中的各第一类型数据依次进行数据处理,得到各第一类型数据对应的各个第一待上传数据。

具体来说,在对数据处理时,处理器的处理程序可依照先进入先处理的原则,对处理队列中的各个第一类型数据依次进行相应的数据处理,然后将处理后的数据与原始数据共同作为第一待上传数据。

在一个示例中,业务场景以智能自动驾驶为例,第一类型数据为自动驾驶系统采集的包含采集图像和各项参数的完整数据。处理程序可对处理队列中的各个第一类型数据依据先后顺序依次进行图像识别、参数匹配等处理操作,然后将处理后的数据与原始数据共同打包作为该第一类型数据对应的第一待上传数据。

处理器的处理程序空闲时,可检查处理队列中的数据是否为空,若处理队列中数据不为空,则表示处理队列中依旧存在等待被处理的第一类型数据,从而处理器可从处理队列中调取最早加入的第一类型数据进行相应的数据处理。若处理队列中数据为空,则表示处理队列中不存在需要被处理的第一类型数据,处理程序保持空闲状态待命。

S230、将多个第一待上传数据依次发送至上传队列。

具体来说,在处理队列中的每个第一类型数据被处理完成时,可将该第一类型数据对应的第一待上传数据由处理队列发送至上传队列,排队等待处理器的上传程序调取上传。

在第一待上传数据被发送至上传队列时,与该第一待上传数据对应的第一类型数据,可以从处理队列中移除。

S240、对上传队列中的各第一待上传数据依次进行数据上传。

具体来说,在对数据上传时,处理器的上传程序同样可依照先进入先上传的原则,对上传队列中的各个第一待上传数据依次进行数据上传,从而将各个第一待上传数据上传至服务器进行存储。

在第一待上传数据上传完成后,可将该第一待上传数据从上传队列中移除。

在本公开一些实施方式中,对于第二类型数据对应设置有第二队列,从而可将第二类型数据依次发送至第二队列,第二类型数据无需进行数据处理,因此第二队列中的各第二类型数据,依据先到先上传的原则依次排队等待上传程序调取上传。可以理解,第二类型数据的上传处于第一类型数据上传的空闲时间,也即在当前上传程序的状态为空闲状态时,上传程序可调取第二队列中的第二类型数据进行上传。

可以理解,本公开实施方式对第二类型数据的上传,是嵌入在第一类型数据上传空闲时间,因此对于数据上传时的当前上传状态检测是必要的过程。

在一些实施方式中,考虑到数据上传时需要占用大量的网络带宽资源,因此可以通过检测带宽占用情况来判断当前上传状态。

具体来说,在一个示例中,可基于先验知识或者有限次的试验预先确定网络带宽的预设阈值,该预设阈值表示数据上传时网络带宽资源占用的门限值。当检测到当前网络带宽占用低于该预设阈值,则表示当前没有数据上传,也即当前上传状态为空闲状态。反之则表示数据上传时的当前上传状态为忙碌状态。

值得说明的是,考虑到检测网络带宽占用情况来判断上传状态时,可能会由于网络原因产生误判。例如,当遇到网络波动等网络条件较差的情况时,即使上传程序有进行中的上传数据,也不会占用较多的网络带宽,因此直接检测网络占用容易造成误判。

因此,在一些实施方式中,本公开数据处理方法通过检测上传程序的上传状态信息确定当前上传状态,下面结合图3进行说明。

如图3所示,在一些实施方式中,本公开数据处理方法包括:

S310、检测根据数据上传状态产生的上传状态信息。

S320、根据上传状态信息确定当前上传状态。

具体来说,上传状态信息是指用于表示当前上传程序状态的指示信息,在一个示例中,上传状态信息可以是上传状态标志位,通过对标志位进行数值的切换来表示上传状态的忙碌/空闲切换。

在一些实施方式中,当系统初始化时,上传状态信息可设置为第二信息。当处理器检测到上传程序有数据开始上传或正在上传过程中时,将上传状态信息由第二信息切换为第一信息。而当数据上传完成时,将上传状态信息由第一信息重置为第二信息。

在一个示例中,上传状态信息为上传状态标志位,该标志位可利用数值0和1实现状态切换。当系统初始化时,标志位为0。当上传程序有数据开始上传或者正在上传,上传程序将标志位设置为1。当该数据上传完成,上传程序将标志位重置为0。下一个数据进入上传程序时,如此循环切换。

因此,处理器可以通过检测数据上传时的上传状态信息,通过上传状态信息来确定当前上传状态是空闲状态还是忙碌状态。

在一些实施方式中,响应于当前上传状态信息为第二信息,且第一待上传数据的数量为零时,可确定当前上传状态为空闲状态。

具体来说,处理器可定期检测上传状态信息,当上传状态信息为第一信息时,表示当前上传状态为忙碌状态。

而当上传状态信息为第二信息时,进一步确定当前上传队列中是否为空。若上传队列中数据为空,则表示第一待上传数据的数量为零,也即确定当前上传程序为空闲状态。此时上传程序可以从第二队列中调取最早进入的第二类型数据进行上传处理,从而避免网络带宽资源闲置。

若上传队列中数据不为空,则表示第一待上传数据的数量不为零,则上传程序可从上传队列中调取最早进入的第一待上传数据进行上传。

可以理解,本公开实施方式中,在上传第一待上传数据或者第二类型数据之前,均需要确定当前上传状态信息,在当前上传状态信息为第二信息时,根据第一待上传数据的数量是否为零,来确定上传第一待上传数据或者第二类型数据。

通过上述可知,本公开数据处理方法,在确定第一待上传数据处于上传空闲状态时,将第二类型数据嵌入在该空闲状态进行上传,从而避免第一类型数据的处理进程与上传进程不同步导致的带宽资源闲置,最大化的利用网络带宽资源,提高数据处理和上传的效率。并且,本公开实施方式中,利用上传状态信息来确定当前上传状态,直接反应数据上传的当前状态,不受网络状况影响,可以准确判断当前上传状态,进一步提高数据处理和上传的效率。

图4示出了本公开数据处理方法的一个具体实施方式,下面结合图4对本公开方法进行说明。

S401、获取待处理数据。

待处理数据可以是根据业务场景不同获取的用户数据或者采集数据。

在一个示例中,业务场景以智能自动驾驶为例,待处理数据可以是自动驾驶系统采集的多个包括有采集图像、行驶数据等信息的数据。

在另一个示例中,业务场景以人脸识别为例,待处理数据可以是人脸识别系统获取的多个包括有人脸图像、身份数据等信息的数据。

本公开待处理数据并不局限于上述示例,本领域技术人员毫无疑问可以根据具体业务场景实现待处理数据的采集与获取,本公开对此不再赘述。

值得说明的是,对于待处理数据,其中每一个数据往往都会包括多种数据信息,而在具体的工业实践中,常常会由于各种原因导致采集的数据存在缺失。例如人脸识别场景中,某个数据可能由于图像采集设备故障导致缺少人脸图像。

残缺的数据无法通过后续的数据处理来提取有效信息,因此可定义残缺数据为低价值数据,反之为高价值数据。也即,本公开实施方式中的待处理数据包括有低价值数据和高价值数据。

S402、基于数据价值对待处理数据进行分析,得到第一类型数据和第二类型数据。

具体来说,在获取待处理数据之后,可以基于前述的数据价值,将待处理数据中的低价值数据和高价值数据进行筛选分类。

在一个示例中,可以检测每个数据的数据完整性,当检测到某个数据缺少部分信息时,则可以将该数据确定为低价值数据。反之则确定为高价值数据。

本实施方式中,第一类型数据为高价值数据,第二类型数据为低价值数据。

S403、将第二类型数据发送至第二队列。

第二类型数据为低价值数据,无需进行数据处理直接上传服务器,因此第二类型数据无需进入处理队列,而是依次发送至第二队列进行排队,等待后续上传程序空闲时调取上传。

S404、将第一类型数据发送至处理队列。

第一类型数据为高价值数据,需要进行数据处理提取有效信息后上传服务器保存。

本实施方式中,将第一类型数据依据时间先后顺序依次发送至处理队列,排队等待处理器调度处理。

S405、对处理队列中的各第一类型数据依次进行数据处理,得到各第一类型数据对应的第一待上传数据。

具体来说,在数据的处理流程中,处理器的处理程序可依照先进入先处理的原则,对处理队列中的各个第一类型数据依次进行相应的数据处理,然后将处理后的数据与原始数据共同作为第一待上传数据。

本步骤具体实施时,本领域技术人员参照前述步骤S220即可,在此不再赘述。

S406、将多个第一待上传数据依次发送至上传队列。

在处理队列中的每个第一类型数据被处理完成时,可将该第一类型数据对应的第一待上传数据由处理队列发送至上传队列,排队等待处理器的上传程序调取上传。

在第一待上传数据被发送至上传队列时,与该第一待上传数据对应的第一类型数据,可以从处理队列中移除。

S407、对上传队列中的各第一待上传数据依次进行数据上传。

在对数据上传时,处理器的上传程序同样可依照先进入先上传的原则,对上传队列中的各个第一待上传数据依次进行数据上传,从而将各个第一待上传数据上传至服务器进行存储。

在本实施方式中,上传状态信息为上传状态标志位,上传状态标志位可以通过第一信息1和第二信息0来切换标识状态信息。

具体来说,当上传程序有数据开始上传时,可将上传状态标志位切换为1。而当该数据上传完成时,可将上传状态标志位切换为0。当下个数据开始上传时,上传状态标志位再次切换为1,……,如此循环切换。

S408、响应于上传状态信息为第二信息,且上传队列中第一待上传数据的数量为零,确定当前上传状态为空闲状态。

处理器可定期检测上传标志位的数值信息,当检测到上传状态标志位为1时,表示当前上传状态为忙碌状态。

当检测到上传状态标志位为0时,进一步检测当前上传队列中的数据是否为空。如果上传队列中数据不为空,则表示仍然存在未上传的第一待上传数据,也即确定当前上传状态仍为忙碌状态,上传程序可从上传队列中调取最早进入的第一待上传数据进行上传。如果上传队列中数据为空,则表示当前上传队列中无第一待上传数据,也即确定当前上传程序为空闲状态。

S409、响应于当前上传状态为空闲状态,对第二队列中的各第二类型数据依次进行数据上传。

可以理解,上传程序为空闲状态时,可能是由处理程序与上传程序不同步造成的,也即上传队列中无待上传数据,上传程序处于闲置状态。此时上传程序可以从第二队列中调取最早进入的第二类型数据,依次进行数据上传。当再次有第一待上传数据发送至上传队列,步骤S408中即可确定上传队列中第一待上传数据的数量不为零,从而确定当前上传状态为忙碌状态,上传程序即可继续上传第一待上传数据,等待下次空闲状态再调取第二类型数据上传。

通过上述可知,本公开数据处理方法,在确定第一待上传数据处于上传空闲状态时,将第二类型数据嵌入在该空闲状态进行上传,从而避免第一类型数据的处理进程与上传进程不同步导致的带宽资源闲置,最大化的利用网络带宽资源,提高数据处理和上传的效率。并且,本公开实施方式中,利用上传状态信息来确定当前上传状态,直接反应当前数据上传的状态,不受网络状况影响,可以准确判断当前数据上传的状态,进一步提高数据处理和上传的效率。

第二方面,本公开实施方式提供了一种数据处理装置。如图5所示,在一些实施方式中,数据处理装置包括:

获取模块501,被配置为获取第一类型数据和第二类型数据;

数据处理模块502,被配置为对第一类型数据进行数据处理,得到多个第一待上传数据;

数据上传模块503,被配置为对多个第一待上传数据依次进行数据上传,在确定当前上传状态为空闲状态的情况下,上传所述第二类型数据。

通过上述可知,本公开实施方式的数据处理装置,对不同数据类型进行分类,并且将第二类型数据的上传嵌入在第一类型数据上传的空闲状态,从而最大化地利用硬件和网络带宽资源,避免带宽资源闲置,提高数据处理和上传的效率。

在一些实施方式中,所述数据处理模块502具体被配置为:

将所述第一类型数据依次发送至处理队列;

对所述处理队列中的各所述第一类型数据依次进行数据处理,得到各所述第一类型数据对应的各个第一待上传数据。

在一些实施方式中,所述数据上传模块503具体被配置为:

将多个第一待上传数据依次发送至上传队列;

对所述上传队列中的各第一待上传数据依次进行数据上传。

在一些实施方式中,所述数据处理装置还包括:

检测模块,被配置为检测根据数据上传状态产生的上传状态信息;

确定模块,被配置为根据所述上传状态信息确定所述当前上传状态。

在一些实施方式中,所述数据处理装置还包括:

信息确定模块,被配置为在任一数据上传时,响应于该数据开始上传或正在上传,将所述上传状态信息确定为第一信息;响应于该数据上传完成,将所述上传状态信息确定为第二信息。

在一些实施方式中,所述确定模块具体被配置为:

响应于当前上传状态信息为第二信息,且所述第一待上传数据的数量为零,确定所述当前上传状态为空闲状态。

在一些实施方式中,所述数据上传模块503具体被配置为:

在上传任一个第一待上传数据之前,确定当前上传状态信息为第二信息。

在一些实施方式中,所述获取模块501具体被配置为:

获取待处理数据;

基于数据价值对待处理数据进行分析,得到所述第一类型数据和所述第二类型数据。

通过上述可知,本公开数据处理方法,在确定第一待上传数据处于上传空闲状态时,将第二类型数据嵌入在该空闲状态进行上传,从而避免第一类型数据的处理进程与上传进程不同步导致的带宽资源闲置,最大化的利用网络带宽资源,提高数据处理和上传的效率。并且,本公开实施方式中,利用上传状态信息来确定当前上传状态,直接反应数据上传的当前状态,不受网络状况影响,可以准确判断当前上传状态,进一步提高数据处理和上传的效率。

第三方面,本公开实施方式提供了一种电子设备,包括:

处理器;和

存储器,存储有计算机指令,所述计算机指令用于使处理器执行第一方面任一实施方式所述的方法。

第四方面,本公开实施方式提供了一种存储介质,存储有计算机指令,所述计算机指令用于使计算机执行根据第一方面任一实施方式所述的方法。

具体而言,图6示出了适于用来实现本公开方法的计算机系统600的结构示意图,通过图6所示系统,可实现上述处理器及存储介质相应功能。

如图6所示,计算机系统600包括处理器601,其可以根据存储在存储器602中的程序或者从存储部分608加载到存储器602中的程序而执行各种适当的动作和处理。在存储器602中,还存储有系统600操作所需的各种程序和数据。处理器601和存储器602通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地,根据本公开的实施方式,上文方法过程可以被实现为计算机软件程序。例如,本公开的实施方式包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,计算机程序包含用于执行上述方法的程序代码。在这样的实施方式中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。

附图中的流程图和框图,图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

显然,上述实施方式仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本公开创造的保护范围之中。

相关技术
  • 图像数据处理方法、用于图像数据处理方法的程序、记录有用于图像数据处理方法的程序的记录介质和图像数据处理装置
  • 药箱的数据处理方法、装置、数据处理方法和装置
技术分类

06120113047830