掌桥专利:专业的专利平台
掌桥专利
首页

数据处理方法、装置、存储介质以及电子设备

文献发布时间:2023-06-19 19:23:34


数据处理方法、装置、存储介质以及电子设备

技术领域

本申请涉及大数据领域,具体而言,涉及一种数据处理方法、装置、存储介质以及电子设备。

背景技术

相关技术在计算中生产计算节点,然后加密传输至云平台进行存储,但是仍然存在着大数据在云计算的过程中对多用户、多任务和多优先级的访问流会产生访问数据倾斜现象,导致基于统一管理的存储数据发生严重倾斜,从而引发热数据竞争和冷数据存储资源浪费的问题。

针对上述的问题,目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据处理方法、装置、存储介质以及电子设备,以至少解决由于大数据在云计算的过程中对多用户、多任务和多优先级的访问流产生的访问数据倾斜现象造成的存储数据发生严重倾斜,以及引发热数据竞争和冷数据存储资源浪费的技术问题。

根据本申请实施例的一个方面,提供了一种数据处理方法,包括:获取各个数据节点传入的各个数据;根据映射关系将各个数据映射存入至对应的数据分片;确定存储区域的优先级,其中,存储区域包括:固态驱动器以及硬盘驱动器;将数据分片中存储的数据优先输入到固态驱动器中的多个缓冲区域,在固态驱动器的缓冲区域的占用率达到预设阈值后,将剩余数据写入硬盘驱动器。

可选地,根据映射关系将各个数据映射存入至对应的数据分片,包括:确定各个数据对应的初始键值对,将初始键值对映射为目标二元组;根据目标二元组中的键值确定各个数据所属的数据分片。

可选地,方法还包括:确定各个数据的访问状况,根据访问状况对各个数据进行划分,将各个数据分类为热数据或者冷数据。

可选地,在将各个数据分类为热数据或者冷数据之后,方法还包括:获取全局的数据副本负载值,在当前时段执行的任务为非本地性任务的情况下,确定热数据对应的数据块,自动从其他节点对数据块进行拷贝。

可选地,在将各个数据分类为热数据或者冷数据之后,方法还包括:间隔预定周期检测数据节点上存储的数据块负载,在数据块负载与正常负载的差值小于预设阈值的情况下,获取数据节点对应的数据副本总数;在数据副本总数为预定数量的情况下,下发纠删码给数据节点;接收数据块返回的数据信息,将数据信息单独存储至冷数据独立磁盘阵列。

可选地,在数据副本总数不为预定数量的情况下,删除数据节点上数据块中的文件并将删除信息上报,其中,删除信息包括:文件对应的文件名称及位置。

可选地,确定各个数据的访问状况,根据访问状况对各个数据进行划分,将各个数据分类为热数据或者冷数据,包括:至少获取各个数据对应的各个文件名与各个访问时间;确定各个文件名对应的访问次数,在访问次数大于预设访问次数,确定数据为热数据;或者,在访问时间属于目标时段的情况下,确定数据为热数据;在访问次数小于预设访问次数,确定数据为冷数据;或者,在访问时间属于目标时段的情况下,确定数据为冷数据。

根据本申请实施例的另一方面,还提供了一种数据处理装置,包括:获取模块,用于获取各个数据节点传入的各个数据;映射模块,用于根据映射关系将各个数据映射存入至对应的数据分片;确定模块,用于确定存储区域的优先级,其中,存储区域包括:固态驱动器以及硬盘驱动器,将数据分片中存储的数据优先输入到固态驱动器中的多个缓冲区域,在固态驱动器的缓冲区域的占用率达到预设阈值后,将剩余数据写入硬盘驱动器。

根据本申请实施例的另一方面,还提供了一种非易失性存储介质,包括:存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行任意一项数据处理方法。

根据本申请实施例的另一方面,还提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令,以实现任意一项数据处理方法。

在本申请实施例中,采用划分数据访问热度的方式,通过获取各个数据节点传入的各个数据;根据映射关系将各个数据映射存入至对应的数据分片;确定存储区域的优先级,其中,存储区域包括:固态驱动器以及硬盘驱动器;将数据分片中存储的数据优先输入到固态驱动器中的多个缓冲区域,在固态驱动器的缓冲区域的占用率达到预设阈值后,将剩余数据写入硬盘驱动器,达到了减少大数据云计算存储过程中数据冗余的目的,从而实现了降低热数据竞争以及避免冷数据存储资源浪费的技术效果,进而解决了由于大数据在云计算的过程中对多用户、多任务和多优先级的访问流产生的访问数据倾斜现象造成的存储数据发生严重倾斜,以及引发热数据竞争和冷数据存储资源浪费技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:

图1是根据本申请实施例的一种数据处理方法的流程示意图;

图2是根据本申请实施例的一种可选的数据处理方法的流程示意图;

图3是根据本申请实施例的一种数据处理方法的数据执行流程示意图;

图4是根据本申请实施例的一种数据处理方法的数据流示意图;

图5是根据本申请实施例的一种数据处理方法的装置结构示意图;

图6是根据本申请实施例的一种示例电子设备600的示意性框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。

需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请实施例,提供了一种数据处理的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本申请实施例的一种数据处理方法,如图1所示,该方法包括如下步骤:

步骤S102,获取各个数据节点传入的各个数据;

步骤S104,根据映射关系将各个数据映射存入至对应的数据分片;

步骤S106,确定存储区域的优先级,其中,存储区域包括:固态驱动器以及硬盘驱动器;

需要说明的是,固态驱动器的优先级大于硬盘驱动器的优先级。

步骤S108,将数据分片中存储的数据优先输入到固态驱动器中的多个缓冲区域,在固态驱动器的缓冲区域的占用率达到预设阈值后,将剩余数据写入硬盘驱动器。

需要说明的是,预设阈值可为80%,即缓冲区域的占用率达到80%时,将剩余数据写入硬盘驱动器。

在本申请实施例中,采用划分数据访问热度的方式,通过获取各个数据节点传入的各个数据;根据映射关系将各个数据映射存入至对应的数据分片;确定存储区域的优先级,其中,存储区域包括:固态驱动器以及硬盘驱动器;将数据分片中存储的数据优先输入到固态驱动器中的多个缓冲区域,在固态驱动器的缓冲区域的占用率达到预设阈值后,将剩余数据写入硬盘驱动器,达到了减少大数据云计算存储过程中数据冗余的目的,从而实现了降低热数据竞争以及避免冷数据存储资源浪费的技术效果,进而解决了由于大数据在云计算的过程中对多用户、多任务和多优先级的访问流产生的访问数据倾斜现象造成的存储数据发生严重倾斜,以及引发热数据竞争和冷数据存储资源浪费技术问题。

本申请一示例性实施例中,根据映射关系将各个数据映射存入至对应的数据分片,包括:确定各个数据对应的初始键值对,将初始键值对映射为目标二元组;根据目标二元组中的键值确定各个数据所属的数据分片。

可选地,方法还包括:确定各个数据的访问状况,根据访问状况对各个数据进行划分,将各个数据分类为热数据或者冷数据。

可以理解的是,访问次数较多的是热数据,访问次数较少的是冷数据。

本申请一些可选的实施例中,在将各个数据分类为热数据或者冷数据之后,方法还包括:获取全局的数据副本负载值,在当前时段执行的任务为非本地性任务的情况下,确定热数据对应的数据块,自动从其他节点对数据块进行拷贝。

本申请一示例性实施例中,在将各个数据分类为热数据或者冷数据之后,方法还包括:间隔预定周期检测数据节点上存储的数据块负载,在数据块负载与正常负载的差值小于预设阈值的情况下,获取数据节点对应的数据副本总数;在数据副本总数为预定数量的情况下,下发纠删码给数据节点;接收数据块返回的数据信息,将数据信息单独存储至冷数据独立磁盘阵列。

作为一种可选的实施例中,在数据副本总数不为预定数量的情况下,删除数据节点上数据块中的文件并将删除信息上报,其中,删除信息包括:文件对应的文件名称及位置。

需要说明的是,预定数量的数据副本为三副本,无法针对单个文件进行副本操作,副本的存储位置采用随机分配策略。

本申请一些可选的实施例中,确定各个数据的访问状况,根据访问状况对各个数据进行划分,将各个数据分类为热数据或者冷数据,包括:至少获取各个数据对应的各个文件名与各个访问时间;确定各个文件名对应的访问次数,在访问次数大于预设访问次数,确定数据为热数据;或者,在访问时间属于目标时段的情况下,确定数据为热数据;在访问次数小于预设访问次数,确定数据为冷数据;或者,在访问时间属于目标时段的情况下,确定数据为冷数据。

可以理解的是,当访问时间属于高峰时段时,可确定数据为热数据;当访问时间属于非高峰时段时,可确定数据为冷数据。

为了便于本领域技术人员更好的理解本申请的技术方案,现结合一具体实施例进行说明。

图2是根据本申请实施例的一种可选的数据处理方法的流程示意图,如图2所示,该流程主要包括如下步骤:

(1)根据数据需求对获取的数据内容进行分区,通过分区内容建立多个数据库;

(2)输入的一条或者多条数据节点存入数据分片中,数据分片经过映射技术进行处理分区划分,之后数据送入固态驱动器中的多个缓冲区域,当缓冲区域被写满时,后台将将缓冲区中的数据写入硬盘驱动器;

(3)信息采集模块采集系统中上层节点数据访问日志,为动态数据划分提供信息,采用动态冷热副本区分模块动态划分数据访问热度,动态副本存储模块对副本数目进行管理和维护;

需要说明的是,动态冷热副本区分模块中的所有文件的默认副本数为三副本,无法针对单个文件进行副本操作,副本的存储位置采用完全随机的分配策略,且动态冷热副本区分模块对于数据存储和数据访问采取统一管理。

需要说明的是,动态副本存储模块能够根据数据的访问状况,对其冷热进行标记区分,动态副本存储模块的数据副本是完全动态变化的,动态副本存储模块采取了反馈调节机制,其主要包含零数据拷贝的副本增加机制和数据副本自动衰减机制改变数据块数目。

可以理解的是,零数据拷贝的副本增加机制基于日志记录模块能够获取全局的数据副本负载值,若一个非本地性任务执行时,其相应数据块为热点数据,在完成此次数据映射时,映射任务会自动从其他节点对该数据块进行拷贝,零数据拷贝的副本增加机制发生在该数据块拷贝完成之后,常规的映射任务会将映射输入数据当做临时文件丢弃,而零数据拷贝的副本增加机制将该数据进行本地持久化并上报给,从而实现该数据块的可见性,由于零数据拷贝的副本增加机制借助了远程映射任务的执行过程进行增幅本操作,其引入的额外开销仅仅是将数据块的元数据上报的微小流量,因此零数据拷贝的副本增加机制能够实现完全零网络开销的副本增加。

数据副本自动衰减机制基于数据块负载额计算上,会定期扫描整个节点上存储的数据块负载,当发现数据块负载显著低于正常负载值时,动态副本存储模块优先访问,获取该副本总数,若其副本数目不为三时,则直接删除该数据块对应文件并上报,实现数据删除的全局可见性,若其副本数目等于三时,则交由冷数据独立磁盘列阵模块进行处理。

(4)对于极少被访问的衰减的数据采用冷数据独立磁盘列阵模块进行额外的数据块可靠性保存;

需要说明的是,冷数据独立磁盘列阵模块数据块的存储采用了延迟加载模式,动态冷热副本区分模块当前所有副本数目为三时,会下发纠删码计算操作给数据节点,数据节点在收到此条信息,提交该数据块的信息,冷数据独立磁盘列阵模块模块进行数据可靠性存储。

可以理解的是,冷数据独立磁盘列阵模块数据块的RAID存储采用了延迟加载模式,对于一个文件的数据块而言,主节点会定期汇总其所有的副本位置,如果可用副本数目低于三副本时,会进行自动增副本操作,从而保证数据的可靠性,而在动态冷热副本区分模块中当主节点收到数据块副本生存周期结束的消息之后,会监测该数据块的副本数目,如果发现其当前所有副本数目为三时,会下发纠删码计算操作给数据节点,数据节点在收到此条信息之后,不会立即将对应副本删除,而是提交该数据块的信息,包含<数据块所属文件名,数据块切分ID号,原始数据块数据>至冷数据独立磁盘列阵模块进行数据可靠性存储,当数据块完成了在冷数据独立磁盘列阵模块中的存储之后,数据节点才会删除当前生存周期已经结束的数据块并返回该信息至主节点,完成数据块存储的整个流程。

(5)数据分片多数据全部写入,映射输入全部完成,固态驱动器中存在多个临时缓冲区文件,通过重组端对数据严格按照键值进行排序归并,形成包含多个分区的中间数据文件并存储于硬盘驱动器内;

(6)重组端在文件传输的过程中,对文件进行全局合并,将具有相同的键值的键值对聚合成一个由键值索引的键组,将键组内容传输给归约端进行应用。

容易注意到的是,本申请通过划分数据访问热度的方式,有以下有益效果:

(1)本申请方案采用动态存储的方式,通过完全动态的副本模式和独立冗余磁盘阵列结合策略进行数据存储,相比于静态方案,动态副本能够高效适应上层文件访问的变化,从而提供适应的数据存储,对于热点数据而言,动态增加副本数能够提高并发下数据的可用性、减少非本地性任务的产生、减少网络传输开销,也缓解节点的负载不均衡状况,进而提高系统的整体性能,对于冷数据而言,相比于静态进行独立冗余磁盘阵列操作,DHS采取的动态策略,能够及时根据数据的访问变化,进行副本数量减少的操作,从系统整体而言,能够节约数据的存储成本。

(2)本申请方案采用动态冷热副本区分模块,动态冷热副本区分模块采用动态的副本模式,数据块的负载实质上取决于当前数据块的备份数目,处于相同访问状态下的文件的访问负载会随着副本数目的改变而发生变化,越多的数据备份,则有越多的数据块能够共同承担上层访问的压力,从而负载较低,而越少的数据备份则刚好相反,对于一个文件而言,由于其上层访问取决于用户,对于动态冷热副本区分模块而言无法干预,因此动态冷热副本区分模块利用数据块负载的概念,通过调节副本数目达到适应上层访问的最终目的。

(3)本申请方案采用冷数据独立磁盘列阵模块,对于大数据的云计算而言,最核心的机制取决于数据块的负载抽象和计算,数据块的负载直接决定了数据块的副本数目、磁盘的负载、节点的负载,而磁盘的负载是多磁盘调度器的核心参数,节点的负载则会影响任务调度的优先级,进一步影响副本具体增加的位置,而采用冷数据独立磁盘列阵模块则会改变该节点的任务负载,从而解决了大数据云计算中数据倾斜所带来的冗余问题,将冗余降低至最低值,减少大数据云计算服务器的负载,提高大数据云计算的速度。

图3是根据本申请实施例的一种数据处理方法的数据执行流程示意图,如图3所示,该流程主要包括如下步骤:

(1)多个数据库被分配给多个服务器进行网络互联,映射技术进行数据分析的过程中对每条数据分片进行逐一分析;

(2)信息采集模块针对每次访问,需要记录的数据:本次访问的文件名、文件划分后的数据块所处节点位置以及此次访问的时间;

需要说明的是,采集文件的访问信息的格式为<文件名,list<访问时间>>,访问信息用于进行文件热度划分,文件名与文件的切分数据块所处节点位置的映射关系用于热度计算,根据文件数据块分布和该文件热度,对节点热度进行计算,从而支持后续任务调度器进行均衡节点负载的功能。

(3)映射任务的输入通常是文本数据,初始的键值对是,通过映射端将一个或者多个的键值对重新映射为有意义的二元组;

需要说明的是,映射的输出结果会进行分区划分,之后传送到固态驱动器中的一个缓冲区中,每当缓冲区将被写满80%时,后台进程会将当前缓冲区中数据,写入硬盘驱动器。当所有的映射输入都已完成之后,硬盘驱动器中可能存在多个临时缓冲区文件,需要对这些缓冲文件进行合并,在合并过程中,则保证最终合并文件的各个分区之内的数据是严格按照键值进行排序的。

可以理解的是,为了保证海量数据处理的速度,所有映射输出的键值对,都根据键值进行严格升序排列,严格升序排列的优点在于方便归约数据对某键值对进行快速查找,提高了用户对结果键值对的快速查询。

(4)映射端处理数据的时候有多个归约存在,需要将一种映射数据发送到相应归约任务的分区中,每一个分区会保证其中的数据映射到唯一的归约任务中,映射任务输出的键值对则会根据键值归属于唯一的一个分区;

(5)重组将超出可用固态驱动器存储空间的数据拷贝到硬盘驱动器中作为临时文件,所述归约的结果以键值对的形式进行组织写入到服务器端。

可以理解的是,拷贝阶段会导致归约端接受大量的映射结果,由于分割在多个不同的文件中,在所有的拷贝都完成后需要对这些文件进行全局合并,由此产生最终的归约输入数据,对于具有相同的键值的键值对,将其进行聚合,使其成为一个由键值索引的值组,此时重组端已完成映射输出结果到归约端的传输过程。

图4是根据本申请实施例的一种数据处理方法的数据流示意图,如图4所示,该流程主要包括如下步骤:

(1)由于映射端处理数据的时候有多个归约存在,需要将映射数据发送到相应归约任务的分区中,如图4所示的固态驱动器中的分区A、分区B、分区C、分区D,每一个分区会保证其中的数据映射到唯一的归约任务中,映射任务输出的键值对则会根据键值归属于唯一的一个分区,重组端将超出可用固态驱动器存储空间的数据拷贝到硬盘驱动器中作为临时文件,例如,图4中的临时文件A、临时文件B、临时文件C及临时文件D;

(2)在拷贝阶段会导致归约端接受大量的映射结果,由于分割在多个不同的文件中,在所有的拷贝都完成后需要对这些文件进行全局合并,由此产生归约输入数据;

(3)将归约输入数据输入至归约任务。

图5是根据本申请实施例的一种数据处理方法的装置结构示意图,如图5所示,该装置包括:

获取模块50,用于获取各个数据节点传入的各个数据;

映射模块52,用于根据映射关系将各个数据映射存入至对应的数据分片;

确定模块54,用于确定存储区域的优先级,其中,存储区域包括:固态驱动器以及硬盘驱动器,将数据分片中存储的数据优先输入到固态驱动器中的多个缓冲区域,在固态驱动器的缓冲区域的占用率达到预设阈值后,将剩余数据写入硬盘驱动器。

该装置中,获取模块50,用于获取各个数据节点传入的各个数据;映射模块52,用于根据映射关系将各个数据映射存入至对应的数据分片;确定模块54,用于确定存储区域的优先级,其中,存储区域包括:固态驱动器以及硬盘驱动器,将数据分片中存储的数据优先输入到固态驱动器中的多个缓冲区域,在固态驱动器的缓冲区域的占用率达到预设阈值后,将剩余数据写入硬盘驱动器,达到了减少大数据云计算存储过程中数据冗余的目的,从而实现了降低热数据竞争以及避免冷数据存储资源浪费的技术效果,进而解决了由于大数据在云计算的过程中对多用户、多任务和多优先级的访问流产生的访问数据倾斜现象造成的存储数据发生严重倾斜,以及引发热数据竞争和冷数据存储资源浪费技术问题。

根据本申请实施例的另一方面,还提供了一种非易失性存储介质,非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行任意一种数据处理方法。

具体地,上述存储介质用于存储以下功能的程序指令,实现以下功能:

获取各个数据节点传入的各个数据;根据映射关系将各个数据映射存入至对应的数据分片;确定存储区域的优先级,其中,存储区域包括:固态驱动器以及硬盘驱动器;将数据分片中存储的数据优先输入到固态驱动器中的多个缓冲区域,在固态驱动器的缓冲区域的占用率达到预设阈值后,将剩余数据写入硬盘驱动器。

可选地,在本实施例中,上述存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。上述存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

在本申请一示例性实施例中,还提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现上述任一项数据处理方法。

可选地,该计算机程序在被处理器执行时可实现如下步骤:

获取各个数据节点传入的各个数据;根据映射关系将各个数据映射存入至对应的数据分片;确定存储区域的优先级,其中,存储区域包括:固态驱动器以及硬盘驱动器;将数据分片中存储的数据优先输入到固态驱动器中的多个缓冲区域,在固态驱动器的缓冲区域的占用率达到预设阈值后,将剩余数据写入硬盘驱动器。

根据本申请的实施例提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述任一项数据处理方法。

可选地,上述电子设备还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入设备输出设备和上述处理器连接。

图6是根据本申请实施例的一种示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如数据处理方法。例如,在一些实施例中,数据处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的数据处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。

上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。

在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

相关技术
  • 数据处理方法、装置、计算机可读存储介质和电子设备
  • 路由数据处理方法、装置、电子设备及存储介质
  • 数据处理方法及装置、电子设备、存储介质
  • 屏幕布局数据处理方法、装置、电子设备及存储介质
  • 网页操作数据的处理方法、装置、电子设备及存储介质
  • 数据加密处理方法、数据解密处理方法、装置、电子设备及可读存储介质
  • 数据处理方法、功耗数据处理方法、存储介质和电子设备
技术分类

06120115889319