一种数据处理方法、装置、电子设备及存储介质
文献发布时间:2023-06-19 11:08:20
技术领域
本公开涉及数据处理技术领域,进一步涉及联邦学习技术,尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
数据是一种重要的生产资料,为了进一步挖掘数据价值,需要将不同机构的数据进行联合分析或者联合建模,以产生新的数据价值,创造新的业务形态。考虑到数据隐私、数据安全等监管需求,跨机构数据合作会面临很多新的挑战。
图1是现有技术中跨机构数据合作方式的结构示意图。如图1所示,常见的跨机构的数据合作方式主要有三种,分别是:方式1:纵向联邦XXY式,一方提供X1、X2,另外一方提供X3、X4和Y。方式2:纵向联邦XY式,一方提供X,另外一方提供Y。方式3:受控隔离式,一方提供数据,另外一方不提供数据,仅分析数据。
上述方式1和方式2为联邦学习方案,该方案选用梯度交换(Federated Learning,简称FL)、多方安全计算(Secure multi-party computation,简称MPC)和可执行环境(Trusted Execution Environment,简称TEE)等;该方案在跨机构合作的场景下,并不是特别高效。上述方式3为隔离域计算方案,合作双方在相互之间无法信任的情况下,为了进行数据安全融合,寻找一个独立的可信的第三方环境,并基于网络安全技术构建一套隔离域环境,双方将各自拥有的数据放到隔离域中,双方均可以对数据操作进行监控和审计,以确保数据分析人员的所有行为均符合双方预先约定好的原则。该方案在跨机构合作的场景下,也不是特别高效。
发明内容
本申请提供了一种数据处理方法、装置、电子设备及存储介质,可以更加高效地实现跨机构的数据合作,安全可控,节省成本,避免资源浪费。
根据本申请的第一方面,提供了一种数据处理方法,应用于计算方,所述方法包括:
通过数据方的联邦计算代理从所述数据方获取待处理数据的元数据;其中,所述元数据表示所述待处理数据的特征;
根据所述待处理数据的元数据,在所述计算方的联邦计算代理上生成所述待处理数据的数据分析逻辑;
将所述待处理数据的数据分析逻辑发送至所述数据方;使得所述数据方基于所述待处理数据的数据分析逻辑计算所述待处理数据在各个数据处理工具下对应的结果产出;其中,所述结果产出包括:结果数据和产出日志。
根据本申请的第二方面,提供了另一种数据处理方法,应用于数据方,所述方法包括:
通过计算方的联邦计算代理向所述计算方发送待处理数据的元数据;其中,所述元数据表示所述待处理数据的特征;
接收所述计算方发送的基于所述待处理数据的元数据生成的所述待处理数据的数据分析逻辑;
基于所述待处理数据的数据分析逻辑计算所述待处理数据在各个数据处理工具下对应的结果产出;其中,所述结果产出包括:结果数据和产出日志。
根据本申请的第三方面,提供了一种数据处理装置,所述装置包括:数据获取模块、逻辑生成模块和逻辑发送模块;其中,
所述数据获取模块,用于通过数据方的联邦计算代理从所述数据方获取待处理数据的元数据;其中,所述元数据表示所述待处理数据的特征;
所述逻辑生成模块,用于根据所述待处理数据的元数据,在所述计算方的联邦计算代理上生成所述待处理数据的数据分析逻辑;
所述逻辑发送模块,用于将所述待处理数据的数据分析逻辑发送至所述数据方;使得所述数据方基于所述待处理数据的数据分析逻辑计算所述待处理数据在各个数据处理工具下对应的结果产出;其中,所述结果产出包括:结果数据和产出日志。
根据本申请的第四方面,提供了另一种数据处理装置,所述装置包括:数据发送模块、逻辑接收模块和结果计算模块;其中,
所述数据发送模块,用于通过计算方的联邦计算代理向所述计算方发送待处理数据的元数据;其中,所述元数据表示所述待处理数据的特征;
所述逻辑接收模块,用于接收所述计算方发送的基于所述待处理数据的元数据生成的所述待处理数据的数据分析逻辑;
所述结果计算模块,用于基于所述待处理数据的数据分析逻辑计算所述待处理数据在各个数据处理工具下对应的结果产出;其中,所述结果产出包括:结果数据和产出日志。
根据本申请的第五方面,提供了一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本申请任意实施例所述的数据处理方法。
根据本申请的第六方面,提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现本申请任意实施例所述的数据处理方法。
根据本申请的第七方面,提供了一种计算机程序产品,当所述计算机程序产品被计算机设备执行时实现本申请任意实施例所述的数据处理方法。
根据本申请的技术解决了现有技术中的联邦学习方案和隔离域计算方案,在跨机构合作的场景下,都不是特别高效的技术问题,本申请提供的技术方案,可以更加高效地实现跨机构的数据合作,安全可控,节省成本,避免资源浪费。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是现有技术中跨机构数据合作方式的结构示意图;
图2是本申请实施例提供的数据处理方法的第一流程示意图;
图3是本申请实施例提供的微隔离系统的结构示意图;
图4是本申请实施例提供的数据处理方法的第二流程示意图;
图5是本申请实施例提供的数据处理方法的第三流程示意图;
图6是本申请实施例提供的数据处理装置的第一结构示意图;
图7是本申请实施例提供的数据处理装置的第二结构示意图;
图8是用来实现本申请实施例的数据处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
实施例一
图2是本申请实施例提供的数据处理方法的第一流程示意图,该方法可以由数据处理装置或者计算方的电子设备来执行,该装置或者计算方的电子设备可以由软件和/或硬件的方式实现,该装置或者计算方的电子设备可以集成在任何具有网络通信功能的智能设备中。如图2所示,数据处理方法可以包括以下步骤:
S201、通过数据方的联邦计算代理从数据方获取待处理数据的元数据;其中,元数据表示待处理数据的特征。
在本步骤中,计算方可以通过数据方的联邦计算代理从数据方获取待处理数据的元数据;其中,元数据表示待处理数据的特征。具体地,本申请实施例中的元数据包括但不限于:数据仓库的名称、存储于数据仓库中的数据表的名称、数据表的字段名称、字段类型(String、Integer等)和行数等。
S202、根据待处理数据的元数据,在计算方的联邦计算代理上生成待处理数据的数据分析逻辑。
在本步骤中,计算方可以根据待处理数据的元数据,在计算方的联邦计算代理上生成待处理数据的数据分析逻辑。具体地,计算方可以对接收到的待处理数据的元数据进行分析,得到待处理数据的元数据的分析结果;然后根据待处理数据的元数据的分析结果,生成待处理数据的数据分析逻辑。
S203、将待处理数据的数据分析逻辑发送至数据方;使得数据方基于待处理数据的数据分析逻辑计算待处理数据在各个数据处理工具下对应的结果产出;其中,结果产出包括:结果数据和产出日志。
在本步骤中,计算方可以将待处理数据的数据分析逻辑发送至数据方;使得数据方基于待处理数据的数据分析逻辑计算待处理数据在各个数据处理工具下对应的结果产出;其中,结果产出包括:结果数据和产出日志。具体地,数据方可以先通过数据方的联邦计算代理的调度器对待处理数据的数据分析逻辑的语法和语义进行分析,得到待处理数据的数据分析逻辑所使用的至少一个数据处理工具;然后使用该至少一个数据处理工具对待处理数据进行处理,得到待处理数据在各个数据处理工具下对应的结果产出。
图3是本申请实施例提供的微隔离系统的结构示意图。如图3所示,微隔离系统可以包括:计算方(Agent A)、数据方(Agent B)和协调方(Coordinator);计算方和数据方通过各自的联邦计算代理传送和接收数据;计算方的联邦计算代理为Proxy A;数据方的联邦计算代理为Proxy B。同时,计算方和数据方通过各自的协同计算代理分别与协调方传送和接收数据。本申请中的微隔离系统采用软件即服务(Software-as-a-Service,简称SaaS)和私有化的分布式部署架构,其中协调方是SaaS部署,而Agent A和Agent B则采用私有化部署,用户部署的时候仅需要部署属于自己的Agent,然后按照系统引导完成必要的系统配置即可。
本申请提出的微隔离方案是一种新型的隔离域技术,其中不涉及多方安全计算、联邦学习等隐私计算技术。微隔离系统提供对隔离域数据进行远程安全操作的统一入口,对隔离域数据的任务提交、授权执行、授权结果输出通过WEB界面实现轻量化、快速接入的统一管理。对于业务方而言只需部署联邦计算的计算节点,不需要很大的业务改造成本,即可实现数据不出域、数据可用不可见基础上的多方安全协同计算。本申请中的微隔离方案推荐配合“网闸”等技术一起实现,以实现更高的数据安全保护级别。在这种情况下,数据方的敏感数据和数据处理设施(Hadoop、Spark、Paddle等)均放置于“网闸”内,“网闸”可以保证数据只进不出。微隔离系统作为隔离域数据出域的唯一途径,这样如果需要出域则需经过微隔离系统的授权审批。
本申请实施例提出的数据处理方法,先通过数据方的联邦计算代理从数据方获取待处理数据的元数据;然后根据待处理数据的元数据,在计算方的联邦计算代理上生成待处理数据的数据分析逻辑;再将待处理数据的数据分析逻辑发送至数据方;使得数据方基于待处理数据的数据分析逻辑计算待处理数据在各个数据处理工具下对应的结果产出。也就是说,本申请中的计算方无需获取数据方中的敏感数据,计算方先根据敏感数据的元数据生成数据分析逻辑,然后数据方基于该数据分析逻辑即可计算出敏感数据在各个数据处理工具对应的结果产出。而在现有的数据合作方式中,联邦学习方案和隔离域计算方案,在跨机构合作的场景下,都不是特别高效。因为本申请采用了计算方先根据敏感数据的元数据生成数据分析逻辑,然后数据方基于该数据分析逻辑计算敏感数据在各个数据处理工具下对应的结果产出的技术手段,克服了现有技术中的联邦学习方案和隔离域计算方案,在跨机构合作的场景下,都不是特别高效的技术问题,本申请提供的技术方案,可以更加高效地实现跨机构的数据合作,安全可控,节省成本,避免资源浪费;并且,本申请实施例的技术方案实现简单方便、便于普及,适用范围更广。
实施例二
图4是本申请实施例提供的数据处理方法的第二流程示意图,该方法可以由数据处理装置或者数据方的电子设备来执行,该装置或者数据方的电子设备可以由软件和/或硬件的方式实现,该装置或者数据方的电子设备可以集成在任何具有网络通信功能的智能设备中。如图4所示,数据处理方法可以包括以下步骤:
S401、通过计算方的联邦计算代理向计算方发送待处理数据的元数据;其中,元数据表示待处理数据的特征。
在本步骤中,数据方可以通过计算方的联邦计算代理向计算方发送待处理数据的元数据;其中,元数据表示待处理数据的特征。具体地,本申请实施例中的元数据包括但不限于:数据仓库的名称、存储于数据仓库中的数据表的名称、数据表的字段名称、字段类型(String、Integer等)和行数等。
S402、接收计算方发送的基于待处理数据的元数据生成的待处理数据的数据分析逻辑。
在本步骤中,数据方可以接收计算方发送的基于待处理数据的元数据生成的待处理数据的数据分析逻辑。具体地,计算方可以对接收到的待处理数据的元数据进行分析,得到待处理数据的元数据的分析结果;然后根据待处理数据的元数据的分析结果,生成待处理数据的数据分析逻辑。
S403、基于待处理数据的数据分析逻辑计算待处理数据在各个数据处理工具下对应的结果产出;其中,结果产出包括:结果数据和产出日志。
在本步骤中,数据方可以基于待处理数据的数据分析逻辑计算待处理数据在各个数据处理工具下对应的结果产出;其中,结果产出包括:结果数据和产出日志。具体地,数据方可以先通过数据方的联邦计算代理的调度器对待处理数据的数据分析逻辑的语法和语义进行分析,得到待处理数据的数据分析逻辑所使用的至少一个数据处理工具;然后使用该至少一个数据处理工具对待处理数据进行处理,得到待处理数据在各个数据处理工具下对应的结果产出。
在本申请的具体实施例中,数据方可以通过预先部署的微隔离系统接收计算方发送的数据传输指令;其中,数据传输指令包括至少一个数据处理工具对应的标识;若数据方对数据传输指令审批通过,则通过预先创建的文件传输通道将待处理数据在至少一个数据处理工具下对应的结果数据传送至计算方。此外,数据方还可以通过预先部署的微隔离系统接收计算方发送的日志查看申请;其中,日志查看申请包括至少一个数据处理工具对应的标识;若数据方对日志查看申请审批通过,则通过预先设置的应用程序接口向计算方提供待处理数据在至少一个数据处理工具下对应的产出日志。
本申请实施例提出的数据处理方法,数据方通过计算方的联邦计算代理向计算方发送待处理数据的元数据;然后接收计算方发送的基于待处理数据的元数据生成的待处理数据的数据分析逻辑;再基于待处理数据的数据分析逻辑计算待处理数据在各个数据处理工具下对应的结果产出。也就是说,本申请中的计算方无需获取数据方中的敏感数据,计算方先根据敏感数据的元数据生成数据分析逻辑,然后数据方基于该数据分析逻辑即可计算出敏感数据在各个数据处理工具对应的结果产出。而在现有的数据合作方式中,联邦学习方案和隔离域计算方案,在跨机构合作的场景下,都不是特别高效。因为本申请采用了计算方先根据敏感数据的元数据生成数据分析逻辑,然后数据方基于该数据分析逻辑计算敏感数据在各个数据处理工具下对应的结果产出的技术手段,克服了现有技术中的联邦学习方案和隔离域计算方案,在跨机构合作的场景下,都不是特别高效的技术问题,本申请提供的技术方案,可以更加高效地实现跨机构的数据合作,安全可控,节省成本,避免资源浪费;并且,本申请实施例的技术方案实现简单方便、便于普及,适用范围更广。
实施例三
图5是本申请实施例提供的数据处理方法的第三流程示意图。基于上述技术方案进一步优化与扩展,并可以与上述各个可选实施方式进行结合。如图5所示,数据处理方法可以包括以下步骤:
S501、通过计算方的联邦计算代理向计算方发送待处理数据的元数据;其中,元数据表示待处理数据的特征。
S502、接收计算方发送的基于待处理数据的元数据生成的待处理数据的数据分析逻辑。
S503、通过数据方的联邦计算代理的调度器对待处理数据的数据分析逻辑的语法和语义进行分析,得到待处理数据的数据分析逻辑所使用的至少一个数据处理工具。
在本步骤中,数据方可以通过数据方的联邦计算代理的调度器对待处理数据的数据分析逻辑的语法和语义进行分析,得到待处理数据的数据分析逻辑所使用的至少一个数据处理工具。较佳地,数据方在通过数据方的联邦计算代理的调度器对待处理数据的数据分析逻辑的语法和语义进行分析之前,还可以先通过数据方的审批单元对待处理数据的数据分析逻辑进行审批;若对待处理数据的数据分析逻辑审批通过,则将待处理数据的数据分析逻辑提交给调度器。
S504、使用至少一个数据处理工具对待处理数据进行处理,得到待处理数据在各个数据处理工具下对应的结果产出;其中,结果产出包括:结果数据和产出日志。
在本申请的一个实施例中,数据方(Agent B)将自己的数据通过联邦计算代理接入到微隔离系统,并将待处理数据的元数据(例如:数据表有哪些字段、每个字段的数据类型是String还是Integer等)告诉计算方(Agent A);计算方(Agent A)参照数据方(AgentB)发送的待处理数据的元数据,在自己的联邦计算代理上编写数据分析逻辑,并将该数据分析逻辑通过联邦计算代理进行提交。数据方(Agent B)审核计算方(Agent A)的数据分析逻辑,审批(Approval)通过后,该数据分析逻辑被交给联邦计算代理的调度器(Scheduler)进行解析并调度。调度器通过分析数据分析逻辑的语法和语义,分析出数据分析逻辑所使用的数据处理工具(Hadoop、Spark、Tensor Flow等),并按照数据分析逻辑的上下文语义自动调起所涉及的数据处理工具,对数据分析逻辑所涉及的数据(DB)进行分析处理。
在本申请的具体实施例中,数据方(Agent B)的结果产出可以包括两个部分,一个是最终结果数据(Result),另外一个是数据处理工具所产生的日志(Logs)。如果计算方(Agent A)想获取数据方(Agent B)的结果数据(Result),则需要通过微隔离系统创建一个明确的数据传输指令,等待数据方(Agent B)审批后,通过微隔离系统的文件传输通道将结果数据(Result)从数据方(Agent B)传送至计算方(Agent A)。
此外,如果计算方(Agent A)想获取数据方(Agent B)的日志(Logs),则需要通过微隔离系统向数据方(Agent B)申请日志查看授权,获批后可以通过特定的应用程序接口(Application Programming Interface,简称API)查看日志(Logs),这样可实现日志实时查看,为系统调试等提供便利。
与传统的隔离域方案相比,本申请提出的数据处理方法的主要优势是:1、轻量化部署,可视化易用:微隔离方案允许数据方的隔离域环境无需大规模改造,计算方通过微隔离系统远程对隔离数据进行建模开发、大数据挖分析,同时满足隔离域的安全隔离机制。联邦计算产品流程实现WEB界面操作,支持任务提交、授权、执行生成结果等业务流程,为多方安全数据协同提供更低门槛的方式。微隔离系统的部署可以在2个小时内完成,而传统隔离域部署交付大约需要4个月时间。2、“白盒”审查,安全可控:微隔离域内所执行的所有代码,均需要数据所有者事前审批,且能够实现“一事一批”。数据所有者知晓并审批数据分析者对数据的所有操作。相对于传统隔离域仅审批最终数据结果,而数据操作采用事后审计的做法,微隔离属于“白盒”安全。3、资源复用,避免浪费:传统隔离域需要在第三方重建一套Hadoop、Spark等大数据基础实施,这需要大量的服务器等硬件资源投入,而BFC则可充分利用数据方已有的资源,基于BFC安全机制以实现数据安全可控。
与联邦学习、多方安全计算等隐私计算相比,本申请提出的数据处理方法的主要优势是:1、数据平台原生支持,无需修改代码即可运行:微隔离模式能过充分利用数据方的多种数据处理基础平台,包括现有的大数据处理平台(Hadoop、Spark等)、深度学习和机器学习平台(Paddle、TensorFlow等)、传统数据分析软件(SAS、SPSS、Mathematics等),用户代码几乎不需要修改即可运行,兼容性好。2、充分利用硬件资源,运行效率高:微隔离模式不依赖密码学、TEE等技术,因此可以充分利用本地的硬件资源(GPU、FPGA等)和分布式框架,进行大规模训练与迭代,快速产生结果。
本申请实施例提出的数据处理方法,数据方通过计算方的联邦计算代理向计算方发送待处理数据的元数据;然后接收计算方发送的基于待处理数据的元数据生成的待处理数据的数据分析逻辑;再基于待处理数据的数据分析逻辑计算待处理数据在各个数据处理工具下对应的结果产出。也就是说,本申请中的计算方无需获取数据方中的敏感数据,计算方先根据敏感数据的元数据生成数据分析逻辑,然后数据方基于该数据分析逻辑即可计算出敏感数据在各个数据处理工具对应的结果产出。而在现有的数据合作方式中,联邦学习方案和隔离域计算方案,在跨机构合作的场景下,都不是特别高效。因为本申请采用了计算方先根据敏感数据的元数据生成数据分析逻辑,然后数据方基于该数据分析逻辑计算敏感数据在各个数据处理工具下对应的结果产出的技术手段,克服了现有技术中的联邦学习方案和隔离域计算方案,在跨机构合作的场景下,都不是特别高效的技术问题,本申请提供的技术方案,可以更加高效地实现跨机构的数据合作,安全可控,节省成本,避免资源浪费;并且,本申请实施例的技术方案实现简单方便、便于普及,适用范围更广。
实施例四
图6是本申请实施例提供的数据处理装置的第一结构示意图。如图6所示,所述装置600包括:数据获取模块601、逻辑生成模块602和逻辑发送模块603;其中,
所述数据获取模块601,用于通过数据方的联邦计算代理从所述数据方获取待处理数据的元数据;其中,所述元数据表示所述待处理数据的特征;
所述逻辑生成模块602,用于根据所述待处理数据的元数据,在所述计算方的联邦计算代理上生成所述待处理数据的数据分析逻辑;
所述逻辑发送模块603,用于将所述待处理数据的数据分析逻辑发送至所述数据方;使得所述数据方基于所述待处理数据的数据分析逻辑计算所述待处理数据在各个数据处理工具下对应的结果产出;其中,所述结果产出包括:结果数据和产出日志。
进一步的,所述装置还包括:结果接收模块604(图中未示出),用于通过预先部署的微隔离系统创建一个数据传输指令;并将所述数据传输指令发送至所述数据方;其中,所述数据传输指令包括至少一个数据处理工具对应的标识;若所述数据方对所述数据传输指令审批通过,则通过预先创建的文件传输通道接收所述待处理数据在所述至少一个数据处理工具下对应的结果数据。
进一步的,所述装置还包括:日志查看模块605(图中未示出),用于通过预先部署的微隔离系统向所述数据方发送日志查看申请;其中,所述日志查看申请包括至少一个数据处理工具对应的标识;若所述数据方对所述日志查看申请审批通过,则通过预先设置的应用程序接口查看所述待处理数据在所述至少一个数据处理工具下对应的产出日志。
上述数据处理装置可执行本申请实施例一所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例一提供的数据处理方法。
实施例五
图7是本申请实施例提供的数据处理装置的第二结构示意图。如图7所示,所述装置700包括:数据发送模块701、逻辑接收模块702和结果计算模块703;其中,
所述数据发送模块701,用于通过计算方的联邦计算代理向所述计算方发送待处理数据的元数据;其中,所述元数据表示所述待处理数据的特征;
所述逻辑接收模块702,用于接收所述计算方发送的基于所述待处理数据的元数据生成的所述待处理数据的数据分析逻辑;
所述结果计算模块703,用于基于所述待处理数据的数据分析逻辑计算所述待处理数据在各个数据处理工具下对应的结果产出;其中,所述结果产出包括:结果数据和产出日志。
进一步的,所述结果计算模块703,具体用于通过所述数据方的联邦计算代理的调度器对所述待处理数据的数据分析逻辑的语法和语义进行分析,得到所述待处理数据的数据分析逻辑所使用的至少一个数据处理工具;使用所述至少一个数据处理工具对所述待处理数据进行处理,得到所述待处理数据在各个数据处理工具下对应的结果产出。
进一步的,所述结果计算模块703,还用于通过所述数据方的审批单元对所述待处理数据的数据分析逻辑进行审批;若对所述待处理数据的数据分析逻辑审批通过,则将所述待处理数据的数据分析逻辑提交给所述调度器。
进一步的,所述装置还包括:结果发送模块704(图中未示出),用于通过预先部署的微隔离系统接收所述计算方发送的数据传输指令;其中,所述数据传输指令包括至少一个数据处理工具对应的标识;若所述数据方对所述数据传输指令审批通过,则通过预先创建的文件传输通道将所述待处理数据在所述至少一个数据处理工具下对应的结果数据传送至所述计算方。
进一步的,所述装置还包括:日志提供模块705(图中未示出),用于通过预先部署的微隔离系统接收所述计算方发送的日志查看申请;其中,所述日志查看申请包括至少一个数据处理工具对应的标识;若所述数据方对所述日志查看申请审批通过,则通过预先设置的应用程序接口向所述计算方提供所述待处理数据在所述至少一个数据处理工具下对应的产出日志。
上述数据处理装置可执行本申请实施例二和实施例三所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例二和实施例三提供的数据处理方法。
实施例六
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示,设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如数据处理方法。例如,在一些实施例中,数据处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的数据处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
- 一种数据处理方法、装置、电子设备和存储介质
- 一种图像数据处理方法、装置、电子设备及其存储介质