一种数据资产的上架处理方法及装置

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据资产的上架处理方法及装置。

背景技术

数据作为国家基础性战略资源和关键生产要素，是经济社会发展的基础资源和创新引擎。实现数据资产的优化配置，是促进产业升级的关键因素。但目前数据普遍存在分布不均衡和信息不对称等问题，导致数据无法充分发挥其价值。数据共享机制打破数据壁垒和垄断，成为未来金融业发展的趋势和方向。

联邦数据，一种新兴的数据共享模式，其宗旨是数据不动模型动，既保证了数据的绝对安全性，也支持模型在无损的情况下进行训练。联邦学习作为分布式的机器学习范式，可以支持多个数据拥有方的数据在不出域的情况下进行建模，在联邦机制下，利用隐私安全计算技术，各参与方的数据不发生转移，因此不会泄漏用户隐私或者影响数据规范，是一种在保护数据隐私、满足合法合规的要求下解决数据孤岛问题的有效措施，联邦学习技术的引入为分布式数据共享治理提供了有力的技术支持。

然而，由于数据的可复制性使得数据的共享保护和确权溯源难度极大，导致利益分配不均及担责不明等问题，同时，在数据共享流通中，还会引入数据权利边界不清、权益分配规则不明、及数据共享中的安全隐患等问题，这些因素阻碍了数据共享业务的开展。

针对相关技术由于数据的可复制性使得数据的共享保护和确权溯源难度极大的问题，尚未提出解决方案。

发明内容

本发明实施例提供了一种数据资产的上架处理方法及装置，以至少解决相关技术由于数据的可复制性使得数据的共享保护和确权溯源难度极大的问题。

根据本发明的一个实施例，提供了一种数据资产的上架处理方法，包括：

确定数据资产的依赖关系；

通过智能合约将所述数据资产的资产信息与所述依赖关系以日志的形式上传到区块链中。

可选地，确定数据资产的依赖关系包括：

通过有向无环图确定数据资产的依赖关系，其中，所述有向无环图中的每个参与方节点携带有数据资产提供方的身份ID。

可选地，通过有向无环图确定数据资产的依赖关系包括：

基于所述有向无环图，通过ParentOf和ChildOf确定所述数据资产的依赖关系，其中，所述数据资产包括操作、数据以及模型，所述依赖关系包括以下至少之一：数据通过操作得到新的数据，对一个或多个数据通过操作得到模型，数据与模型通过操作得到新的模型，一个或多个模型通过操作得到新的模型，多个操作形成新的操作。

可选地，通过智能合约将所述数据资产的资产信息与所述依赖关系以日志的形式上传到区块链中包括：

通过所述智能合约执行事件event的形式将日志信息写入所述区块链，其中，所述日志信息中携带有所述数据资产的资产信息与所述依赖关系。

可选地，通过所述智能合约执行事件event的形式将日志信息写入所述区块链包括：

通过执行所述智能合约定义的客户端与所述区块链之间交互的功能，触发相应的注册事件Register event；

将所述日志信息存储到所述区块链上。

可选地，将所述日志信息存储到所述区块链上包括：

将所述数据资产的元数据信息存储到所述区块链中；

通过IPFS将所述数据资产的IPFS地址存储到所述区块链中；

通过ParentOf和ChildOf将所述依赖关系存储到所述区块链中。

可选地，所述方法还包括：

将所述数据资产通过addAsset函数进行注册；

通过对所述数据资产进行哈希处理生成所述资产数据的资产ID，其中，所述资产信息包括元数据、数据描述、所述资产ID。

根据本发明的又另一个实施例，还提供了一种数据资产的上架处理装置，包括：

确定模块，用于确定数据资产的依赖关系；

上传模块，用于通过智能合约将所述数据资产的资产信息与所述依赖关系以日志的形式上传到区块链中。

可选地，所述确定模块包括：

确定子模块，用于通过有向无环图确定数据资产的依赖关系，其中，所述有向无环图中的每个参与方节点携带有数据资产提供方的身份ID。

可选地，所述确定子模块，还用于

基于所述有向无环图，通过ParentOf和ChildOf确定所述数据资产的依赖关系，其中，所述数据资产包括操作、数据以及模型，所述依赖关系包括以下至少之一：数据通过操作得到新的数据，对一个或多个数据通过操作得到模型，数据与模型通过操作得到新的模型，一个或多个模型通过操作得到新的模型，多个操作形成新的操作。

可选地，所述上传模块包括：

写入子模块，用于通过所述智能合约执行事件event的形式将日志信息写入所述区块链，其中，所述日志信息中携带有所述数据资产的资产信息与所述依赖关系。

可选地，所述写入子模块包括：

触发单元，用于通过执行所述智能合约定义的客户端与所述区块链之间交互的功能，触发相应的注册事件Register event；

存储单元，用于将所述日志信息存储到所述区块链上。

可选地，所述存储单元，还用于

将所述数据资产的元数据信息存储到所述区块链中；

通过IPFS将所述数据资产的IPFS地址存储到所述区块链中；

通过ParentOf和ChildOf将所述依赖关系存储到所述区块链中。

可选地，所述装置还包括：

注册模块，用于将所述数据资产通过addAsset函数进行注册；

生成模块，用于通过对所述数据资产进行哈希处理生成所述资产数据的资产ID，其中，所述资产信息包括元数据、数据描述、所述资产ID。

根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，确定数据资产的依赖关系；通过智能合约将所述数据资产的资产信息与所述依赖关系以日志的形式上传到区块链中，可以解决相关技术由于数据的可复制性使得数据的共享保护和确权溯源难度极大的问题，通过引入区块链技术对数据资产进行上架，通过区块链使得数据可以安全共享，通过区块链存储数据资产的资产信息的同时存储数据资产的依赖关系，为数据溯源提供了技术支持。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的数据资产的上架处理方法的移动终端的硬件结构框图；

图2是根据本发明实施例的数据资产的上架处理方法的流程图；

图3是根据本发明实施例的数据资产的依赖关系的示意图一；

图4是根据本发明实施例的数据资产的依赖关系的示意图二；

图5是根据本发明实施例的数据资产的依赖关系的示意图三；

图6是根据本发明实施例的数据资产的依赖关系的示意图四；

图7是根据本发明实施例的数据资产的依赖关系的示意图五；

图8是根据本发明实施例的数据资产的上架处理装置的框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

实施例1

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的数据资产的上架处理方法的移动终端的硬件结构框图，如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的数据资产的上架处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于上述移动终端或网络架构的数据资产的上架处理方法，图2是根据本发明实施例的数据资产的上架处理方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，确定数据资产的依赖关系；

本发明实施例中，上述步骤S202具体可以包括：通过有向无环图确定数据资产的依赖关系，其中，所述有向无环图中的每个参与方节点携带有数据资产提供方的身份ID。进一步的，基于所述有向无环图，通过ParentOf和ChildOf确定所述数据资产的依赖关系，其中，所述数据资产包括操作、数据以及模型，所述依赖关系包括以下至少之一：数据通过操作得到新的数据，对一个或多个数据通过操作得到模型，数据与模型通过操作得到新的模型，一个或多个模型通过操作得到新的模型，多个操作形成新的操作。

步骤S204，通过智能合约将所述数据资产的资产信息与所述依赖关系以日志的形式上传到区块链中。

本发明实施例中，上述步骤S204具体可以包括：通过所述智能合约执行事件event的形式将日志信息写入所述区块链，其中，所述日志信息中携带有所述数据资产的资产信息与所述依赖关系。进一步的，通过执行所述智能合约定义的客户端与所述区块链之间交互的功能，触发相应的注册事件Register event；将所述日志信息存储到所述区块链上，具体的，将所述数据资产的元数据信息存储到所述区块链中；通过IPFS将所述数据资产的IPFS地址存储到所述区块链中；通过ParentOf和ChildOf将所述依赖关系存储到所述区块链中。

通过上述步骤S202至S204，确定数据资产的依赖关系；通过智能合约将所述数据资产的资产信息与所述依赖关系以日志的形式上传到区块链中，可以解决相关技术由于数据的可复制性使得数据的共享保护和确权溯源难度极大的问题，通过引入区块链技术对数据资产进行上架，通过区块链使得数据可以安全共享，通过区块链存储数据资产的资产信息的同时存储数据资产的依赖关系，为数据溯源提供了技术支持。

在一可选的实施例中，将所述数据资产通过addAsset函数进行注册；通过对所述数据资产进行哈希处理生成所述资产数据的资产ID，其中，所述资产信息包括元数据、数据描述、所述资产ID。

本实施例提出了一种溯源模型，可以支持开发流程的全生命周期跟踪，包括数据转化、数据和数据的交互、数据和模型的交互、以及模型的转化等。同时，引入了有向无环图(DAG)来辅助溯源模型进行跟踪和流程展示。

溯源模型将人工智能资产归并为三类：operation、dataset、model，然后定义两种关系：ParentOf和ChildOf，来表述资产之间的依赖关系。DAG图的构建是通过将人工智能资产作为节点，关系作为边来实现的。Operation是指任何可执行的算法，包括数据和模型转换、机器学习、深度学习等。图3是根据本发明实施例的数据资产的依赖关系的示意图一，如图3所示，Dataset是指任何数字化信息，数据可以通过一系列的操作形成新的数据。图4是根据本发明实施例的数据资产的依赖关系的示意图二，如图4所示，模型是指由一个或者多个数据训练得到的；图5是根据本发明实施例的数据资产的依赖关系的示意图三，如图5所示，也可以是基于已有模型和数据得到的新的模型，图6是根据本发明实施例的数据资产的依赖关系的示意图四，如图6所示，同时不同模型的组合经过操作也可以得到新的模型，图7是根据本发明实施例的数据资产的依赖关系的示意图五，如图7所示，不同的操作可以形成新的操作等。为了便于跟踪每个阶段参与的人员，透明化权责界限，无回路有向图(Directed Acyclic Graph，简称为DAG)的每个节点还将导出提供者或者操作者的ID信息。

溯源模型是由区块链的智能合约技术进行实现的，通过定义智能合约将信息以日志的形式进行链上记录，这些信息一旦上传将不能被篡改。智能合约以执行event的形式将日志写入区块链，且客户应用程序可以监听这些事件。智能合约定义并公开了客户端将与之交互的功能，通过执行这些功能来出发相应的event，从而将日志存储到区块链上。由于区块链一般的存储空间有限，所以引入星际文件系统(InterPlanetary File System，简称为IPFS)作为存储模块。智能合约提供的可调用的函数描述如下：

addAsset，注册一个新的人工智能资产，函数的调用者将自动被指定为维护者；

transferAsset，资产维护者将资产的所有权从区块链上的用户转移到另一个用户；

addIPFS，将资产上传到IPFS，并提供相应的IPFS地址；

requestAccess，申请资产访问权限，所有的用户都有权限进行此操作；

grantAccess，资产维护者对申请者授予访问权限；

getAsset，获取某类资产，所有用户拥有此权限；

uploadAsset，上传某类资产，所有用户拥有此权限；

getMaintainer，获取某个资产的维护者，所有的用户都有权限进行此操作。

一个新的人工智能资产通过addAsset函数进行注册，并且通过对资产进行哈希处理生成相应的assetIdentifier；用户可以通过meta-information获取资产的详细信息，并通过IPFS地址检索资产；另外，每一个资产将提供相应的Parent信息，以便获取资产的此刻之前的所有流转信息。

上述的方法一旦运行将触发相应的event将日志信息上链，实现溯源模型的跟踪功能，具体的event包括：

event Register(asset_id,metadata)

event IPFS(asset_id,IPFS_addr)

event NewMaintainer(asset_id,previous_maintainer)

event ParentOf(asset_id,parent_id)

event ChildOf(asset_id,childOf)

event GetAsset(asset_id,acquisitor，maintainer)

event UploadAsset(assent_id,uploader)

event RequestAccess(asset_id,accessor)

event GrantAccess(asset_id,accessor)

通过执行Register将资产的元数据信息进行存储，IPFS将存储资产的IPFS地址，ParentOf和ChildOf将确保DAG的无环特性。NewMaintainer只适用于更换资产维护者的情况。GetAsset以加密的方式获取资产，RequestAccess和GrantAccess也是通过加密的方式将信息进行交换以确保信息的安全性。

实施例2

根据本发明的又另一个实施例，还提供了一种数据资产的上架处理装置，图8是根据本发明实施例的数据资产的上架处理装置的框图，如图8所示，包括：

确定模块82，用于确定数据资产的依赖关系；

上传模块84，用于通过智能合约将所述数据资产的资产信息与所述依赖关系以日志的形式上传到区块链中。

可选地，所述确定模块82包括：

确定子模块，用于通过有向无环图确定数据资产的依赖关系，其中，所述有向无环图中的每个参与方节点携带有数据资产提供方的身份ID。

可选地，所述确定子模块，还用于

基于所述有向无环图，通过ParentOf和ChildOf确定所述数据资产的依赖关系，其中，所述数据资产包括操作、数据以及模型，所述依赖关系包括以下至少之一：数据通过操作得到新的数据，对一个或多个数据通过操作得到模型，数据与模型通过操作得到新的模型，一个或多个模型通过操作得到新的模型，多个操作形成新的操作。

可选地，所述上传模块84包括：

写入子模块，用于通过所述智能合约执行事件event的形式将日志信息写入所述区块链，其中，所述日志信息中携带有所述数据资产的资产信息与所述依赖关系。

可选地，所述写入子模块包括：

触发单元，用于通过执行所述智能合约定义的客户端与所述区块链之间交互的功能，触发相应的注册事件Register event；

存储单元，用于将所述日志信息存储到所述区块链上。

可选地，所述存储单元，还用于

将所述数据资产的元数据信息存储到所述区块链中；

通过IPFS将所述数据资产的IPFS地址存储到所述区块链中；

通过ParentOf和ChildOf将所述依赖关系存储到所述区块链中。

可选地，所述装置还包括：

注册模块，用于将所述数据资产通过addAsset函数进行注册；

生成模块，用于通过对所述数据资产进行哈希处理生成所述资产数据的资产ID，其中，所述资产信息包括元数据、数据描述、所述资产ID。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，确定数据资产的依赖关系；

S2，通过智能合约将所述数据资产的资产信息与所述依赖关系以日志的形式上传到区块链中。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

实施例4

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，确定数据资产的依赖关系；

S2，通过智能合约将所述数据资产的资产信息与所述依赖关系以日志的形式上传到区块链中。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。