一种基于城市大脑的数据共享方法及系统

技术领域

本发明涉及数据传输领域，具体涉及一种基于城市大脑的数据共享方法及系统。

背景技术

城市大脑就是基于城市所产生的数据资源，利用人工智能、大数据、区块链、5G、物联网等新一代信息技术，为城市交通治理、公共安全、应急管理、网格防控、医疗卫生、旅游、环境保护、城市精细化管理等构建的一个人工智能中枢，推动建设并打通各类城市数字化管理平台，利用实时全量的城市数据，即时修正运行短板，优化城市公共资源，实现城市治理模式、服务模式和数字产业发展的高质量突破。

目前各个公司对于大数据系统的使用,多集中在开发人员对数据的采集、传递、存储、获取、使用的五个步骤中,并未涉及应用该系统进行数据共享的构建。

发明内容

针对上述技术问题，本发明提供一种基于城市大脑的数据共享方法及系统，在原有系统的基础上增加系统的利用率,增加数据共享的功能,实现公司或机构内部的数据共享,实现对系统中非公开数据的细粒度的访问控制。

本发明解决上述技术问题的技术方案如下：

一种基于城市大脑的数据共享方法，包括：

数据上传终端将文件按照设定的属性集合加密上传到文件系统上；

数据消费终端向所述文件系统发送检索请求；

所述文件系统在接收到所述检索请求时，确认所述数据消费终端的用户属性是否属于所述属性集合；若所述用户属性属于所述属性集合，则允许所述数据消费终端下载并解密所述文件。

进一步，所述数据上传终端将文件按照设定的属性集合加密上传到文件系统上，具体包括：

所述数据上传终端使用加密算法对文件进行加密，得到加密文件；提取所述文件的访问策略关键词；使用公钥加密算法加密所述加密算法的密钥，得到公钥加密明文；向授权中心获取属性集合中全部属性的属性公钥；使用所述属性公钥加密所述密钥；将所述加密文件、公钥加密明文和所述访问策略关键词存入文件系统。

进一步，若所述用户属性属于所述属性集合，还包括：

所述数据消费终端从所述文件系统下载并解密所述文件。

进一步，所述数据消费终端解密所述文件的过程，具体包括：

所述数据消费终端从所述授权中心获取相应的属性私钥；使用所述属性私钥对所述公钥加密明文进行解密,得到所述加密算法的密钥；使用所述密钥对所述加密文件进行解密，得到所述文件。

进一步，所述授权中心包括多个属性授权节点服务器，所述属性私钥分散保存在所述多个属性授权节点服务器中。

进一步，所述数据消费终端从所述授权中心获取相应的属性私钥，具体包括：

所述数据消费终端通过与所述授权中心进行匿名密钥交互协议，从所述授权中心中获取相应的属性私钥。

进一步，所述数据消费终端通过与所述授权中心进行匿名密钥交互协议，从所述授权中心中获取相应的属性私钥，具体包括：

所述数据消费终端随机选取

所述授权中心从

所述数据消费终端计算

所述授权中心验证是否有

所述授权中心随机选取

所述授权中心随机产生

所述多个授权中心按照下列公式计算参数并发送给所述数据消费终端：

所述数据消费终端验证等式

所述数据消费终端按照下列公式计算得到自己的属性私钥：

为实现上述发明目的，本发明还提供一种基于城市大脑的数据共享系统，其特征在于，包括：

数据上传终端，用于将文件按照设定的属性集合加密上传到文件系统上；

数据消费终端，用于向所述文件系统发送检索请求；

所述文件系统，用于在接收到所述检索请求时，确认所述数据消费终端的用户属性是否属于所述属性集合；若所述用户属性属于所述属性集合，则允许所述数据消费终端下载并解密所述文件。

进一步，所述数据上传终端，具体用于：

使用加密算法对文件进行加密，得到加密文件；提取所述文件的访问策略关键词；使用公钥加密算法加密所述加密算法的密钥，得到公钥加密明文；向授权中心获取属性集合中全部属性的属性公钥；使用所述属性公钥加密所述密钥；将所述加密文件、公钥加密明文和所述访问策略关键词存入文件系统。

进一步，所述数据消费终端，还用于若所述用户属性属于所述属性集合，则从所述文件系统下载并解密所述文件。

本发明的有益效果是：

1、改进了文件传输的一对一,一对多(群组)的数据共享方式,而采取更加灵活的共享方式，用户在分享数据时，不必关注于分享数据给哪些人，而专注于可以有哪些条件的用户可以看到文件的真实数据；

2、增加了数据文件传输过程中的安全性与隐私性,对于传输文件较大时，相比单独发送和网盘文件传输,使用文件系统供用户自行下载并解密，在安全性和效率上更有优势。

附图说明

图1为本发明实施例提供的一种基于城市大脑的数据共享方法的流程图；

图2为Hadoop生态的架构图；

图3是本发明方法中的用户上传数据和用户下载解密数据的流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

首先系统中的数据分为公开数据和非公开数据两部分：

公开数据用于数据统计分析，设计的组件有Hive、Spark等，其中Hive在这里提供离线的数据分析，可将数据分为ods、dw、以及ads层，进行任务调度实现数据的导入，清洗，以及统计，服务于决策。 Spark提供计算功能可以结合kafka等消息中间件实现实时的计算，同时也提供了机器学习的Mlib包，供用户调用。

非公开数据:本方案主要针对非公开数据进行共享，上传者指定一部分属性集作为自己的访问策略，仅满足该策略的用户可以拿到这部分数据的明文数据，即用户上传的加密数据，首先将加密数据的存储路径，以及密文文件结构最后一部分中附带的明文关键字存储于ES（Elasticsearch，搜索和数据分析引擎）上，可以允许用户第一时间通过检索来查询自己收到了哪些可以访问的文件，进行文件的下载，用户向授权中心交互获取自己的私钥，进行本地解密客户端的解密，看到文件的明文信息。

图1为本发明实施例提供的一种基于城市大脑的数据共享方法的流程图，如图1所示，该方法包括：

100、数据上传终端将文件按照设定的属性集合加密上传到文件系统上；

120、数据消费终端向所述文件系统发送检索请求；

140、所述文件系统在接收到所述检索请求时，确认所述数据消费终端的用户属性是否属于所述属性集合；若所述用户属性属于所述属性集合，则允许所述数据消费终端下载并解密所述文件。

在该实施例中，用户在向文件系统上传文件时，可设定属性集合，这样，该属性集合中的用户属性对应的用户即可从文件系统中下载该文件，从而在进行非公开数据共享时，实现基于用户属性的细粒度访问控制。

具体的，可通过授权中心AA来负责监管整个系统中的用户的所有属性，用户进行交互证明，为自己监管的属性集合中的属性颁发私钥，防止用户间的合谋攻击，并对外公布属性公钥。

文件系统可采用基于Hadoop的HDFS系统，用以负责存储与计算的能力，公开数据可以进行存储和计算分析，而非公开的数据只用来进行数据的共享。

数据上传者将想要通知的文件或数据按照一定属性集合(访问策略，仅有满足该属性集中的所有属性的用户才可以解密)加密上传到HDFS系统上，系统会将该文件路径与访问策略关键词上传至ES上用于检索。

数据消费者通过ES的检索，用户找到自己能解密的相关文件，通过文件路径进行下载，随后用户与AA进行交互，获取自己的属性的私钥。随后用户的解密分为两部分，第一部分是对于公钥密码算法的解密，即我们4部分的解密算法，获取的M即为对称加密算法AES的密钥。第二部分是通过AES的密钥解密经过AES加密的文件，通过本地客户端输入加密文件，输入AES密钥，进行解密获取文件消息。

图2为本方法实施例中的Hadoop生态的架构图，包含用到的相关组件。

可选地，在该实施例中，步骤100具体包括：

1001、所述数据上传终端使用加密算法对文件进行加密，得到加密文件；

1002、提取所述文件的访问策略关键词；

1003、使用公钥加密算法加密所述加密算法的密钥，得到公钥加密明文；

1004、向授权中心获取属性集合中全部属性的属性公钥；

1005、使用所述属性公钥加密所述密钥；将所述加密文件、公钥加密明文和所述访问策略关键词存入文件系统。

具体的，如图3所示，用户在上传文件时，为了加密效率起见，可使用混合加密，即用AES加密具体的文件，而后使用公钥加密算法加密AES加密算法的密钥key。首先，用户设定自己想对哪些属性的用户发送文档而不需要知道具体的用户是谁(例如，对A机构的B职位的C岗位的所有人发送)，随后向授权中心获取这些属性公钥，用这些公钥来加密key，最后附带具体文件中的明文关键词，最后存入HDFS系统的数据有三块：AES加密的具体文件、公钥加密明文(该明文为AES的密钥)和具体文件的访问策略关键词，即密文结构为：AES加密的文件

可选地，在该实施例中，该方法还包括：

160、若所述用户属性属于所述属性集合，所述数据消费终端从所述文件系统下载并解密所述文件。

具体的，步骤160中数据消费终端解密所述文件的过程，具体包括：

1601、所述数据消费终端从所述授权中心获取相应的属性私钥；

1602、使用所述属性私钥对所述公钥加密明文进行解密,得到所述加密算法的密钥；

1603、使用所述密钥对所述加密文件进行解密，得到所述文件。

如图3所示，用户通过检索自己相关属性的关键词，查看当前是否有自己可以解密的文件公布，如果有文件，则通过HDFS系统上的路径进行下载，随后对数据的第二块，结合自己的属性私钥进行解密，获得AES的key，再通过本地客户端，上传第一块的AES加密文件和AES的key，解密获得具体明文消息。

本实施例中的加解密算法的具体说明如下：

系统建立

授权机构建立

加密

密钥生成

其中私钥

解密

至此，方案实现非公开数据的细粒度的访问控制。随后关键点在于用户如何获取属性私钥，针对此问题，可选地，在该实施例中，所述授权中心包括多个属性授权节点服务器，所述属性私钥分散保存在所述多个属性授权节点服务器中。

其中，可以设置三台属性授权节点服务器，负责用户属性私钥的分发，用户需要与服务器进行匿名密钥交互协议，来证明其拥有哪个属性，随后授权节点为用户生成属性私钥。

该实施例中，借鉴区块链去中心化的思想，将授权节点扩展为多个进行权力分散，这时只有多个节点全部被黑客控制时，系统中的数据安全性才会受到影响，增加了系统的抗风险能力。

并且，由于单个授权中心会存在系统压力过大，以及权力过大，系统稳定性低的缺点，本方案使用多中心的授权机构，实现负载均衡，让多个授权节点来分担属性认证工作。

可选地，在该实施例中，步骤1601具体包括：

所述数据消费终端通过与所述授权中心进行匿名密钥交互协议，从所述授权中心中获取相应的属性私钥。

用户在获取属性私钥的时候与授权节点之间进行的匿名密钥交互协议如下：

（1） 用户

（2） AA选取

（3） 用户计算

（4） AA验证是否有

随后AA需要向用户证明他知道

a)AA随机产生

b) 用户选择

c)AA按照下列公式计算

d) 用户验证等式

e) 最后，用户可以通过计算得到自己的私钥

该实施例中，采用了匿名的密钥交互协议，该协议可以保证用户在与授权中心交互时，身份信息的隐藏，采用零知识证明，承诺方案等实现该协议，可以实现用户与授权节点交互过程中的关于属性信息的隐私保护。

实例1：基于城市大脑的大数据平台数据共享系统

1公司/机构整体文件发布，通过集成的客户端，勾选属性，进行对应属性的加密，

2将加密完后文件，附带访问策略关键词上传的Hadoop系统上，

3此时员工小Q通过ES检索系统，查看到自己属性(A公司，B职位)的关键词有对应的文件；

4小Q通过ES检索得到的文件路径，再通过文件路径去HDFS系统上下载文件到本地

5小Q与Hadoop系统中的三台授权节点，通过匿名交互协议交互获取自己属性(A公司，B职位)对应的私钥，仅获取一次，可重复使用该属性私钥。

6随后小Q在本地解密客户端输入自己的私钥和下载的文件，点击解密按钮，获取文件的信息。成功完成消息传递。

本发明的技术关键点在于：

1、集成了hadoop生态系统的存储计算能力与属性基加密方案的细粒度访问控制以及混合加密的高效性。

2、实现了便捷的文件发放，并不需要具体的指定文件接收人，甚至通过匿名密钥交互协议可以实现用户与授权节点交互过程中的关于属性信息的隐私保护(其中有关于零知识证明，承诺方案的密码学工具的使用)。

利用本发明提供的方法在Hadoop系统中进行数据共享，具有以下优点：

1、改进了文件传输的一对一，一对多(群组)的数据共享方式的，而采取更加灵活的共享方式，使用不必关注于分享数据给哪些人，而专注于可以有哪些条件的用户可以看到文件的真实数据；

2、增加了数据文件传输过程中的安全性与隐私性，对于传输文件较大时相比单独发送和网盘文件传输，使用HDFS系统用户自行下载，本地客户端解密在安全性和效率上更有优势。

3、增加了系统的抗风险能力，借鉴区块链去中心化的思想，将授权节点扩展为多个进行权力分撒，这时只有多个节点全部被黑客控制时，系统中的数据安全性才会受到影响；

4、采用匿名的密钥交互协议，该协议可以保证用户在与授权中心交互时，身份信息的隐藏，采用零知识证明，承诺方案等实现该协议。

本发明实施例提供一种基于城市大脑的数据共享系统，该系统中各个组成模块的功能原理已在前述内容中进行了说明，以下不再赘述。

该系统包括：

数据上传终端，用于将文件按照设定的属性集合加密上传到文件系统上；

数据消费终端，用于向所述文件系统发送检索请求；

所述文件系统，用于在接收到所述检索请求时，确认所述数据消费终端的用户属性是否属于所述属性集合；若所述用户属性属于所述属性集合，则允许所述数据消费终端下载并解密所述文件。

可选地，在该实施例中，所述数据上传终端，具体用于：

使用加密算法对文件进行加密，得到加密文件；提取所述文件的访问策略关键词；使用公钥加密算法加密所述加密算法的密钥，得到公钥加密明文；向授权中心获取属性集合中全部属性的属性公钥；使用所述属性公钥加密所述密钥；将所述加密文件、公钥加密明文和所述访问策略关键词存入文件系统。

可选地，在该实施例中，所述数据消费终端，还用于若所述用户属性属于所述属性集合，则从所述文件系统下载并解密所述文件。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述系统实施例中的模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。