一种特定场景下的数据共享方法及系统

技术领域

本发明涉及数据共享技术领域，尤其涉及一种特定场景下的数据共享方法及系统。

背景技术

数据共享就是让在不同地方使用不同计算机、不同软件的用户能够读取他人数据并进行各种操作、运算和分析。实现数据共享，可以使更多的人更充分地使用已有数据资源，减少资料收集、数据采集等重复劳动和相应费用，而把精力重点放在开发新的应用程序及系统集成上。由于不同用户提供的数据可能来自不同的途径，其数据内容、数据格式和数据质量千差万别，因而给数据共享带来了很大困难，有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息的棘手问题，严重地阻碍了数据在各部门和各软件系统中的流动与共享。

如申请号为CN201410413558.2的专利公开了一种数据共享装置和数据共享系统，装置包括：账号配置模块，用于配置用户账号和所述用户账号的权限，以及分配接入系统的接入标识和所述接入系统的接入标识的权限；基础数据导入模块，用于接收基础数据，所述基础数据包括出租屋数据、流动人口、建筑物数据和企业数据；信用档案存储模块，用于存储出租屋的信用记录、建筑物的信用记录和企业的信用记录；查询统计模块，用于基础数据的查询接口，流动人口的数据统计接口，以及信用记录的查询接口；同步模块，用于根据所述接入系统的接入标识及对应的权限，将基础数据和信用档案同步给所述接入系统的接入标识所对应的接入系统。该方案虽然能提高数据的利用率，但是系统时效性和通用性不高，不能支持大量数据文件进行共享，且系统的扩展性不强，不能开展定制的个性化服务。

发明内容

本发明的目的在于克服现有技术的不足，提供一种特定场景下的数据共享方法及系统，灵活地定制开放数据服务，零代码完成数据共享服务开放。

本发明的目的是通过以下技术方案来实现的：

一种特定场景下的数据共享方法，包括以下步骤：

步骤一：开放数据服务，将数据资源发布为服务目录进行相关数据访问权限的配置，并提供给使用方查阅和提交数据共享服务申请；

步骤二：生成数据，数据共享服务申请通过后生成对应的数据接口或数据文件；

步骤三：安全验证，使用方上传验证参数提交调用接口请求，平台获取接口调用请求后进行安全验证，验证通过后根据接口参数进行数据查询，将查询结果加密后返回给使用方，使用方对返回数据解密并根据解密出的数据下载数据共享文件。

具体的，所述步骤一具体包括以下子步骤：

S11，服务目录发布，将整理好的资源目录发布到服务目录中，在服务目录发布时进行相关权限和内容配置；

S12，服务目录发布完成后，数据使用方根据各个服务目录发布时配置的服务方式及参数申请对应的数据共享服务，在申请通过后，使用方可查阅具体的服务方式。

具体的，所述在服务目录发布时进行相关权限和内容配置的过程具体包括：

S1101，配置数据访问权限，在服务目录发布时，配置数据共享权限，将服务目录配置为支持共享或者不支持共享两种访问方式；

S1102，配置处理方式，将普通处理方式配置为按照访问参数和服务规则生成相应的数据，并将采用第三方服务处理方式配置为特殊数据共享场景下采用第三方服务进行处理；

S1103，服务类型配置，将发布服务目录时该目录可支持的服务类型配置为仅支持接口共享、仅支持文件共享、两种共享方式均支持中的三种支持方式中的一种；

S1104，在文件共享时，配置生成共享文件的周期和更新频率，并在接口共享时，配置共享接口参数条件。

具体的，所述第三方服务的服务内容包括：以微服务的方式开发，并支持自动注册到Nacos；提供调用接口，支持设计器调用并接收接口请求参数；根据使用方查询需求，组装最终查询语句并返回设计器。

具体的，所述步骤二具体包括：当申请接口数据共享时，按照申请单服务名称生成对应的RESTFul数据接口；当申请文件数据共享时，按照申请单内容提供每天全量/每月全量/按时间增量三种数据文件生成方式。

一种特定场景下的数据共享系统，包括服务目录发布模块、数据生成模块、安全验证模块和文件下载模块；其中，服务目录发布模块用于将数据资源发布为服务目录进行相关数据访问权限的配置，并提供给使用方查阅和提交数据共享服务申请；数据生成模块用于数据共享服务申请通过后生成对应的数据接口或数据文件；安全验证模块用于根据获取接口调用请求后进行安全验证，验证通过后根据接口参数进行数据查询，将查询结果加密后返回给使用方；文件下载模块用于使用方上传验证参数提交调用接口请求，并对返回数据解密同时根据解密出的数据下载数据共享文件。

本发明的有益效果：

1.共享内存大，大数据量10000条以上（可配置）的数据共享采用生成数据文件的方式，防止内存溢出；10000条以内（可配置）的数据共享可通过接口和文件两种方式共享。

2.时效性高，由于生成数据文件需要进行读取、写文件、解析文件等一系列步骤，存在数据共享的时延性。因此，时效性要求高时，通过接口的方式共享；不要求实时共享时，通过文件的方式共享。

3.安全性高，在数据共享申请通过后，会生成对应的用户密钥。同时，用户远程调用接口时会进行用户及密钥的验证，验证通过后返回加密的数据，用户可通过下载解密包对数据进行解密。

4.扩展性强，对于特殊需求的数据共享，如在数据共享前需要进行聚合计算等，平台提供定制化数据共享服务，满足特殊的数据共享计算函数。

5.通用性好，生成服务目录可灵活自定义配置相关条件参数。

附图说明

图1是本发明的设备原理框图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。

本实施例中，如图1所示，一种特定场景下的数据共享方法，包括以下步骤：

步骤一：开放数据服务，将数据资源发布为服务目录进行相关数据访问权限的配置，并提供给使用方查阅和提交数据共享服务申请；

步骤二：生成数据，数据共享服务申请通过后生成对应的数据接口或数据文件；

步骤三：安全验证，使用方上传验证参数提交调用接口请求，平台获取接口调用请求后进行安全验证，验证通过后根据接口参数进行数据查询，将查询结果加密后返回给使用方，使用方对返回数据解密并根据解密出的数据下载数据文件。

其中，获取接口数据过程中，数据共享服务申请通过后，可直接调用接口获取数据。在调用接口时，必须按照接口请求参数传入“必填参数”，包括用户登录账号、平台生成的秘钥、目录配置的必填参数；以及目录配置的可选参数、分页码、每页记录数。

平台收到接口调用请求后，首先验证用户登录账号及秘钥是否正确，再按照必填参数是否完整，验证通过后根据接口参数进行数据查询，最终返回加密后结果。

用户在收到平台返回的数据后需要使用解密私钥对数据进行解密后使用。解密方法及解密私钥均可在相关的“查看服务方式”页面查看下载。

在数据资源申请过程中，服务目录发布完成后，数据使用方即可申请数据共享服务。根据各个服务目录发布时配置的服务方式及参数，可支持申请的方式不同。

关于查看服务方式，数据共享服务申请通过后，可查看具体的服务方式。其中文件方式数据共享支持即时下载数据文件；接口方式数据共享生成RESTFul数据接口。不同用户申请同一数据服务对应的用户秘钥不同。

在使用方获取数据文件过程中，平台提供两种数据文件获取方式：

1）用户登录平台后，可在数据共享页面查看生成的文件列表，可通过平台提供文件的下载功能直接下载。

2）用户以SFTP的方式从文件目录中批量获取数据文件。目录地址可在“查看服务方式”页面查看。

具体的，所述步骤一具体包括以下子步骤：

S11，服务目录发布，将整理好的资源目录发布到服务目录中，在服务目录发布时进行相关权限和内容配置；

S12，服务目录发布完成后，数据使用方根据各个服务目录发布时配置的服务方式及参数申请对应的数据共享服务，在申请通过后，使用方可查阅具体的服务方式。

具体的，所述在服务目录发布时进行相关权限和内容配置的过程具体包括：

S1101，配置数据访问权限，在服务目录发布时，配置数据共享权限，将服务目录配置为支持共享或者不支持共享两种访问方式；

S1102，配置处理方式，将普通处理方式配置为按照访问参数和服务规则生成相应的数据，并将采用第三方服务处理方式配置为特殊数据共享场景下采用第三方服务进行处理，如Sum、Group by、Count等数据计算函数，共享计算后的结果等场景；

S1103，服务类型配置，将发布服务目录时该目录可支持的服务类型配置为仅支持接口共享、仅支持文件共享、两种共享方式均支持中的三种支持方式中的一种；

S1104，在文件共享时，配置生成共享文件的周期和更新频率，并在接口共享时，配置共享接口参数条件。

具体的，所述第三方服务的服务内容包括：以微服务的方式开发，并支持自动注册到Nacos；提供调用接口，支持设计器调用并接收接口请求参数；根据使用方查询需求，组装最终查询语句并返回设计器。平台接收第三方服务返回的查询语句，通过语句的合法性及安全校验，验证后进行数据查询、数据共享。

具体的，所述步骤二具体包括：当申请接口数据共享时，按照申请单服务名称生成对应的RESTFul数据接口；当申请文件数据共享时，按照申请单内容提供每天全量/每月全量/按时间增量三种数据文件生成方式。其中，每天全量生成方式是指每天生成数据表全量数据文件；每月全量生成方式是指每月生成数据表全量数据文件；按时间增量生成方式是指根据某个时间字段生成增量数据文件。

本发明中，一种特定场景下的数据共享系统，包括服务目录发布模块、数据生成模块、安全验证模块和文件下载模块；其中，服务目录发布模块用于将数据资源发布为服务目录进行相关数据访问权限的配置，并提供给使用方查阅和提交数据共享服务申请；数据生成模块用于数据共享服务申请通过后生成对应的数据接口或数据文件；安全验证模块用于根据获取接口调用请求后进行安全验证，验证通过后根据接口参数进行数据查询，将查询结果加密后返回给使用方；文件下载模块用于使用方上传验证参数提交调用接口请求，并对返回数据解密，同时根据解密出的数据下载数据共享文件。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。