一种生态环境数据资源管理方法及系统
文献发布时间:2023-06-19 09:47:53
技术领域
本发明涉及数据管理技术领域,特别涉及一种生态环境数据资源管理方法及系统。
背景技术
目前,生态环境方面的业务系统繁多,数据多样化、分散化,给大数据工作带来了一定的难度。
现有技术中,申请号为:CN201911324564.X,发明名称为:一种数据资源管理平台及方法的专利,重点在于解决电力系统数据协调性差的问题,为用户提供数据检索服务,但是在数据采集方法、编目、质量管理方面未深入表述,未建立数据模型及数据服务发布。申请号为:CN201811614555.X,发明名称为:生态环境数据资源共享方法及装置的专利,重点描述了查询数据及获取的过程,但是在数据采集、数据目录、数据治理、数服务方面涉及不深。
因此,亟需一套生态环境数据资源管理系统及管理方法,对生态环境数据的生产、交换、应用、存档等过程进行监督管理,最大化发挥数据的利用价值。解决以往主数据分散存储、版本不统一、无法统一统计口径等问题,降低环境数据资源管理的运维成本,提升环境管理效率。
发明内容
本发明提供一种生态环境数据资源管理方法及系统,可提高环境数据管理效率。
为了解决上述技术问题,本发明的技术方案为:
第一方面,本发明实施例提供一种生态环境数据资源管理方法,包括以下步骤:
通过多用户接口方式采集生态环境数据信息;
基于预设数据资源目录,将所述生态环境数据信息进行分类存储;
将所述分类存储后的生态环境数据信息进行数据治理;
将所述数据治理后的生态环境数据信息进行可视化展示。
优选地,所述将所述分类存储后的生态环境数据信息进行数据治理,具体为:对所述分类存储后的生态环境数据信息进行主数据和元数据的梳理;基于预设数据标准,对所述分类存储后的生态环境数据信息进行数据标准管理和数据质量管理;基于预设模型,对所述分类存储后的生态环境数据信息进行数据模型管理。
优选地,所述基于预设数据资源目录,将所述生态环境数据信息进行分类存储,具体为:基于预设数据资源目录,将所述生态环境数据信息分类存储到:环境质量数据库、污染源数据库、生态保护数据库、核与安全数据库及综合管理数据库。
优选地,所述通过多用户接口方式采集生态环境数据信息,具体为:通过手动录入、文档导入、网络抓取和业务对接的方式采集生态环境数据信息。
优选地,还包括步骤:通过对数据链路、交换接口状态、数据更新时间、服务期状态进行数据监控,发现异常及时报警。
第二方面,本发明实施例还提供一种生态环境数据资源管理系统,包括:
数据采集模块,用于通过多用户接口方式采集生态环境数据信息;
数据存储模块,用于基于预设数据资源目录,将所述生态环境数据信息进行分类存储;
数据治理模块,用于将所述分类存储后的生态环境数据信息进行数据治理;
数据服务模块,用于将所述数据治理后的生态环境数据信息进行可视化展示。
优选地,所述数据治理模块中,将所述分类存储后的生态环境数据信息进行数据治理,具体为:对所述分类存储后的生态环境数据信息进行主数据和元数据的梳理;基于预设数据标准,对所述分类存储后的生态环境数据信息进行数据标准管理和数据质量管理;基于预设模型,对所述分类存储后的生态环境数据信息进行数据模型管理。
优选地,所述数据存储模块中,基于预设数据资源目录,将所述生态环境数据信息进行分类存储,具体为:基于预设数据资源目录,将所述生态环境数据信息分类存储到:环境质量数据库、污染源数据库、生态保护数据库、核与安全数据库及综合管理数据库。
优选地,所述数据采集模块中,通过多用户接口方式采集生态环境数据信息,具体为:通过手动录入、文档导入、网络抓取和业务对接的方式采集生态环境数据信息。
优选地,还包括数据监控模块,用于通过对数据链路、交换接口状态、数据更新时间、服务期状态进行数据监控,发现异常及时报警。
采用上述技术方案,设计了多用户接口方式采集生态环境数据信息,实现了底层数据的集成和融合,实现了数据的集中统一管理,制定了一套生态环境数据资源目录,促进了数据的分级分类和优化管理。并将分类存储后的生态环境数据信息进行数据治理,大大提高了生态环境数据的管理效率。
附图说明
图1为本发明实施例所提供的一种生态环境数据资源管理方法的流程图;
图2为本发明实施例所提供的一种生态环境数据资源管理系统的结构框图;
图3为本发明实施例所提供的一种生态环境数据资源管理系统的具体架构图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是,对于这些实施方式的说明用于帮助理解本发明,但并不构成对本发明的限定。此外,下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
第一方面,本发明实施例提供一种生态环境数据资源管理方法,如图1所示,包括以下步骤:
步骤S101、通过多用户接口方式采集生态环境数据信息;
步骤S102、基于预设数据资源目录,将生态环境数据信息进行分类存储;
其中,预设数据资源目录,包括:涉及水环境、大气环境、土壤环境、污染源管理、声环境、辐射和危险固体废物管理、生态环境、综合管理、政务管理等9个方面的数据资源目录。
步骤S103、将分类存储后的生态环境数据信息进行数据治理;
步骤S104、将数据治理后的生态环境数据信息进行可视化展示。
具体地说,通过资源目录发布数据服务,对外提供可视化数据支撑服务,包括16个GIS图层、30类数据资源服务,在生态环境的信息资源综合展示平台上展示。将视频资源、监测数据、污染源信息、报表等各类数据,通过海量数据可视化展示、大数据分析展示、数据动态化展示等多种方式实现扁平化管理和展示。需要共享的数据需要通过平台进行对接或者通过平台记录对接记录进行共享的管理。数据拥有方通过授权使数据使用方能够看到数据接口和相关的业务数据。
采用上述技术方案,设计了多用户接口方式采集生态环境数据信息,实现了底层数据的集成和融合,实现了数据的集中统一管理,制定了一套生态环境数据资源目录,促进了数据的分级分类和优化管理。并将分类存储后的生态环境数据信息进行数据治理,大大提高了生态环境数据的管理效率。
进一步地,还包括对采集的生态环境数据信息基于标准规范进行质量校验,对质量校验后的数据进行后续的分级分类存储的操作。这样可以进一步提升数据的质量,提高数据的管理效率。
优选地,步骤S103中:将分类存储后的生态环境数据信息进行数据治理,具体为:对分类存储后的生态环境数据信息进行主数据和元数据的梳理;基于预设数据标准,对分类存储后的生态环境数据信息进行数据标准管理和数据质量管理;基于预设模型,对分类存储后的生态环境数据信息进行数据模型管理。
这里先介绍几个概念。
数据(Data):对事实、概念或指令的一种形式化表示,适于人工或自动方式进行通信、解释或处理。
元数据(Metadata):又称中介数据、中继数据,为描述数据的数据(data aboutdata),主要是描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
主数据(MD Master Data):指系统间共享数据(例如,客户、供应商、账户和组织部门相关数据)。
作为一种优选的实施方式,还包括对分类存储后的生态环境数据信息进行数据安全管理、数据价值管理和数据共享管理。
优选地,步骤S102中:基于预设数据资源目录,将生态环境数据信息进行分类存储,具体为:基于预设数据资源目录,将生态环境数据信息分类存储到:环境质量数据库、污染源数据库、生态保护数据库、核与安全数据库及综合管理数据库。
具体地说,所有采集数据根据数据资源目录进行分类分级存储。所有数据入库管理,最后形成涉及水环境、大气环境、土壤环境、污染源管理、声环境、辐射和危险固体废物管理、生态环境、综合管理、政务管理等9个方面的数据资源。具体如下:
(1)水环境数据包括地表水管理、饮用水管理、水环境功能区划、水污染防治。
(2)大气环境数据包括大气环境质量、扬尘监测、大气污染防治、大气环境功能区划。
(3)土壤环境数据包括土壤环境功能区划、土壤修复、土壤环境监测、土壤污染防治、地块管理、用地信息采集。
(4)污染源管理包括机动车污染防治、污染源监测、行政审批、环境统计、行政处罚。
(5)声环境数据包括功能区噪声、道路交通噪声、区域噪声。
(6)辐射和危险固体废物管理包括危险废物管理、辐射环境管理。
(7)生态环境包括生态规划、农村环境整治、生态创建。
(8)综合管理包括宣传教育、法律法规、标准管理、舆情管理。
(9)政务管理包括:财务、档案管理、合同管理、信息公开、办公自动化。
将这9个方面的数据资源形成5个数据库的入库管理,5个数据库即:环境质量数据库、污染源数据库、生态保护数据库、核与安全数据库及综合管理数据库。
优选地,步骤S101中:通过多用户接口方式采集生态环境数据信息,具体为:通过手动录入、文档导入、网络抓取和业务对接的方式采集生态环境数据信息。
具体地说,收集生态环境数据信息资源,数据来源于业务系统、文档数据、总结报告、报表等。数据采集方式包括页面录入、数据库互联、API接入、excel表格导入等方式。
优选地,还包括步骤:通过对数据链路、交换接口状态、数据更新时间、服务期状态进行数据监控,发现异常及时报警。
第二方面,本发明实施例还提供一种生态环境数据资源管理系统,如图2所示,包括:
数据采集模块21,用于通过多用户接口方式采集生态环境数据信息;
数据存储模块22,用于基于预设数据资源目录,将生态环境数据信息进行分类存储;
数据治理模块23,用于将分类存储后的生态环境数据信息进行数据治理;
数据服务模块24,用于将数据治理后的生态环境数据信息进行可视化展示。
优选地,数据治理模块23中,将分类存储后的生态环境数据信息进行数据治理,具体为:对分类存储后的生态环境数据信息进行主数据和元数据的梳理;基于预设数据标准,对分类存储后的生态环境数据信息进行数据标准管理和数据质量管理;基于预设模型,对分类存储后的生态环境数据信息进行数据模型管理。
优选地,数据存储模块22中,基于预设数据资源目录,将生态环境数据信息进行分类存储,具体为:基于预设数据资源目录,将生态环境数据信息分类存储到:环境质量数据库、污染源数据库、生态保护数据库、核与安全数据库及综合管理数据库。
优选地,数据采集模块21中,通过多用户接口方式采集生态环境数据信息,具体为:通过手动录入、文档导入、网络抓取和业务对接的方式采集生态环境数据信息。
优选地,还包括数据监控模块,用于通过对数据链路、交换接口状态、数据更新时间、服务期状态进行数据监控,发现异常及时报警。
其中,各个模块的具体架构图如图3所示。
以上结合附图对本发明的实施方式作了详细说明,但本发明不限于所描述的实施方式。对于本领域的技术人员而言,在不脱离本发明原理和精神的情况下,对这些实施方式进行多种变化、修改、替换和变型,仍落入本发明的保护范围内。
- 一种生态环境数据资源管理方法及系统
- 一种用于生态环境数据分析的水资源数据获取系统