一种数字新治理业务的带权限高效模糊检索的方法及应用

技术领域

本发明涉及数据查询技术领域，具体为一种数字新治理业务的带权限高效模糊检索的方法及应用。

背景技术

在现有的基层政府信息系统应用中，存在大量的底账数据、智慧社区建设中产生的社区要素数据，包括房屋、人员、人房关系等，在功能应用中，存在大量的模糊查询应用，目前采用以下的方式以完成数据查询：

1)基于关系数据库的数据查询：将社区要素数据存储于关系型数据库，例如Oracle、MySQL数据库等，，或通过对几个关键字段建立索引，或是将几个关键字段组合拼接成一个字段，通过对该字段建立索引，以达到一定程度的模糊快速查询效果；

2)基于NoSQL数据库的数据查询：将社区要素数据存储于NoSQL数据库，例如HBase、MongoDB，以HBase数据库为例，以列簇式存储，将将几个关键字段组合拼接成一列数据存在一起，以提高数据的查询访问速度；

3)基于全文检索技术的数据查询：将将社区要素数据，利用全文检索技术，将关键数据字段或是全字段内容转化为可处理的信息单元而形成的数据集合。而且还有对全文数据进行词、字、段落等更深层次的编辑、加工的功能，以便应用能进行快速查询应用。

对比以上三种方式，其中基于关系数据库的数据查询方法，结合用户权限数据，组合成带权限的模糊查询方法，该方法存着搜索条件无法进行分词和查询速率较低问题；而基于NoSQL数据库的数据查询方法，结合用户权限数据，组合成带权限的模糊查询方法，该方法存着搜索条件无法进行分词的问题；最后基于全文检索技术的数据查询方法，该方法支持搜索条件分词查询，但是难以支持权限访问。

发明内容

针对上述存在的技术不足，本发明的目的是提供一种数字新治理业务的带权限高效模糊检索的方法及应用，以解决背景技术中提出的问题。

为解决上述技术问题，本发明采用如下技术方案：

本发明提供一种数字新治理业务的带权限高效模糊检索的方法，包括如下步骤：

(1)数据预处理：将原始数据抽取融合，构建标准化数据，存储于数据融合库中，以构建成社区要素数据库，同时通过应用界面功能，支持建立用户与地址之间访问权限；

(2)数据索引建档：从数据库抽取信息的核心字段，按照综合、人口、房屋、单位四种类别，调用Solr接口，完成四类数据的索引数据库的建立(在构建索引文档时，传输地址或地址ID，作为检索的过滤条件)。同时通过定时任务，完成索引数据的新增、修改和删除等操作，以便保持数据库和全文检索的索引数据的一致性。

(3)数据权限访问：对外提供统一访问接口，以完成用户的数据权限和查询访问；首先对访问接口的用户进行验证，同时调用存储于数据库的查看该用户所能访问数据范围，如用户不存在或用户无访问权限，直接返回结果，否则封装相应的访问条件，包括关键字、数据权限和访问类别，获取查询结果，并返回结果，以便前端应用的展示。

步骤(1)中，所述原始数据来源于智慧社区建设系统、现有的历史底账数据或其他来源数据。

步骤(1)中，社区要素数据库包括地址、实有房屋、实有人口和实有单位。

步骤(1)中的数据融合库为MySQL数据库；

步骤(3)中，Solr全文检索的条件如下。

1)关键字；

2)根据更新时间降序排序；

3)分页；

4)高亮配置；

5)类别条件，包括综合、实有人口、实有单位和实有房屋；

6)过滤查询，权限控制，权限指的是登录人所能查看的数据权限；

7)权重设置，对标题匹配成功的优先展示；

步骤(3)中，在数据访问时，结合MYSQL数据库的权限访问和封装访问条件向索引库获取检索数据，具体如下：

1、接受访问接口参数，包括输入查询条件、用户信息；

2、数据权限验证，通过获取的信息，查询MySQL数据库，获取该用户的数据权限；

3、数据检索：将查询条件封装好，调用Solr全文检索应用接口，获取检索数据，封装成JSON格式数据，返回结果。

一种数字新治理业务的带权限高效模糊检索方法的应用，应用于Web应用系统或手机APP，实现数据检索页面功能，为用户提供便捷的检索应用，提供检索输入框和检索类别的选择，在用户填写检索内容和类别选择，点击查询后，即显示查询结果。

一种数字新治理业务的带权限高效模糊检索方法的应用，应用于多系统融合使用。所述数字新治理业务的带权限高效模糊检索方法应用于多系统融合使用，具体步骤如下：

1)数据获取：对具备数据接口的系统，通过调用访问接口方式将数据下载存储到关系数据库；而对于Excel表格方式的数据，通过批量导入功能完成数据梳理并存储到关系数据库；

2)数据抽取融合：多套数据系统的数据融合，采用其中一套数据作为基准数据，其他系统数据与这个系统数据进行比对，以核查关键数据字段为主，建立比对流程，(例如人的数据，就以身份证、姓名、联系方式为主要核实字段)，出现冲突的数据即将数据存储于异常数据库表中，以便通过人工核查后再更新；

3)数据验证：对于出现冲突的数据，系统提供功能界面，显示数据冲突的原因，以便人工通过界面查看和核查数据，更新数据库。

本发明的有益效果在于：

(1)本发明主要采用Solr全文检索技术+MySQL数据库相结合，以MySQL数据库建立用户数据访问权限和社区要素数据(包括人口、房屋、人房关系等)的存储，以Solr全文检索技术建立索引，以支撑数字新治理业务应用的数据访问，让数据访问可控的同时也提高数据查询的效率和便捷性。

(2)本发明结合数字新治理业务应用，对外提供基于社区要素数据(包含人口、房屋、单位、人房关系等)的全文检索访问应用；

(3)本发明支持对用户输入查询关键词进行分词、匹配、排序等一系列的过程后返回用户想要查看的数据；

(4)本发明数据与业务相结合，支持用户对权限范围内的数据进行高效检索和访问。

(5)本发明以关系数据库的权限访问的关系数据，可以及时新增和修改用户的数据访问权限，大大提高系统的可用性和便捷性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为社区要素数据检索访问整体流程图；

图2为社区要素数据权限访问应用流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例：

本发明提供了一种数字新治理业务的带权限高效模糊检索的方法，具体步骤如下：

(1)数据预处理：将原始数据抽取融合，构建标准化数据，存储于数据融合库中，以构建成社区要素数据库，同时通过应用界面功能，支持建立用户与地址之间访问权限；

所述原始数据来源于智慧社区建设系统、现有的历史底账数据等多方数据，社区要素数据库包括地址、实有房屋、实有人口、实有单位等。所述的数据库为MySQL数据库；

(2)数据索引建档：通过数据预处理过程，用户的社区要素数据的访问权限已经建立。本方法主要构建综合查询、人口、房屋、单位等数据的索引文档，以便功能应用的访问。从MySQL数据库抽取数据，分别抽取房屋、人口、单位等信息的核心字段，按照综合、人口、房屋、单位四种类别，调用Solr接口，完成四类数据的索引数据库的建立，其中在构建索引文档时，传输地址或地址ID，作为检索的过滤条件。同时通过定时任务，完成索引数据的新增、修改和删除等操作，以便保持MySQL数据库和全文检索的索引数据的一致性。

(3)数据权限访问：对外提供统一访问接口，以完成用户的数据权限和查询访问。首先对访问接口的用户进行验证，同时调用存储于MySQL数据库的查看该用户所能访问数据范围，如用户不存在或用户无访问权限，直接返回结果，否则封装相应的访问条件，包括关键字、数据权限、访问类别(包括综合、实有人口、实有单位、实有房屋等)，获取查询结果，并返回结果，以便前端应用的展示。

Solr全文检索的条件如下：

1)关键字

2)根据更新时间降序排序

3)分页

4)高亮配置

5)类别条件(0.综合1.实有人口2.实有单位3.实有房屋)

6)过滤查询，权限控制(登录人所能查看的数据权限)

7)权重设置(标题匹配成功优先展示)

4、数据应用：在Web应用系统或APP实现数据检索页面功能，为用户提供便捷的检索应用，页面可以采用简洁的设计，提供检索输入框和检索类别的选择，在用户填写检索内容和类别(包括综合、综合、实有人口、实有单位、实有房屋)选择，点击查询后，即显示查询结果。

所述的多系统融合应用的方法，具体步骤如下：

1)数据获取：对具备数据接口的系统，通过调用访问接口方式将数据下载存储到关系数据库；而对于Excel表格方式的数据，通过批量导入功能完成数据梳理并存在关系数据库；

2)数据抽取融合：多套数据系统的数据融合，采用其中一套数据作为基准数据，其他系统数据与这个系统数据进行比对(以核查关键数据字段为主，建立比对流程，例如人的数据，就以身份证、姓名、联系方式为主要核实字段)，出现冲突的数据即将数据存储于异常数据库表中，以便通过人工核查后再更新；

3)数据验证：对于出现冲突的数据，系统提供功能界面，显示数据冲突的原因，以便人工通过界面查看和核查数据，更新数据库。

图1为社区要素数据检索访问整体流程图，数据来源主要有智能门禁系统、底账数据(Excel表格)，智能微卡口系统等，数据源通过系统适配接口模块或批量导入模块导入，并在数据存储模块进行存储，数据存储模块在通过数据融合存储与与数据融合库中，即MySQL数据库，数据融合库内的数据分为人口基础数据、房屋基础数据、人房关系数据、用户权限访问数据等。再将数据融合库定时抽取数据、并将数据建档存储至索引文档数据库，索引文档数据库包括综合检索数据、实有人口检索数据、实有房屋检索数据和实有单位检索数据，在Web应用系统或APP实现数据应用。

此流程为为社区要素数据预处理、数据索引建档、权限访问和数据应用的整体流程。

如图2所示，为社区要素数据权限访问应用流程图，在数据访问时，结合MYSQL数据库的权限访问和封装访问条件向索引库获取检索数据，具体如下：

A、接受访问接口参数，包括输入查询条件、用户信息；

B、数据权限验证，通过获取的信息，查询MySQL数据库，获取该用户的数据权限；

C、数据检索：将查询条件封装好，调用Solr全文检索应用接口，获取检索数据，封装成JSON格式数据，返回结果。

工作原理：

本发明主要采用开源Solr全文检索技术+MySQL数据库相结合，以MySQL数据库建立用户数据访问权限和社区要素数据(包括人口、房屋、人房关系等)的存储，以定时任务方式，调用Solr应用接口，完成社区要素数据到索引文档数据建立，完成数据初始化；其次就是实现数据访问应用，通过调用MySQL数据库以获取数据访问权限，结合Solr技术，封装成可调用接口，完成数据受控访问。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。