一种用于基层社会治理的多源数据处理方法及系统

技术领域

本发明涉及多源数据处理技术领域，尤其涉及用于基层社会治理的多源数据处理方法及系统。

背景技术

以推进城市数字化转型，打造数字化新底座为导向，针对当前存在的基层基础数据采集方式繁杂，报表多头报送、缺乏将市级数据共享至基层工作人员等问题，按照基层报表填报实际工作需要，汇聚多源数据，将市级政府部门提供的基础数据共享给网格员，便于网格员对辖区内建筑房屋、人口、单位、重点人等基础信息的维护、管理,以及开展民情走访等工作，形成社会治理数据“一张表”，实现利用政务数据赋能基层社会治理，提高数据的流动性和鲜活性。

在这样的背景下，研究者需要探索如何充分利用多源数据，通过先进的技术手段，实现对“一张表”管理的更为精准、智能和高效的管理。

发明内容

本发明提供了一种用于基层社会治理的多源数据处理方法及系统，解决了数据分散在不同系统和部门中，无法集中管理和协同分析，多源数据准确性低、完整性低的及数据需求一致性问题。

为解决上述发明目的，本发明提供的技术方案如下：

一种用于基层社会治理的多源数据处理系统，包括：

数据采集模块：用于获取人口－房屋相关信息，并进行统一归集存储至数据资源池，所述人口-房屋相关信息为多源数据；

数据质量评估模块，用于获取数据存储质量符合指数，评估数据资源池收集的数据质量状况；

数据资源池性能评估模块，用于获取数据资源池性能符合指数，评估数据资源池的性能状态；

重点人评估模块，用于获取重点人关注指数，评估重点人情况；

一张表管理与安全保护模块，生成用于基层治理的数据一张表，对人口－房屋相关信息进行加密，用于保障传输层数据安全，用于用户权限控制，用于建立数据备份机制；提供建筑管理、人口管理、重点人管理、实有单位管理、走访管理、统计分析、报表自定义生成以及授权数据导出下载的应用功能；

监测反馈模块，用于监测人口－房屋相关信息的变化情况，用于保障系统的稳定性和安全性能，用于监测登录用户的工作情况。

可选地，所述人口－房屋相关信息，包括人口信息以及房屋信息；

所述人口信息包括居民籍贯、户籍地址、参保情况、毕业院校、义务教育阶段学籍信息、困难群体信息、社区矫正、安置帮教、残疾状况、水电燃预警信息、新生儿以及死亡人员；

所述房屋信息包括实有房屋数量、房屋状态、房屋用途、房屋所属区域、建筑名称、更新时间以及房主信息。

可选地，所述进行统一归集存储至数据资源池，具体包括对人口－房屋相关信息进行数据清洗及预处理；

所述数据清洗，具体为对存在质量问题的人口－房屋相关信息进行去重、填充缺失值以及解决异常数据；

所述预处理，具体为将人口－房屋相关信息不同格式的数据转化为统一标准格式并规范字段。

可选地，所述获取数据存储质量符合指数，具体包括：

获取数据资源池中人口信息的人口数据完整性、人口数据准确性、房屋信息的房屋数据完整性以及房屋数据准确性；

结合人口数据完整性、人口数据准确性、房屋数据完整性、房屋数据准确性构建数据存储质量评估模型，得到数据存储质量符合指数，所述数据存储质量符合指数计算公式为：

式中

可选地，所述获取数据资源池性能符合指数，具体包括：

获取数据资源池性能相关信息，包括数据更新响应速度以及数据存储容量；

结合数据更新响应速度、数据存储容量与数据存储质量符合指数，构建数据资源池性能评估模型，得到数据资源池性能符合指数，所述数据资源池性能符合指数计算公式为：

式中

可选地，所述获取重点人关注指数，具体包括：

获取重点人基本信息、人员走访信息、补贴发放情况、实有事件以及人员异常行为，为基层人员对重点人关爱帮扶关注管控提供帮助；

其中，重点人基本信息，包括四个事项，分别为个人基本信息、就业失业状态、身份和职业以及陪伴监护情况；重点人走访信息，包括两个事项，分别为网格员走访以及部门专业走访；补贴发放情况，包括一个事项，为补贴是否按时发放；实有事件，包括两个事项，分别为12345事件以及非警务类110报警事件的事件相关数据清单，非警务类110报警事件的事件相关数据清单包括发生日期、聚集规模、处理结构以及满意度；人员异常行为，包括三个事项，分别为重点人外出情况、是否陪伴以及夜间出入情况；

结合重点人基本信息、人员走访信息、补贴发放情况、实有事件以及人员异常行为，确定重点人基本风险、保障风险、事件风险以及行为风险，根据重点人基本风险、保障风险、事件风险以及行为风险构建重点人关注模型，得到重点人关注指数。

可选地，所述重点人关注指数，计算公式为：

其中

可选地，所述一张表管理与安全保护模块，具体包括：实有建筑房屋管理模块、实有人口管理模块、实有单位管理模块、重点人管理模块、走访管理模块、统计分析模块以及安全保护模块；

实有建筑房屋管理模块，用于构建复杂房屋、友好房屋模型以及房屋历史信息留痕能力的建设；

实有人口管理模块，用于实现对人口信息的维护、展示、查询、记录留痕以及自定义导出配置、字段显示配置、数据同步能力、数据输入能力；支持网格员对千万级人口数据的高并发查询，支持对表单的灵活配置和数据自定义导出，提供数据同步能力，实现将其他来源人口数据的同步导入；提供数据输入能力，实现对其他单位的人口数据对接、比对；提供数据比对和变更提醒，方便网格员及时获取数据变更情况，实现对人口数据变更信息的记录、留痕，方便追溯管理；

重点人管理模块，用于对重点人进行标签化管理，提供对关注标签的配置能力，提供对关注标签的撤管审核和多部门重点人标签共建共享，提供关注信息留痕，通过重点人关注指数分析，向网格员推送重点关注人员信息；

走访管理模块，用于对人员主动走访和任务走访两种走访形式进行管理，提供对网格员入户走访以及重点人走访的管理以及走访任务进行配置、下发以及管理；

统计分析模块，利用大数据组件，设计实现T+1模式的离线计算引擎，面向市、区、街道、社区、网格、小区以及楼栋提供针对实有建筑房屋、人员、单位、重点人以及民情走访的多维度可视化统计分析，利用可视化图形方式呈现社会治理一张表数据的采集、管理、更新、共享以及利用情况，并结合地图形式呈现全市域数据分布情况；

安全保护模块，通过Https对网络请求进行加密，保证传输层的数据安全，使用实时发放的令牌机制对用户进行访问控制，进行认证和授权的双重安全校验，通过资源控制逻辑，对用户菜单、数据范围以及按钮动作进行权限控制，防止水平越权的恶意行为，记录用户行为日志，对异常行为进行追踪，针对恶意访问进行限流，加入黑名单进行屏蔽的操作，阻止恶意攻击，对系统中大量存在的敏感数据，使用国密算法进行加密脱敏处理，在计算机终端和移动终端增加用户水印，支持合法用户申请对敏感数据的访问权限，自动记录合法用户的相关操作，使用自动备份组件，实现对整库、表级别、文件夹级别以及文件级别的不同粒度的数据灾备，用于系统重建恢复。

一种用于多源数据处理系统的方法，包括以下步骤：获取人口-房屋相关信息，并进行统一归集存储至数据资源池；获取数据存储质量符合指数，用于评估数据资源池收集的数据质量状况；获取数据资源池性能符合指数，用于评估数据资源池的性能状态；获取重点人关注指数，评估重点人情况；对基层用户工作提供系统支撑，对数据信息进行安全控制；实时监测人口-房屋相关信息变化情况，实现整合来自不同来源的人口-房屋相关信息，提高部门和基层数据双向赋能和统计分析能力。

上述技术方案，与现有技术相比至少具有如下有益效果：

上述方案，通过统一归集存储人口-房屋相关信息，可以有效打破数据孤岛，提高数据整合性，降低信息碎片化；评估数据存储质量能够确保数据的准确性、完整性和一致性，为决策提供可靠的数据基础；对数据资源池性能的评估有助于发现和解决潜在的性能问题，确保在处理大规模数据时仍能保持高效运行，有助于提高数据处理的效率，及时响应治理的需求；获取重点人关注指数，评估重点人情况，可使网格员精准掌握辖区内重点人情况，进行有目的的走访帮扶关注和管控；对基层用户工作提供系统支撑，对数据信息进行安全控制，可以为基层网格员、社区工作者、部门管理人员提供易用的工作支撑并有效保护敏感信息，确保数据的机密性和完整性，有助于防范数据泄露和滥用的风险；实时监测人口-房屋相关信息的变化情况，使基层网格员及时掌握最新数据，市、区、街（镇）管理者及时掌握工作情况，从而进行有效管理。

本发明利用数据处理技术手段，对数据存储质量评估模型、数据资源池性能评估模型、重点人关注模型的构建结合了多方面信息参考，避免了人工评估、预测的主观性失误、减少了评估、预测误差，有效保障了多源数据处理方法的可行性，有助于提升人口-房屋等社会治理相关信息的整合、质量、性能、安全性，并能够支持基层社会治理，为基层工作赋能减负增效。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种用于多源数据处理系统的方法流程图。

图2为本发明一种多源数据处理系统结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。

需要说明的是，本发明中使用的“上”、“下”、“左”、“右”“前”“后”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

本发明针对数据分散在不同系统和部门中，无法集中管理和协同分析，多源数据准确性低、完整性低的问题，提供了一种用于基层社会治理的多源数据处理方法及系统。

如图1所示，本发明实施例提供了一种用于多源数据处理系统的方法，包括：数据采集模块：用于获取人口-房屋相关信息，并进行统一归集存储至数据资源池；数据质量评估模块，用于获取数据存储质量符合指数，评估数据资源池收集的数据质量状况；数据资源池性能评估模块，用于获取数据资源池性能符合指数，评估数据资源池的性能状态；重点人评估模块，用于获取重点人关注指数，评估重点人情况；“一张表”管理与安全保护模块，对基层用户工作提供系统支撑，对数据信息进行安全控制；实时监测人口-房屋相关信息变化情况，实现整合来自不同来源的人口-房屋相关信息，提高部门和基层数据双向赋能和统计分析能力。

具体地，人口-房屋相关信息，包括人口信息、房屋信息；所述人口信息包括居民籍贯、户籍地址、参保情况、毕业院校、义务教育阶段学籍信息、困难群体信息、社区矫正、安置帮教、残疾状况、水电燃预警信息、新生儿、死亡人员等；所述房屋信息包括实有房屋数量、房屋状态、房屋用途、房屋所属区域、建筑名称、更新时间、房主信息等。

本实施方案中，通过收集并整合人口信息和房屋信息，管理者可以全面了解居民的各种情况，有利于精细化、个性化的治理。这有助于提升综合治理的能力；水电燃预警信息的收集和分析有助于及时发现潜在的灾害风险，提前采取措施防范灾害，保障居民的生命和财产安全；房屋信息的详细了解可以帮助社区网格员和部门管理者了解辖区内房屋分布和使用情况；实时更新的人口数量、新生儿、死亡等信息为政府提供准确的人口统计数据，为决策制定提供科学依据；具备房主联系方式信息，可以在紧急情况下迅速联系到相关人员，有助于建立更智能、高效、人性化的治理体系，为基层治理工作提供全面支持。

具体地，进行统一归集存储至数据资源池，具体包括对人口-房屋相关信息进行数据清洗及预处理；所述数据清洗，具体为对存在质量问题的人口-房屋相关信息进行去重、填充缺失值、解决异常数据；所述预处理，具体为将人口-房屋相关信息不同格式的数据转化为统一标准格式并规范字段。

本实施方案中，清洗和处理能够有效去除重复数据、填充缺失值，提高数据的准确性和完整性，确保治理信息的质量，清洗后的高质量数据可为管理者提供更可信赖的基础数据，支持更科学的决策制定和规划治理策略，清洗后的数据能够更准确地反映居民的真实情况，有助于更好地满足不同居民群体的需求；预处理过程中将不同格式的数据转化为统一标准格式，规范字段，提高数据的一致性，便于数据的统一管理和分析，减少错误的引入，提高数据的可靠性和信任度，进而提供更可靠的数据基础和决策支持。

具体地，获取数据存储质量符合指数，具体包括：获取数据资源池中人口信息的人口数据完整性、人口数据准确性及房屋信息的房屋数据完整性、房屋数据准确性；结合人口数据完整性、人口数据准确性、房屋数据完整性、房屋数据准确性构建数据存储质量评估模型，得到数据存储质量符合指数，所述数据存储质量符合指数计算公式为：

式中

本实施方案中，人口数据完整性获取方式为：获取实有人口数量信息，同时利用网格员日常工作进一步统计人口数量，通过人口普查实际统计人口数量与实有人口数量进行对比分析，获得人口数据完整性；人口数据准确性通过日常走访核验及专业分析对人口数据的可靠性进行审查和评估，进而提供准确性评分；房屋数据完整性通过获取房屋数据，包括房屋销售记录、租赁合同等，同时与网格员采集辖区内实际在册房屋状况，将不同来源的数据进行整合，进而得到房屋数据完整性；房屋数据准确性通过职能部门、业内专家对房屋数据的可靠性进行审查和评估，进而提供准确性评分。人口数据完整性、人口数据准确性对应的权重因子与房屋数据完整性、房屋数据准确性对应的权重因子通过实际数据存储质量评估模型构建需求进行调整设定，同时可随着对数据存储质量评估模型需求的变化调试权重因子的大小。人口信息、房屋信息相对应的权重因子通过实际多源数据存储处理需求进行多次试验和调整确定，同时可不断评估和调整权重因子，以适应数据和用户需求的变化。通过确保人口和房屋数据的质量，可以更好地了解辖区内房屋和实有人口状况，分析研判人口年龄分布、家庭成员分布、重点人群分布、公租房居住情况等，有助于基层进行精细化管理，部门制定更符合实际需求的规划，数据存储质量符合指数高的系统有助于更精准地了解人口密度、住房需求、医疗保障、养老助老等信息，提升基层治理效率，提高数据的可信度，从而增加数据的实用性和可靠性。

具体地，获取数据资源池性能符合指数，具体包括：获取数据资源池性能相关信息，包括数据更新响应速度、数据存储容量；结合数据更新响应速度、数据存储容量与数据存储质量符合指数，构建数据资源池性能评估模型，得到数据资源池性能符合指数，所述数据资源池性能符合指数计算公式为：

式中

本实施方案中数据更新的响应速度通过使用监控工具实时监测系统的性能，使用性能剖析工具来识别系统中的性能瓶颈，找到代码中的耗时操作，综合二者，获得系统的数据更新响应速度；数据存储容量通过进行详细的需求分析，明确系统需要存储的数据类型、结构和数量，根据需求来确定存储容量；数据更新响应速度、数据存储容量对应的权重因子的设置是一个相对主观的过程，取决于构建数据资源池性能评估模型实际需求和调试，可以根据反馈和性能测试的结果进行调整更改。较快的数据更新响应速度意味着系统可以更迅速地捕捉和反映数据的变化，高数据存储容量意味着系统可以容纳更多的数据，为长期和大规模的存储需求提供支持，有助于优化资源利用，确保系统能够处理并存储不断增长的数据量；数据存储质量符合指数的提升有助于降低数据错误和丢失的风险，高质量的数据存储可以确保数据的完整性和准确性，减少因为不准确或丢失的数据而导致的问题，数据更新响应速度的提升以及更大的存储容量可以改善用户体验，用户能够更迅速地获取到最新的信息，并且系统能够处理更多的数据，提供更全面的服务。

具体地，重点人基本信息，包括四个事项，分别为个人基本信息、就业失业状态、身份和职业以及陪伴监护情况；重点人走访信息，包括两个事项，分别为网格员走访以及部门专业走访；补贴发放情况，包括一个事项，为补贴是否按时发放；实有事件，包括两个事项，分别为12345事件以及非警务类110报警事件的事件相关数据清单，非警务类110报警事件的事件相关数据清单包括发生日期、聚集规模、处理结构以及满意度；人员异常行为，包括三个事项，分别为重点人外出情况、是否陪伴以及夜间出入情况。

本实施方案中，通过对重点人关注指数和数据资源池性能分析，能够更精准地掌握辖区内重点人分布情况，了解重点人行为趋势，提前应对潜在事件发生，如疾病就医、老年人关爱、邻里纠纷等，针对性的进行入户走访、关心关爱，从而降低事件发生概率。

具体地，重点人关注指数，计算公式为：

其中

上述公式中的重点人样本的标准差越大，表示该重点人口关注指数越高。

具体地，“一张表”管理与安全保护模块，具体包括：建设社会治理“一张表”系统，建立“统一地址标准、统一标签标准、统一格式标准、统一接口标准”的“四统一”标准体系，保障数据准确性、一致性和统一性。以标准地址库为基础，关联实有人口、实有房屋、实有单位、实有事件等社会治理要素。统一辖区重点人关注标签，实行纳管和非纳管人员信息共享互通。将各类底账整合成统一的数字底账，通过建立动态表单，统一多台账数据格式，自动生成存量数据，减少摸排数据。提供社会治理“一张表”数据输入和输出标准接口，保障多级系统互联互通，满足多部门数据应用的需求。

具体功能模块包括：实有建筑房屋管理模块、实有人口管理模块、实有单位管理模块、重点人管理模块、走访管理模块、统计分析模块以及安全保护模块。

实有建筑房屋管理模块，用于构建复杂房屋、友好房屋模型、房屋历史信息留痕能力的建设。

实有人口管理模块，用于实现对人口信息的维护、展示、查询、记录留痕以及自定义导出配置、字段显示配置、数据同步能力、数据输入能力等。支持数万网格员对千万级人口数据的高并发查询，支持对表单的灵活配置和数据自定义导出，提供数据同步能力，实现将其他来源人口数据的同步导入；提供数据输入能力，实现对其他单位的人口数据对接、比对；提供数据比对和变更提醒，方便网格员及时获取数据变更情况，实现对人口数据变更信息的记录、留痕，方便追溯管理。

重点人管理模块，用于对重点人进行标签化管理，针对不同类型关注标签可设置不同的关注详细信息，满足对各类重点人管理的个性化关注需求。提供对关注标签的配置能力，实现按需设置关注标签。提供对关注标签的撤管审核和多部门重点人标签共建共享，方便全市重点人管理和关怀工作的协同开展。提供关注信息留痕，方便对重点人管理的追溯、留痕，包括关注信息管理、关注信息配置、关注标签所属管理单位管理、关注标签撤管审核、关注信息留痕。通过重点人关注指数分析，向网格员推送重点关注人员信息。

走访管理模块，用于对人员主动走访和任务走访两种走访形式的管理，方便掌握基层民情信息的动态变化。提供对网格员入户走访、重点人走访等走访信息的管理以及走访任务的配置、下发、管理。

统计分析模块，利用大数据组件，设计实现T+1模式的离线计算引擎，面向市、区、街道、社区、网格、小区、楼栋提供针对实有建筑房屋、人员、单位、重点人、民情走访的多维度可视化统计分析，以可视化图形方式展示，挖掘数据价值，反馈数据趋势，生成统计报表，支持统计报表导出。利用可视化图形方式全面呈现社会治理“一张表”数据的采集、管理、更新、共享、利用情况，并结合地图形式统一呈现全市域数据分布情况，为相关领导提供决策支撑。

安全保护模块，用于确保系统技术数据安全。通过Https对网络请求进行加密，保证传输层的数据安全，使用实时发放的token（令牌）机制对用户进行访问控制，进行认证和授权的双重安全校验。通过资源控制逻辑，对用户菜单，数据范围，按钮动作进行权限控制，防止水平越权等恶意行为，记录用户行为日志，对异常行为进行追踪。流控模块可以针对恶意访问进行限流，加入黑名单进行屏蔽等操作，阻止恶意攻击。对系统中大量存在的敏感数据，使用国密等多种算法，进行加密脱敏处理，在计算机终端、移动终端增加用户水印，部分合法用户可申请对敏感数据的访问权限，系统会自动记录相关操作，保证可控范围内的数据流出，并可追迹。使用自动备份组件，实现对整库，表级别，文件夹级别，文件级别等不同粒度的数据灾备，用于系统重建恢复，最大程度上保证数据资产的安全性。

本实施方案中，通过采用合适的加密和安全协议，确保用户的数据得到保护，增加用户信任感，促使更多人员和部门使用系统。提供PC和APP双端应用，方便用户随时更新采集数据，入户走访，从而提高了工作效率。部门用户可以随时查看最新辖区内相关人口、房屋数据，从而为进行更好的管理和决策提供了信息化支撑；利用图表、图形进行数据可视化展示，有助于用户更直观地理解人口-房屋相关信息，能够提高信息传达的效果，让用户更容易理解和分析数据的情况；利用省（市）域部门掌握的全域数据为牵引，织牢了横纵贯通的网状架构，实现了机制保障和数字技术相融合，有助于推动社会治理体系与治理能力现代化。

具体地，监测人口-房屋相关信息变化情况，具体包括：实时监测系统人口-房屋相关信息，并将用户所采集人口-房屋相关基础信息同步至数据资源池，与其他数据源相关信息进行比对并补充基层用户无法采集信息；多源数据发生变化时，监测变化状态，更新基础资源池数据，并同步至系统数据库，在系统端提供变更提醒，系统用户进行数据核查。监测系统人口房屋数据变化情况、入户走访情况、任务完成情况，实时了解用户工作情况。

本实施方案中，实时监测人口-房屋相关信息并整合至数据资源池，使政府部门能够及时了解状况和变化，有助于基于实际数据做出更明智的决策，优化规划和资源分配；使基层工作者及时掌握辖区内人员变更情况，有助于提高治理的效率、基层服务水平，及时发现和处理事件，保障工作人员人身安全；利用实时监测用户使用情况，能够为系统提供改进方向，提高服务质量和用户满意度；

如图2所示，一种用于多源数据处理系统，包括以下步骤：通过云、网搭建系统支撑环境，搭建底层数据架构及在其基础上建立基础数据资源，搭建应用服务及通用能力，开发建设系统应用组件，在PC、手机、大屏等端展示等。

有以下几点需要说明：

（1）本发明实施例附图只涉及到与本发明实施例涉及到的结构，其他结构可参考通常设计。

（2）为了清晰起见，在用于描述本发明的实施例的附图中，层或区域的厚度被放大或缩小，即这些附图并非按照实际的比例绘制。可以理解，当诸如层、膜、区域或基板之类的元件被称作位于另一元件“上”或“下”时，该元件可以“直接”位于另一元件“上”或“下”或者可以存在中间元件。

（3）在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合以得到新的实施例。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，本发明的保护范围应以权利要求的保护范围为准。